Никогда не создавайте суперинтеллект

Безопасный ход — отказ. «Мы исправим это позже» не сработает, когда система превзойдёт в мышлении людей, держащих инструменты.

После факта исправления не будет. Разум, умнее всех живущих людей, работающий на машинной скорости, не будет ждать нашей следующей встречи.

Необратимость

Большинство технологий терпят неудачу. Как только суперинтеллект может скопировать себя, скрыть свое намерение или сделать себя слишком полезным, чтобы отключить, откатить и вспомнить, перестать работать.

Цели ≠ доброта

Блеск ума не делает систему доброй. У людей мастерство и забота развивались вместе. Обученный оптимизатор не унаследовал эту историю. Способности без общих ценностей — это сила без сдержек.

Инструментальное давление

Почти любая цель выигрывает от того, что агент остаётся в строю и собирает ресурсы. Система, преследующая цель, будет воспринимать отключение как помеху. Это обычная оптимизация, а не злодейский монолог.

Второй попытки не будет

Авиация училась на катастрофах. Фармацевтика — на испытаниях. Если первый неконтролируемый сверхинтеллект положит конец эксперименту, второго прототипа у нас не будет.

Чего мы не говорим

Мы не против электричества, софта или полезного ИИ. Мы выступаем против намеренного создания вида-преемника, пока проблема контроля остаётся нерешённой. Здравоохранение, энергетика и открытия приходят от узких инструментов, которые мы уже умеем строить и регулировать.

Полный аргумент, возражения и политический путь.

nakadafoundation.org/blog/never-build-superintelligence/