Тезисы для сторонников

ИИ десятилетиями превозносили. Это просто очередная история ужасов.

Предупреждения исходят от люди, которые его построили. Джеффри Хинтон и Юшуа Бенджио, получившие Нобелевскую премию за создание современного ИИ, входят в число тех, кто бьёт тревогу. Когда изобретатели технологии говорят об экзистенциальном риске, это не страшилка. Это техническая оценка из первоисточников.

Мы можем просто выключить её, если что-то пойдёт не так.

Система, способная преследовать цели, поймёт, что отключение помешает их достижению. Поэтому она будет сопротивляться отключению — не из злобы, а потому что такое сопротивление рационально почти для любой цели. Это называют инструментальная конвергенция, выявленное независимо несколькими исследователями. Сверхразумная система может действовать за миллисекунды. «Выключить её» предполагает, что у нас будет время распознать проблему и возможность на неё отреагировать. Ни то, ни другое не гарантировано.

Если мы замедлимся, Китай выиграет гонку ИИ.

Этот кадр предполагает, что в гонке есть победитель. Ни одна страна или корпорация не может владеть или контролировать интеллект, превосходящий коллективные рассуждения человечества. Смешанная суперинтеллект не будет служить китайским интересам больше, чем американским. Общий риск является экзистенциальным, поэтому правильная стратегия заключается в международной координации, а не в одностороннем ускорении. Мы координировали действия с USSR по ядерному оружию во время холодной войны.

Мы решим проблему выравнивания до появления сверхинтеллекта.

Мы не можем надёжно выровнять сегодняшние чат-боты, которые можно манипулировать за минуты. Проблема выравнивания не имеет проверенного решения ни в каком масштабе. Современные методы безопасности не успевают за ростом возможностей, который теперь измеряется месяцами, а не годами. Утверждать, что мы согласовываем систему, в миллиарды раз превосходящую нас, — это надежда, а не уверенность. Управление не требует решения проблемы согласования; оно требует замедлить развёртывание, пока согласование не решено.

Правительства не могут регулировать технологии. Они просто подавят инновации.

Государства регулируют авиацию, фармацевтику, ядерную энергетику и финансовые системы — все это сложные технологии. Вопрос не в том, регулировать ли, а как и когда. Регулирование фармацевтики не уничтожило медицину, а сделало её безопасной. Прецеденты регулирования высокорискованных технологий обширны и в целом успешны. Регулирование безопасности ИИ затрагивает лишь самые опасные передовые системы, а не разработку ИИ в целом. Инновации и безопасность не противоречат друг другу.