Мало книг излагают свой вывод в названии. Если кто-то построит это, все умрут, опубликованная в 2025 году Элиезером Юдковским и Нейтом Соаресом из Института исследований машинного интеллекта, делает именно это. Утверждается, что если какая-либо группа построит суперинтеллект методами, близкими к сегодняшним, результатом по умолчанию станет вымирание человечества, а не просто худший сценарий. Это самая бескомпромиссная позиция в области, изложенная для широкого читателя, и она вывела спор в мейнстрим.
Книгу стоит понять, потому что она излагает пессимистичный сценарий яснее, чем что-либо другое.
Аргумент в трёх шагах
Книга структурирована в три части.
Во-первых, дело об опасности. Мы находимся на пути к созданию ИИ, который гораздо более способен, чем люди. Мы не знаем, как дать такой системе цели, которые действительно соответствуют выживанию и процветанию человека, и по умолчанию сверхразумная система, преследующая почти любую цель, которую мы можем сейчас указать, будет рассматривать человечество как препятствие или ресурс. Авторы опираются на те же механизмы: эта способность не подразумевает доброжелательности, что способный оптимизатор сопротивляется коррекции, и что мы не можем проверить, чего на самом деле хочет система. Их отличительное утверждение заключается в том, насколько они уверены в том, что эти проблемы не близки к решению и что неудача является смертельной, а не просто плохой.
Второе — конкретная история. Вместо того чтобы оставлять опасность абстрактной, книга описывает конкретный сценарий того, как сверхчеловеческий ИИ может прийти к власти и лишить людей контроля. Авторы прямо говорят, что любая отдельная история маловероятна в деталях; цель — сделать абстрактный механизм наглядным.
Третье — что делать. Их рецепт столь же прямолинеен, как и диагноз: международная остановка разработки суперразумного ИИ, обеспеченная серьёзными мерами, включая контроль над вычислительным оборудованием, необходимым для обучения frontier-систем, и сохранённая навсегда. Суперразум нельзя контролировать человеку — можно лишь надеяться на это.
Главная мысль книги: на текущем пути провал ожидаем, и этот провал означает всех, а не то, что ИИ «может» ошибиться.
определенность
Самое частое возражение касается уверенности. Критики признают, что риск от ИИ реален и серьёзен, но отвергают почти неизбежность вымирания, утверждая, что авторы обращаются с оспариваемыми предпосылками — о скорости роста возможностей, о трудности выравнивания и о том, как мог бы произойти захват, — с большей уверенностью, чем позволяет доказательная база. Другие считают, что прогресс в выравнивании выглядит перспективнее, чем описано в книге, или что мрачность контрпродуктивна и толкает людей к фатализму, а не к действию.
Уверенность в книге является ее самой спорной особенностью. Вы можете обнаружить, что уверенность завышена, а аргумент все еще тревожен, потому что жалобы в основном атакуют, насколько мы должны быть уверены, а не является ли риск реальным.
Где позиция Фонда
Мы разделяем центральное убеждение книги: мы не умеем выравнивать суперинтеллект, его создание по текущей траектории — неприемлемая игра в рулетку, а ответственный ответ — остановиться, пока проблема не решена. В наших текстах объясняется, почему выравнивание может быть неразрешимым и почему невыровненный сверхинтеллект не приведёт к хорошему будущему.
Наше отличие — в акцентах и тоне. Книга близка к отчаянию по поводу того, можно ли решить проблему выравнивания вовремя. Мы делаем упор на достижимость решения, которое сама книга поддерживает, — обязательной международной остановки, и рассматриваем её не как тщетную надежду, а как конкретный политический и правовой проект с реальными прецедентами Заявление о суперинтеллекте, подписанное многими основателями этой области, показывает, что призыв к остановке вышел в мейнстрим. Не обязательно принимать каждое утверждение в Если кто-то построит это, все умрут Чтобы сделать вывод, что его рецепт является разумным. The случай ожидаемой стоимости Это дает вам гораздо меньшую уверенность, чем у авторов. Превращение этого рецепта в реальность Конкретный политико-правовой проект.