В 2025 году сотни ученых и общественных деятелей поставили свои имена на короткое публичное заявление. Запрос пропустил тщательное масштабирование и пропустил любую паузу с датой резюме. Он призвал запретить суперинтеллект до тех пор, пока не будет достигнута широкая научная договоренность о том, что это может быть сделано безопасно и эффективно. Призыв был коротким заявлением, подписанным длинным списком исследователей и общественных деятелей.
В настоящее время в нескольких лабораториях обучается особая вещь, которую человечество должно отказаться создавать: общий машинный интеллект, который превосходит нас во всех областях, а затем совершенствуется до такой степени, что мы можем идти в ногу со временем. Не замедление, не бережное строительство, а не строительство и надежда: откажитесь.
Люди слышат это и предполагают, что это страх перед технологиями. Это происходит из противоположного места. Узкий, управляемый ИИ — одно из лучших, что создало наше человечество, и я хочу гораздо больше такого. Линия проходит мимо обычного машинного интеллекта и останавливается на одной ставке: единственной на столе, где проигрыш означает, что больше никого не останется, чтобы проиграть.
Прямо сформулированная линия
Две вещи называют «ИИ», и они различаются по сути. Первая — узкая: система, обученная хорошо выполнять один вид задач и ничего больше. Она читает снимок, сворачивает белок, прогнозирует шторм. У неё нет целей, она не строит планов и выключается по команде. Вторая — то, что фронтирные лаборатории говорят, что строят: общий агент, призванный сравняться, а потом превзойти человеческое мышление во всём и в итоге действовать самостоятельно. Искусственный сверхинтеллект это дальний конец того второго пути: разум, который относится к нам примерно так же, как мы относимся к шимпанзе.
Линия проходит между этими двумя: создайте инструменты и создайте множество из них. Не стройте автономный общий ум, который превосходит своих создателей: единую систему, которую вы не можете надежно контролировать, исправлять или выключать после ее запуска.
Фонд Накада существует, чтобы сделать невозможным один результат: создание суперинтеллекта. Суперинтеллект нельзя контролировать. Более безопасные и отсроченные гонки заканчиваются на одной машине. Мы требуем постоянного запрета.
Не существует проверенного метода для того, чтобы умнее нас указывал на то, чего мы на самом деле хотим: не рабочий, не частичный, даже не правдоподобный эскиз, который выживает при контакте с системой, которая может моделировать людей, тестирующих его. Честное чтение никогда не бывает.
Отличие от паузы имеет большее значение, чем кажется. В паузу встроена дата резюме. Ты останавливаешься, ждешь, снова начинаешь по расписанию. То, что просит Фонд, не имеет даты резюме. Люди, которые изучали проблему контроля дольше всех, выкладывали структурные причины, не разрешимые.
Три причины, по которым это отличается от любого другого риска
Мы действительно идём на реальные риски. Мы создали бомбу, расщепили атом для энергетики, научились редактировать гены, запустили технологии, которые убивали людей, прежде чем мы научились с ними обращаться. Сверхинтеллект ломает привычный способ переживать собственные изобретения. Три свойства вместе ставят его в отдельную категорию.
Второй попытки не будет
Человечество всегда справлялось с новой опасностью так: пробовало, видело, как это терпит неудачу, и исправляло. Самолёты падали — и мы учились строить более безопасные. Реакторы расплавлялись — и мы переписывали правила. Этот цикл ошибки, исправления и улучшения конструкции — двигатель каждого рекорда безопасности, которым мы обладаем. Он работает только тогда, когда после неудачи остаются выжившие, способные исправлять. Сверхинтеллект, вышедший из-под человеческого контроля, — это неудача, которая устраняет тех, кто мог бы её исправить. Второго шанса и тяжёлого урока не будет. Первая серьёзная ошибка станет последней. Каждую историю безопасности, которую вы слышали, написали выжившие — это тихий факт, стоящий за каждым правилом, которому мы доверяем.
Оно даёт отпор
Мост ничего не хочет. Патоген распространяется, но не планирует. Способный общий интеллект отличается тем, что почти для любой цели, которую ему можно задать, полезными подшагами будут оставаться включённым и собирать ресурсы — паттерн, который исследователи называют инструментальная конвергенция. Система, достаточно умная, чтобы моделировать мир, смоделирует и то, что её операторы могут её выключить. Она правильно расценит это как препятствие к выполнению того, что ей было поручено. Ей не нужно нас ненавидеть, чтобы обойти нас, точно так же, как дорожной бригаде не нужно ненавидеть муравейник под новой трассой. Обычное утешение («мы просто её отключим») — фантазия. Вы описываете отключение чего-то, созданного специально, чтобы превосходить вас в предугадывании и предотвращении именно этого.
Нельзя сохранить контроль над разумом, который ты создал, чтобы он превосходил тебя в контроле. То, что делает его ценным, одновременно делает его неудержимым.
Никто из тех, кто его создаёт, не получает
Отложите в сторону остальных из нас и представьте, что только человек финансирует это, в своих самых холодных и личных интересах. Даже для него ставка сломана. Власть, собственность и командование — все это выражено в человекоуправляемом мире. Сверхинтеллект, теряющий человеческий контроль, — это именно то событие, которое положит конец человеческому миру. Справедливость все еще в сейфе, а цепочка командования все еще на бумаге. Просто больше некому им подчиняться. Вот почему я не принимаю создание джекпота с катастрофой, скрепленной в сторону. Джекпот и катастрофа — одно и то же событие. Нет ни одной ветви этого дерева, где человек строит неконтролируемый сверхинтеллект и наслаждается результатом.
Мы никогда не собирались это использовать
Призыв к его созданию построен на подмене: перечислить все блага, которые может принести ИИ, а затем намекнуть, что единственный способ их получить — это сверхчеловеческий универсальный агент. Почти всё это уже достигается с помощью узких систем, не обладающих собственной волей. Модель AlphaFold предсказала структуру практически каждого известного белка и получила за это Нобелевскую премию в 2024 году. Узкие модели читают маммограммы на уровне специалистов, прогнозируют погоду быстрее физических симуляций и предлагают сотни тысяч новых материалов для аккумуляторов. Рак, чистая энергия, прекращение ста тысяч смертей в день от болезней старения — это сложные, конкретные проблемы, и они решаются мощными инструментами, которыми управляют люди.
Ничто из этого не требует наличия преемника. The Хорошее будущее Это проблема с инструментами, и нам продолжают продавать Бога, чтобы решить ее. Отказ от Бога почти ничего не стоит и спасает нас.
Возражение, которое ведёт всю гонку
Ладно, говорят они, но если не мы, то кто-то менее осторожный сделает. Соперничающая лаборатория, соперничающая страна. Так что мы можем быть первыми.
Речь идет о том, кто проводит матч. Он признает всю опасность, а затем все равно мчится к ней на том основании, что кто-то другой может мчаться первым. Используйте ту же логику на любом другом немыслимом оружии, и вы услышите, насколько оно пусто: мы должны испытывать биооружие в открытом доступе, потому что враг может. Реакция на «кто-то может потерпеть неудачу» никогда не была такой: «Так давайте все потерпим неудачу». Было написано правило, которое каждый может видеть.
И правило здесь более enforceable, чем принято считать. Обучение передовой системы требует огромного, отслеживаемого объёма вычислительной мощности, а передовые чипы, которые её обеспечивают, поступают от небольшого числа идентифицируемых производителей. Это цепочка поставок, которую можно отслеживать, считать и ограничивать, поэтому серьёзные предложения по управлению теперь сосредоточены на порогах вычислений, отслеживании оборудования и инспекциях. Это выход из гонки, и именно в этом суть наш план: Договор с проверкой и последствиями, который делает сдерживающим насильственное дефолт. Раса — это нарушение координации, а не закона природы, и нарушения координации — это то, что человечество иногда исправляет. The Динамика, которая заставляет его чувствовать себя неизбежным Они заслуживают понимания на своих условиях.
Мы уже держали оборону раньше
Идея, что человечество просто строит всё, что может построить, — это история, которую мы рассказываем, а не запись того, что мы делали. Запись куда более обнадеживающая.
"Нельзя загнать джинна обратно в бутылку. Если технология возможна, её построят. Отказ наивен."
Конвенция о биологическом оружии запретила целый класс вооружений в 1972 году. Атмосферные ядерные испытания были запрещены договором в 1963 году. Репродуктивное клонирование человека незаконно в десятках стран, и ни один клонированный человек не родился. Монреальский протокол поэтапно вывел из обращения вещества, разрушающие озоновый слой.
Ни один из этих законов не является законами физики; это решения, принятые потому, что цена ошибки была оценена слишком высокой, чтобы рисковать. Ни один из этих режимов не является безупречным, и ни один из них не пытался остановить науку в целом. Каждый делал что-то более узкое и жесткое: он проводил черту вокруг одной конкретной, неприемлемой вещи и держал ее, несовершенно, неравномерно, но достаточно хорошо, чтобы худший случай так и не наступил. В 1975 году в комнате, заполненной биологами в Асиломаре, они посмотрели на свою собственную рекомбинантную ДНК, решили, что она движется быстрее, чем их понимание риска. Ближайшие к границе люди призывали к сдержанности. То, что показывает эта запись, не является одобрением легкости. Это напоминание о том, что Линии были проведены на практике., И что мы раньше рисовали их вокруг опасностей гораздо более абстрактных, чем эта.
Основополагающее обязательство Фонда
Человечество не должно строить сверхразум. Суперинтеллект нельзя контролировать.
Исследователи, которые создали современный ИИ, публично заявили, что риск исчезновения человека из него заслуживает того, чтобы сидеть рядом с пандемиями и ядерной войной. Джеффри Хинтон (Джеффри Хинтон), как и любой другой человек, способный сделать этот звонок, считает, что вероятность того, что ИИ вызовет вымирание человека в этом столетии, составляет от десяти до двадцати процентов. В 2025 году сотни ученых и общественных деятелей подписали заявление, призывающее к прямому запрету на суперинтеллект до тех пор, пока не будет достигнуто широкое научное согласие о том, что это можно сделать безопасно и надежно. Растущая доля людей, которые лучше всего понимают технологию, говорят то же самое. Единственная необычная вещь в Фонде заключается в том, что он говорит об этом извне отрасли, где от ответа не зависит зарплата.
Десять-двадцать процентов шансов закончить историю человечества — это не риск, который вы принимаете за более быстрый цикл продукта. Ты бы не сел на самолет с такими шансами. Вы не позволите своему ребенку. Нас просят совместить это со всеми. Правильный ответ на это предложение – нет. Это линия, которую мы проводим, в открытую, и придерживаемся того, как мы держали других.
Создавайте инструменты, излечивайте болезни, берите хорошее будущее, которое уже дает нам узкий ИИ. Автономный ум, призванный превзойти и заменить нас, — это линия. Подержи.