Остановить супер-интеллект не значит разбивать все чипы или прекращать машинное обучение. Это значит ввести юридический и практический запрет на разработку искусственного супер-интеллекта. Супер-интеллект не может контролироваться людьми. Это постоянный запрет, а не временная пауза, после которой возобновится та же гонка.
Что должно остановиться, а что — продолжиться
Узкий ИИ, сворачивающий белки, читающий снимки, оптимизирующий логистику и остающийся внутри ограниченных областей, должен продолжать работу. Цель — общий, рекурсивно улучшающийся суперинтеллект и программы, нацеленные на него, отфильтрованные через пороги вычислений, тесты способностей и правила исследований. Критики, утверждающие, что «они хотят запретить ИИ», распространяют клевету, защищающую гонку.
Почему обещаний лабораторий недостаточно
Ответственная политика масштабирования Многослойные обязательства могут раскрывать намерения. Они не работают как основная система управления. Та же фирма пишет политику, проводит тесты, оценивает результаты и прибыль от судоходства. В условиях конкуренции внутренние правила изгибаются, поэтому внешний закон должен обеспечивать укус.
Лестница принуждения
Представьте лестницу на краю обрыва.
Общественная воля в основе: люди, которые могут назвать, спросить и наказать лидеров, которые предлагают только театр инноваций.
Внутреннее законодательство и агентства: лицензирование крупных тренировочных запусков, уголовная и гражданская ответственность за осознанную разработку сверхразум, органы оценки с реальным доступом, защита информаторов.
Чипы и облака: экспортный контроль, кластерное знание клиента, мощность и видимость центра обработки данных. Аппаратура физическая. Это особенность управления.
Коалиционный договор: Основной набор государств, охватывающих большую часть пограничного потенциала, с числовыми приложениями, а не только принципами. Недоверие — это нормально; проверка существует, поэтому стороны не должны полагаться на дружбу.
Институт верификации: инспекторы, графики FLOP, отчёты об инцидентах, полномочия применять последствия. Представьте себе возможности уровня IAEA для дата-центров и обучения, а не просто дискуссионный клуб.
Условие постоянного запрета: вновь открывать только тогда, когда независимая наука и общественность преодолеют высокий порог под институтами, не захваченными лабораториями.
Каждая ступень поддерживает следующую. Саммиты без правил по вычислительным мощностям или правила по вычислительным мощностям без общественной воли оставляют восхождение незавершённым.
Внутренняя политика — половина проблемы
В Соединенных Штатах красивый Женевский текст не связывается без пути через Сенат или через уставы и исполнительные соглашения Конгресса, которые могут пройти. Создайте инструмент, отобранный из голосов, которые вы можете выиграть. У других стран есть свои ловушки для ратификации. Пропустите домашний дизайн и получите пресс-релизы.
Китай, соперники и оправдание гонки
Доминирующим оправданием неограниченного масштабирования является то, что если мы замедлимся, они не замедлятся. Уязвимость сокращает оба пути. Неконтролируемый суперинтеллект — это способ потерять страну, приветствуя флаг, а не национальный актив. Проверка, отказ от оборудования и взаимное разоблачение программ прорыва существуют для конкурентов, которые не доверяют друг другу.
Открытые веса
Высококлассные открытые общие веса создают путь распространения экспортного контроля только частично. Как только весы становятся общедоступными, нет центрального отзыва. Относитесь к высококачественным общим выпускам как к решениям по распространению, а не к обычным запускам продуктов.
Что вы можете сделать
Подбирайте действие под свой охват.
Избиратели: обращаться к представителям с требованием обязательного запрета, а не расплывчатого «будьте осторожны» Сотрудники: разрабатывать законопроекты о лицензировании и оценке с числовыми триггерами. Доноры: финансировать пропаганду, которая влияет на голоса и текст договора. Учёные: поддерживать постоянный запрет и помогать разрабатывать верификацию. Сотрудники лаборатории: use lawful reporting channels when internal safety is overridden. Role-specific force beats generic anxiety.
Большая часть денег и престижа по-прежнему уходит на то, чтобы сделать гонку безопаснее, а не на то, чтобы её остановить до сверхразум. Пожертвования, которые усиливают остановку, по-прежнему редки.
Как выглядит успех
Через два года: законы с реальными последствиями в нескольких юрисдикциях, усиленный мониторинг конечного использования чипов, серьёзный текст переговоров с цифрами, устойчивая общественная поддержка обязательного запрета. Через пять–десять лет: лицензируемые вычисления, охватывающие большую часть фронтирных мощностей, работающие инспекции, коалиционное покрытие тренировок и культура, в которой прорыв становится дорогим и заметным. Одни лишь коммюнике саммитов не в счёт.
Режимы отказов
Следите за переопределением («расширенная помощь» вместо сверхразум), захватом оценщиков, символическими договорами без проверки и ожиданием «решенного согласования» в качестве разрешения на строительство. Поражение без затрат. Назовите их так, чтобы вы могли поставить перила на подъем.
Дизайн договора без священного текста
Нет единственного священного проекта. Есть семейства конструкций. Основная коалиция, охватывающая большую часть передовых мощностей, может двигаться до всеобщего членства. Последовательность «сначала рамка, потом приложения» (принципы сначала, числовые графики, которые обновляются) заимствована из успешных экологических и оружейных режимов. Торговые меры против неучастников меняют арифметику отказа. Многосторонний фонд или договорённость о доступе к технологиям могут привлечь государства, опасающиеся остаться за бортом узкого ИИ. Проект в стиле MIRI — это одно полностью проработанное предложение; NPT, Монреаль и право по химическому оружию — полка прецедентов. Выбирайте конструкции, которые можно верифицировать, а не поэзию, которую можно только хвалить.
Исследования у черты
Самая сложная часть drafting — работа, стоящая рядом с запретом: агентные системы, автоматизированные помощники для AI-исследований, масштабный self-play. Запретить ясный путь к сверхразум. Лицензировать и инспектировать серую зону. Не делать вид, что каждая статья — бомба, и не делать вид, что автоматизированные AI-исследования — обычная наука, когда они укорачивают путь к системам, которые никто не сможет перекрыть.
Справедливость и кто платит
Правила вычислений будут по-разному бить по компаниям и странам, потому что промышленная база неравномерна. Справедливый режим сочетает ограничения на верхних ступенях лестницы возможностей с сохранением доступа к полезным узким инструментам и не использует «безопасность» как прикрытие для постоянных технологических кастовых систем. Суть в совместном выживании, а не в монополии на прогресс.
Отвечая на два жёстких пункта
"Мы потеряем экономику." Часть капитала перераспределится. Некоторые истории акций сократятся. Эти издержки видны в квартальных отчётах. Вымирание и постоянная утрата власти не фигурируют отдельной строкой. Видимые издержки не всегда побеждают в споре, когда альтернатива — цивилизационная катастрофа.
"Кто-то всегда нарушит соглашение." Дефект — это входной проект. Проверка, отказ оборудования, санкции и взаимное разоблачение программ прорыва существуют, чтобы изменить отдачу. Идеальное соответствие не является стандартом; повышение стоимости обмана.
Лестница снова
Ступени - это публичная воля, закон, чипы, договор, инспекторы и постоянный запрет. Подъем означает установку ступеней в порядке и отказ делать вид, что окрашенная стена является лестницей. Документы, промышленные узлы и правовые прецеденты уже существуют. Сила находится на следующей ступени, до которой вы действительно можете добраться. Линия основания проще: не создавайте сверхинтеллект. Суперинтеллект невозможно контролировать.