Ядерное оружие — это конструкция, завёрнутая вокруг проблемы материалов. Нужен расщепляющийся материал, обычно высокообогащённый уран или плутоний, полученный реакторным способом, в количествах и чистоте, которые не падают с неба. Заводы по обогащению велики, энергозатратны и наполнены оборудованием, которое разведслужбы уже семьдесят лет учатся обнаруживать. Эта трудность — не вся история нераспространения, но именно тот вклад, который внесла физика бесплатно.
Теперь проведите мысленный эксперимент, который пропустят лидеры ИИ. Предположим, что точная конфигурация атомов, которая делает бомбу, была простой. Предположим, что входы были дешевыми, двойного назначения, и продаются поддоном. Предположим, что готовый дизайн может быть скопирован как файл. Сколько лет длится этот вид?
Немногие. Договоры всё равно будут иметь значение. Как и нормы, и страх. Им придётся выполнять всю работу, которую сейчас выполняет трудность получения материалов, причём в масштабах, с которыми ни одна система принуждения никогда не справлялась. Частичный успех XX века с ядерным оружием невозможно понять без трения в цепочке поставок. Нам повезло, что уран привередлив.
Что нам дала жёсткость
Девять государств, как известно, обладают ядерным оружием. Это число — скандал и одновременно своего рода милосердие. Сотни государств имеют научные кадры, способные понять физику. Гораздо меньше завершили промышленный марафон под санкциями, наблюдением и затратами. Договор о нераспространении, режимы экспортного контроля и система гарантий IAEA опираются на простой факт: узкое место достаточно заметно, чтобы за ним следить.
Уберите bottleneck — и вы получите не чуть более сложную дипломатическую проблему. Вы получите мир, в котором маргинальный актор, слабое государство, хорошо финансируемая группа, отколовшаяся команда смогут держать города в заложниках. Математика сдерживания, которая едва работает среди нескольких благоразумных держав, не сработает среди десятков игроков с более коротким горизонтом планирования. Бомба страшна. Лёгкие бомбы — проблема другого рода.
Мы не выживем с лёгкими ядерными материалами благодаря лучшим речам. Мы выживаем с жёсткими ядерными материалами при наличии инспекций сверху. Суперинтеллект дрейфует в сторону лёгкости.
В каком направлении движется ИИ?
Обучение фронтирных моделей по-прежнему требует серьёзных денег, серьёзных чипов и серьёзной инженерии. Кластер, достаточно большой, чтобы сдвинуть фронтир, — это физический объект в здании с счётом за электричество.
Эта линия тренда не похожа на урановую. Модели становятся мощнее на каждый доллар. Методики улучшаются. Веса после обучения можно копировать почти бесплатно. Открытые релизы и утечки разносят возможности в стороны. Таланты глобальны. Ничего из этого не делает суперразум бесплатным завтра утром. Всё это указывает в сторону от случайного подарка, который сделал возможным ядерное нераспространение: жёсткого материала.
Сравните эти две группы честно. Чтобы получить второй ядерный арсенал, вам все еще нужны растения, сырье и время под телескопами. Чтобы получить вторую копию обученной модели, вам нужен привод. Если опасный объект Агент, а не боеголовка, репликация благоприятствует программному шаблону, а не изотопному шаблону.
Неправильный урок и правильный
Неверный урок заключается в фатализме: входы становятся легче, поэтому управление безнадежным. Именно зеркальное отражение лабораторного поля может спасти нас только больше возможностей. Оба пропускают интервал, в котором мы все еще находимся, где видны пограничные полосы, и число серьезных участников невелико.
Правильный вывод — срочность в отношении той твёрдости, которую нам ещё предстоит изобрести. Если физика не сумеет удержать ворота узкими, это должны сделать право и отраслевые стандарты. Правила «знай своего клиента» для передовых чипов. Пороги отчётности по тренировочным запускам. Права на аудит. Аппаратные функции, усложняющие скрытое крупное обучение. Договор, который объявляет суперразум недопустимым продуктом. Суперразум невозможно контролировать NPT и набросок модельного договора это попытки зафиксировать эту сложность на бумаге до того, как лёгкий путь окончательно откроется.
Закрыть мысленный эксперимент
Представьте брифинг президента в 1960 году: есть проверенная конструкция, а материал для бомб продаётся как удобрение. Любая интуиция в комнате потребует контроля у источника. Никто не назовёт это инстинкт антинаучным. Никто не скажет, что ответ — изобрести более умную бомбу, чтобы контролировать первую.
Мы движемся к возможности, чей естественный барьер слабее, чем у бомбы, и при этом говорим себе, что скорость — это безопасность. Мысленный эксперимент несложен. Если опасную вещь легко сделать, у мира не будет второго шанса. Сделайте её трудной намеренно, пока это ещё возможно, или узнайте, каково это — когда легко, без окаменелостей выживших, от которых можно было бы отталкиваться.