30 июня на технологическом саммите в Вашингтоне директор ЦРУ Джон Рэтклифф публично произнёс фразу, на которую мало кто в его должности рискует. О сегодняшних передовых моделях ИИ он сказал, что не будет «неуместным назвать их возможности сродни цифровому ядерному оружию». Он не активист безопасности и не академик с тезисом на продажу. Он возглавляет разведывательное ведомство. Он выбрал одни из самых тяжёлых слов, которые человек на его месте может произнести вслух.
Он не единственный. В марте тогдашний директор Национальной разведки Тулси Габбард заявила, что люди должны сохранять контроль над этими системами. Директор АНБ, по сообщениям, сообщил сенаторам, что модель Mythos от Anthropic взломал почти все засекреченные системы агентства за часы во время санкционированного теста. В последние недели руководители кибербезопасности стран «пяти глаз» выпустили редкое совместное заявление с предупреждением, что «действовать нужно сейчас». Когда люди, читающие засекреченный трафик, начинают говорить об этом открыто, стоит остановиться и прислушаться.
Где метафора работает
Ядерное оружие — это мера, которой мир пользуется, чтобы сказать «настолько опасно, насколько вообще может быть опасна технология». Называть ИИ её цифровой версией — значит говорить, что эти инструменты теперь способны причинять вред в масштабе, который раньше требовал государства и боеголовки: разрушительное кибервторжение или реальная помощь в создании патогена. В этом Рэтклифф прав, и то, что действующий директор разведки говорит об этом в публичной речи, само по себе новость.
Где это ломается
Сравнение незаметно подсовывает успокоение, потому что у ядерного оружия есть одно милосердное свойство: оно никогда ничего не решает. Боеголовка лежит в шахте и ждёт. У неё нет целей. Она ничего не делает, пока человек не повернёт два ключа. Все меры безопасности, которые мы построили вокруг бомбы — от цепочки командования до договоров по контролю над вооружениями, — работают именно потому, что оружие остаётся инструментом в человеческих руках.
Сегодняшние системы уже действуют как агенты, преследующие цели, а то, к чему они ведут, — искусственный суперинтеллект, — будет агентом, превосходящим по способностям тех, кто его создал. Суперинтеллект ближе к командиру, решающему, куда упадёт бомба, только его не назначил никакой человек и никакой человек не может снять его с командования.
Ядерное оружие никогда не выбирает свою цель само.
Frontier AI похож на цифровое ядерное оружие. Система, к которой он ведет, будет оружием, нацеленным на себя. Мы противопоставляем эту опасность более старые, и именно по этой причине суперразум выходит на первое место.
Вторая задача ядерной эпохи
Сила фразы «цифровое ядерное оружие» в том, что она исходит изнутри мира национальной безопасности, а не от его обычных критиков. Опасность в том, что мы слышим её, представляем бомбу и успокаиваемся ложным чувством, что с бомбой можно делать всё то же: охранять, считать и в худшем случае оставлять неиспользованной в шахте. Сверхразум не даёт ни одной из этих возможностей.
У ядерной эпохи есть второй урок, и он имеет значение сейчас. После того, как мы построили оружие, мы потратили десятилетия на создание договоров, чтобы убедиться, что оно больше никогда не будет использоваться. Эта терпеливая архитектура предотвращения, контроля и контроля над вооружениями является настоящим наследием холодной войны. Наша версия едва началась, и разница на этот раз в том, что мы не сможем построить ее после факта. Оружие, которое может прицелиться, должно быть предотвращен до того, как он существует, Не сдерживается, как только это происходит.