Бомба была построена, нацелена и до сих пор не использовалась против города после 1945 года. Люди, которые до сих пор придерживались этого принципа, те, кто провел холодную войну, создавая запреты на испытания, «горячие линии» и режимы проверки, которые не позволили ужасающему противостоянию стать окончательным, сделали некоторые из самых важных работ прошлого века. Большинство из них никогда не будут знамениты. Профилактика по своей природе спокойна. Когда это работает, ничего не происходит, и ничего сложно поставить на памятник.
Та же форма, новое оружие
Когда я говорю, что мы переживаем новую холодную войну, я имею в виду ту же самую форму: Соединенные Штаты и Китай мчатся к технологии, ни одна из которых не может позволить другой достичь первой, что может положить конец человеческой истории, если она пойдет не так, и что никто не мчится честно заявить о контроле. Поменяйте водородную бомбу на искусственный суперинтеллект, и вы получите 1958 и 2026 годы.
Я не единственный, кто слышит это эхо. В июне директор ЦРУ заявил аудитории в Вашингтоне, что не будет преувеличением назвать возможности сегодняшнего передового ИИ "цифровое ядерное оружие."
Различия идут в неправильном направлении
Между тогда и сейчас есть реальные различия, и именно они не дают мне спать. Почти все они делают наше положение труднее, а не легче. Ядерное оружие остаётся в человеческих руках; суперинтеллект не стал бы. Ядерные материалы физичны, их можно добывать и подсчитывать. Входные данные для ИИ — это чипы и код, их труднее увидеть и легче спрятать, хотя не невозможно управлять. А холодная война дала участникам то, чего мы, возможно, не получим, — время. У мира были годы, чтобы осознать Хиросиму, почувствовать страх и выстроить институты в ответ. Возможности ИИ нарастают быстрее, чем любые институты, которые у нас есть, успевают за ними.
Что на самом деле доказала холодная война
Но та же эпоха опровергла главный довод, на который опираются сторонники ускорения: будто соперники, не доверяющие друг другу, никогда не смогут договориться о сдерживании. Вашингтон и Москва совершенно не доверяли друг другу, и всё же подписали обязывающие, поддающиеся проверке соглашения по контролю над вооружениями, потому что обе стороны видели: неограниченная гонка оставит их в худшем положении, чем правило, одинаково связывающее их. Недоверие было причиной договоров, а не препятствием. Если два правительства смогли найти такую логику при десятках тысяч боеголовок, нацеленных на города друг друга, уверенное утверждение, что США и Китай никогда не смогут сделать то же самое в сфере ИИ, — это лишь оправдание для продолжения гонки, замаскированное под жёсткий реализм.
Почему существует Фонд
Я отказываюсь быть частью поколения, которое построило оружие, способное нацеливаться, и сказало себе, что у него нет выбора.
Те, кто предотвратил худшее в холодной войне, настаивали, вопреки возражениям всех, кто называл их наивными, что некоторые технологии слишком опасны, чтобы оставлять их на милость гонки. Они были правы тогда. Единственная задача, которая сейчас имеет значение, — снова оказаться правыми и вовремя.