В 1946 году только США обладали ядерным оружием, и какое-то время казалось, что никому больше не придётся его создавать. В июне американский финансист Бернард Барух представил план новообразованной ООН. Атомная энергия во всех её опасных формах должна быть передана под международный орган. Этот орган будет контролировать добычу, материалы и технологии по всему миру, проверять нарушения и обеспечивать использование науки для энергетики, а не для бомб. Как только система заработает, США откажутся от своего атомного арсенала.

На бумаге это было необычайное предложение: единственная ядерная держава предлагала передать свою монополию под международный контроль, а не использовать её. План провалился. Через несколько лет Советский Союз получил бомбу, и гонка вооружений, которую план должен был предотвратить, продолжалась следующие четыре десятилетия и так и не закончилась полностью.

Почему это рухнуло

Провал произошёл не потому, что никому было неважно. Дело было в условиях, которым должно удовлетворять управление стратегической технологией, — условий, которым план Баруха не соответствовал.

  • Доверие и последовательность. План требовал, чтобы Советский Союз принял жёсткий международный контроль и отказался от собственной программы раньше США, которые сохраняли бомбы до полной отладки системы. Москва, разумеется, не приняла схему, закреплявшую американское преимущество на переходный период.
  • Исполнение и вето. В плане предлагалось убрать великодержавное вето по атомным вопросам, чтобы нарушения могли быть наказаны. Советский Союз, не желая быть изгнанным по собственной безопасности, отказался. Реальное исполнение и Национальный суверенитет столкнулись.
  • Гонка уже началась. Даже пока план обсуждали, обе державы уже гнались за лежащей в основе возможностью. Управление пыталось догнать уже начавшееся соревнование.

Параллели с ИИ, изложенные осторожно

Сходство некомфортное. Появляется transformative и опасная технология. На короткое время круг игроков мал и ситуация в принципе ещё управляема. Существует предложение поставить технологию под коллективный контроль до того, как неограниченная гонка всё зафиксирует. И усилие натыкается на взаимное недоверие, трудности проверяемого исполнения и уже начавшуюся гонку. Замените «атомный» на «ИИ» — и форма знакома, поэтому план Баруха преследует серьёзные обсуждения сверхразум-управления.

План Баруха — это история окна, которое ненадолго открылось, а потом закрылось. Урок касается времени.

Два урока, а не один

Простое прочтение — отчаяние: международный контроль над стратегической технологией уже пытались ввести в самый подходящий момент и потерпели неудачу, так зачем ждать лучшего для ИИ. Это прочтение неполное.

Первый реальный урок касается окна возможностей. План Баруха провалился отчасти потому, что появился чуть слишком поздно — после того, как недоверие укрепилось и обе стороны уже включились в гонку. Окно для управления технологией максимально широко до того, как конкуренция закрепится, и оно закрывается. Для ИИ это окно — сейчас, а не после того, как гонка полностью начнётся; именно в этом urgency всей работы Фонда.

Второй урок касается конструкции. План Баруха провалился из-за проверки и принуждения, из-за невозможности в 1946 году доверять соблюдению без способа это проверить. Именно эту проблему решают современные инструменты, от режимы верификации Для решения этой проблемы существует аппаратный мониторинг, и именно поэтому последующие договоры о контроле над вооружениями, заключенные после провала плана Баруха, увенчались успехом там, где это было невозможно. План не доказал, что управление невозможно. Она показала, какие проблемы должны быть решены, и что они должны быть решены рано.