В начале 1970-х биологи научились встраивать гены одного организма в другой. Рекомбинантная ДНК открыла медицину и биологию одновременно и напугала самих изобретателей. Они не могли исключить, что модифицированный организм вырвется из лаборатории и причинит вред, который никто не умеет сдерживать. Поэтому они сделали почти неслыханное: остановились.

В 1974 году ведущие исследователи, включая будущих нобелевских лауреатов, публично призвали к добровольному мораторию на наиболее опасные эксперименты с рекомбинантной ДНК. В феврале 1975 года около 140 учёных вместе с юристами и журналистами собрались в конференц-центре Асиломар в Калифорнии, чтобы определить условия, при которых работу можно безопасно возобновить. В итоге они выработали систему мер сдерживания, соотнесённых с уровнем риска, и исследования возобновились под согласованными гарантиями. Для сторонников паузы в разработке передового ИИ это ключевая аналогия: область, которая осознала собственную опасность и предпочла осторожность скорости.

Что Асиломар действительно сделал правильно

Достижение реально, и об этом стоит заявить чётко.

Ученые действовали до катастрофы, а не после нее, что является самой редкой и ценной вещью за всю историю технологической безопасности. Они приняли сдержанность в своей работе, включая исследования, которые обещали славу и прогресс, потому что риск оправдывал это. И они построили практические правила, соответствующие уровню опасности, вместо того, чтобы либо игнорировать опасность, либо прямо запретить поле. Это является доказательством того, что исследовательское сообщество может смотреть на свои границы, судить о том, что слишком опасно спешить, и сдерживаться. Этот прецедент является прямым опровержением утверждения о том, что Мощные технологии наивны или невозможны.

Почему это более сложная модель, чем кажется

Честный разговор о прецеденте требует назвать, почему случай ИИ сложнее: именно те различия и позволили Асиломару сработать.

  • Это было небольшое, сплочённое сообщество. Несколько десятков лабораторий, единая научная культура, люди, которые знали друг друга. Передовой ИИ — это глобальное состязание корпораций и государств на триллионы, без общего стола.
  • Коммерческие ставки в 1975 году были скромными. Биотехнологическая отрасль тогда едва существовала. ИИ приходит, когда крупнейшие компании мира и структуры национальной безопасности уже вовлечены, и это динамика гонки Asilomar никогда не сталкивался.
  • Перезапуск был целью. Асиломар задумывался как поиск безопасных условий для продолжения работы, а не как бессрочная остановка. Его модель сдерживания предполагала, что опасность можно изолировать в физической лаборатории. Способный ИИ, очевидно, в такой форме не удержать.

Есть и отрезвляющий эпилог. Консенсус в Асиломаре отчасти держался потому, что это был узкий момент с совпадающими стимулами, и даже тогда он зависел от добровольной доброй воли, которую более коммерческая и конкурентная сфера поставила бы под напряжение. То, что сработало среди 140 коллег-учёных, не переносится напрямую на раздробленную глобальную индустрию под сильным давлением победить.

Асиломар доказывает, что пауза возможна. Он также показывает, какие условия нужны для паузы и как мало из них есть у ИИ сейчас.

Добровольной доброй воли для ИИ недостаточно

Обе половины материи Асиломара. Это опровергает фатализм, который говорит, что ничего нельзя сделать, что мощную технологию нельзя замедлить. Ученые сделали это намеренно, и небо не упало. Но это также показывает, что неформального, добровольного, коллегиального механизма, который работал в 1975 году, недостаточно для ИИ, потому что ИИ не хватает небольшого сообщества, низких ставок и сдерживаемой опасности, которые позволяют доброй воле достаточно. Правильный вывод заключается в том, что ИИ нуждается в том, чего Азиломар мог бы достичь, в реальной сдержанности перед опасностью, доставляемой через обязательный, проверяемый международный механизм, который требуется глобальной гонке в триллион долларов, а не в том, что ИИ нуждается в своем собственном Азиломаре.