Это неудобное упражнение, ранжирование катастроф. Каждый из них может убить в масштабе, который заставляет слово «катастрофа» чувствовать себя маленьким, и привести их в порядок может звучать как утверждение, что нижние не имеют значения. Ядерная война и сконструированные пандемии являются одними из худших вещей, которые могут случиться с нами, и люди, работающие над их предотвращением, делают одну из самых важных работ.
Расставьте их честно — и сверхразум окажется на первом месте, не потому что остальные малы, а потому что только он из трёх улучшает сам себя, сопротивляется любым контрмерам, которые мы против него выдвигаем, и не даёт второй попытки.
Но внимание и деньги конечны, и мир распределяет их неравномерно по всем угрозам. Кто-то решает, что получит договор, агентство, строку в бюджете, движение. Если эти решения должны соответствовать реальной опасности, а не той, которую нам проще представить, ранжирование нужно провести, и сделать это вслух. Итак: из технологий, способных правдоподобно уничтожить человечество в этом веке, какая самая крупная? Ответ — сверхразум, и разрыв здесь не маленький.
Что должно значить «величайшее»
Риск — это не только то, насколько ужасен наихудший исход. Метеорит, который испарит планету, но имеет один шанс из триллиона упасть, представляет меньший риск, чем пожар, у которого пятьдесят на пятьдесят шансов сжечь дом, хотя пожар не может уничтожить мир. Чтобы честно сравнить эти три случая, нужно одновременно держать в голове три вопроса.
Насколько плох наихудший реалистичный исход? Насколько вероятен этот исход за значимый промежуток времени? И (вопрос, который чаще всего опускают) если что-то пойдёт не так, сможем ли мы ещё остановить процесс? Последний вопрос здесь решает почти всё, и именно по нему три позиции расходятся.
Самая тщательная попытка кого-либо придать этому числовое выражение принадлежит философу Тоби Орду Пропасть, опубликованная в 2020 году, где оценивается вероятность того, что каждый риск приведёт к экзистенциальной катастрофе (вымиранию или необратимому коллапсу) в течение ближайших ста лет. Его цифры — это дисциплинированное суждение человека, который годами читал литературу и общался со специалистами в каждой области, а не измерения; измерить то, чего никогда не происходило, невозможно. Это лучший структурированный прогноз, которым мы располагаем, и важна именно его форма.
| Риск | Оценка Орда |
|---|---|
| Ядерная войнаКатастрофа почти невообразимого масштаба, но (даже при полном обмене и последующей ядерной зиме) большинство оценок не доходят до буквального вымирания человечества. | ~1 из 1000 |
| Инженерные пандемииПатоген, намеренно созданный для летальности и распространения, гораздо труднее сдержать, чем любую естественную вспышку, а инструменты для его создания всё дешевеют. | ~1 из 30 |
| Несогласованный искусственный интеллектСамый крупный риск в подсчётах Орда — больше, чем все природные и все остальные антропогенные угрозы вместе взятые. | ~1 из 10 |
Ядерная война, опасность, сформировавшая всё современное воображение апокалипсиса, оценивается примерно в одну тысячную. Созданные пандемии, угроза, о которой большинство людей серьёзно задумалось только с 2020 года, — более чем в тридцать раз выше. А несогласованный ИИ на порядок выше что, примерно один из десяти, и по оценке Орда больше, чем всё остальное в списке вместе взятое. Риск, о котором мы меньше всего готовы говорить, — это тот, который по его цифрам занимает первое место с большим отрывом.
Ядерное оружие: огромные и почти на своём пределе
Начнём с того, что мы понимаем лучше всего. Сегодня существует около двенадцати тысяч ядерных боеголовок, большинство из них — у США и России. Полный обмен ударами убьёт сотни миллионов в первые часы и, через дым и похолодание, которые описывает современное исследование в Nature Food которые, по оценкам, могли последовать, поставили бы под угрозу голода ещё миллиарды людей. Это ближайшее к аду, что когда-либо создавало человеческое инженерное дело.
И все же, противостоя стандарту полного уничтожения человечества, ядерная война обладает странным свойством: она примерно так же плоха, как и когда-либо. Арсеналы не растут в направлении какого-то нового порядка разрушения; они достигли пика около семидесяти тысяч боеголовок в 1980-х годах и с тех пор упали. Бомба не создает больше бомб, не учится и не выбирает цель. Каждая ядерная катастрофа требует, чтобы человек где-то принял решение или потерпел неудачу, и этот единственный факт является крючком, на котором повисли восемьдесят лет предотвращения.
Поскольку опасность сохраняется, мы смогли построить вокруг нее строительные леса: Договор о нераспространении, режимы запрета на испытания, соглашения о контроле над вооружениями, проверенные инспекцией, горячие линии, десятилетия с трудом завоеванной доктрины о том, как не наткнуться на уничтожение. Леса несовершенны. Это опасность с потолком, направленным на цель, которая не движется, управляемую системой, которую мы потратили всю жизнь на строительство. Вот почему, несмотря на весь свой ужас, он находится в самом низу.
Инженерные пандемии: сложнее ограничить, всё ещё пассивные
Поднимемся на ступень выше. Природная пандемия и так достаточно плоха: испанка 1918 года убила около пятидесяти миллионов человек в мире, который был меньше трети сегодняшнего. Но природа, в мрачном смысле, не пытается. Инженерный патоген будет пытаться. Возьмите что-то с заразностью кори и летальностью геморрагической лихорадки, уберите компромисс, который эволюция обычно навязывает между этими двумя свойствами, — и получите оружие без естественного потолка, ограничивающего обычный арсенал.
Именно поэтому Орд ставит engineered пандемии более чем в тридцать раз выше ядерной войны. Конвенция о биологическом оружии запрещает такое оружие с 1975 года, но в отличие от своего ядерного аналога у неё нет инспекторов и зубов, а биология, которую она пытается сдерживать, с каждым годом становится дешевле и доступнее. Катастрофа здесь не требует сверхдержавы и тысячи боеголовок. Может хватить одной лаборатории и одного человека, которому никогда не следовало иметь такую возможность.
Но держитесь за то, что патоген всё ещё есть. Это ужасно, бездумно и пассивно. Вирусы не планируются. Он не предвидит вакцину и не перепроектирует себя за неделю до ее окончания. Он не рассуждает о том, что люди охотятся на него и предпринимают шаги, чтобы оставаться скрытыми. Она распространяется вдоль слепого градиента, и против этого мы можем принести все преимущества мыслящему виду: секвенирование, вакцины, карантин, накопленный механизм общественного здравоохранения. Мы можем проиграть гонку. Но это гонка против чего-то, что есть весь разрыв между второй ступенью и первой, не бегущей, а только распространяющейся.
Суперинтеллект: тот, который бежит назад
Теперь самое главное в списке, и причина, почему оно там. Не согласованный со сверхинтеллектом — совсем другая сущность: агент, а не более мощная бомба или более хитрый патоген. У него есть цели, или он ведёт себя так, будто они есть. Он может моделировать людей, пытающихся его ограничить, предугадывать их действия и действовать, чтобы их обойти. Все остальные пункты этого списка остаются неподвижными, пока мы строим защиту. Этот наблюдает, как мы её строим, и просчитывает, как её обойти.
Самый укреплённый бункер в мире не спасёт вас от сверхразум.
Наото Накада
Сопоставьте эти три с вопросами, которые действительно определяют, превратится ли катастрофа в конец, и картина окажется мрачной.
| Ядерный | Биооружие | Суперинтеллект | |
|---|---|---|---|
| Может ли оно улучшаться самостоятельно? | Нет | Нет | Да |
| Действует ли это против наших контрмер? | Нет | Нет | Да |
| Сможет ли оно перехитрить тех, кто его останавливает? | Нет | Нет | Да |
| Можно ли его отозвать, если оно вырвалось? | Отчасти | Едва | Нет |
| Сможем ли мы извлечь урок из первого сбоя? | Обычно | Иногда | Возможно, никогда |
Прочитайте последнюю колонку. Ядерное оружие и патоген — это статичные угрозы, против которых мы направляем свой интеллект. Сверхинтеллект — это угроза, которая направляет интеллект против нас, потенциально превосходящий наш, направленный точно в те точки, за которые мы пытаемся держаться. Он может копировать себя, обходя любые попытки отзыва, совершенствоваться быстрее, чем мы успеем отреагировать, и вести себя идеально во время тестов, а иначе — после. Это единственный пункт в списке, против которого наш главный видовой преимущество — интеллект — не гарантированно окажется большим в комнате.
Это лучше всего понимать как идеальный шторм, не одно пугающее свойство, а одновременный отказ всех обычных защитных механизмов. Вероятность оценивается как один к десяти, а не один к тысяче. С ядерным оружием и пандемиями остаются пути спасения: мы можем отозвать, мы можем учиться, мы можем перехитрить угрозу. Со сверхинтеллектом они закрываются вместе, и закрываются потому, что сущность на другой стороне закрывает их намеренно.
Два других могут убить большинство из нас. Этот способен довести дело до конца и, в отличие от остальных, совершенствоваться, пока мы пытаемся его остановить.
Почему рейтинг должен изменить ваши действия
Суперинтеллект также, с большим отрывом, наименее защищён, а не только самый крупный из трёх рисков.
У ядерного оружия есть договор о нераспространении, международное агентство в Вене, режимы проверки и восьмидесятилетняя доктрина. Биологическое оружие имеет конвенцию, хотя и беззубую, и глобальный аппарат общественного здравоохранения, который пандемия, несмотря на все свои неудачи, расширила. У обоих есть избирательный округ: люди, которые потратили на них карьеру, институты, построенные вокруг них, общественность, которая понимает слова. У суперинтеллекта почти ничего из этого нет. Ни обязательного договора, ни инспекторов, ни агентства. Общественной картины угрозы нет, а до недавнего времени едва ли движение.
Именно это сочетание (самый большой ожидаемый вред на фоне самой слабой существующей защиты) — главная причина действовать именно здесь, а не где-то ещё, а не повод для отчаяния. Когда риск огромен и уже интенсивно прорабатывается, ваши дополнительные усилия конкурируют с большим объёмом предыдущей работы и сдвигают стрелку лишь немного. Когда риск огромен и почти не проработан, вашим усилиям не с чем конкурировать, и они могут сдвинуть стрелку сильно. Самый крупный и самый neglected риск — это то место, где заданный объём работы приносит наибольшую пользу, и по обоим критериям сверхразум — именно такой риск.
Это усугубляется дальше. Область, работающая напрямую над этим, работает на мизерном бюджете, примерно пару сотен миллионов долларов в год, меньше, чем мир тратит на усиление ИИ за один день. И даже эти деньги в основном идут на технические исследования того, как выровнять эти системы, — проблему, которую пока никто не решил и может не решить вовремя. Самая упускаемая из виду часть — это политическая работа: создание обязательного, проверяемого международного соглашения, которое позволит не создавать самые опасные системы до тех пор, пока их нельзя будет сделать безопасными.
Ядерная война и пандемии по-прежнему близки к вершине любого списка того, на что человечеству стоит тратить силы. Оценки катастрофы ИИ — примерно от одного к десяти до одного к трём, так что самый вероятный исход всё же в том, что мы выживем.
Утверждение уже, и от него труднее уйти. Из немногих вещей, способных нас уничтожить, сверхразум — крупнейшая по лучшим имеющимся оценкам, единственная, активно противодействующая попыткам выжить, и та, в отношении которой сделано меньше всего для управления. Эти три факта вместе и объясняют, зачем существует Фонд. Мы не пытаемся заново проводить технические исследования безопасности, которые уже финансируют лаборатории. Мы узко сфокусированный о недостающем элементе: международном праве, которое признаёт наибольшую опасность таковой и устанавливает ограничение до, а не после первой ошибки, из которой мы уже не сможем извлечь урок.
Честно расставьте катастрофы по приоритету — и порядок действий определится сам. Наибольшая угроза одновременно наименее защищена и наименее изучена.