P(катастрофы) — не технический термин из формальной статьи. Он возник в онлайн-дискуссиях по безопасности ИИ как сокращение для вероятностной оценки, которую большинство исследователей до 2020 года вообще не стали бы выражать числом. Готовность количественно оценивать его (рассматривать катастрофический риск ИИ как вероятность, которую можно оценить, а не как возможность, о которой можно смутно упомянуть) — один из значимых сдвигов в том, как люди, работающие ближе всего к разработке ИИ, думают о проблеме.
Оценки варьируются от нескольких процентов до более чем 50%, в зависимости от исследователя и того, как они оценивают сложность выравнивания и скорость управления.
«Гибель» в G7 намеренно не конкретизирована. Разные исследователи вкладывают в неё вымирание человечества, необратимую утрату человеческой автономии, необратимую концентрацию власти в руках одного актора или иную цивилизационную катастрофу. Неточность признаётся; смысл термина — заставить явно и количественно рассуждать о риске, а не полагаться на интуицию о том, «реален» он или «спекулятивен».
Как выглядят оценки
Разброс оценок среди этих исследователей впечатляет. Хинтон и Юдковский разделены десятками процентных пунктов. Формальная декомпозиция Карлсмита дала широкий диапазон, а не точечную оценку, отражая реальную неопределённость на каждом промежуточном шаге. Общее у всех оценок — их нетривиальность: ни один из исследователей безопасности, кто серьёзно занимался проблемой и поставил число, не опустился ниже примерно 5 %.
Определите свою позицию по каждому из ключевых вопросов ниже и посмотрите, как они складываются в единую оценку.
Почему существует широкий разброс
P(катастрофы) как число — это произведение нескольких неопределённых промежуточных вопросов. Насколько быстро будут расти возможности ИИ? Насколько сложна проблема выравнивания на уровнях способностей, которые мы ещё не тестировали? Насколько вероятно, что несовмещённый ИИ определённого уровня способностей вызовет катастрофический, а не локальный вред? Насколько вероятно, что управление успеет отреагировать до достижения критического порога возможностей?
У разных исследователей разные распределения вероятностей по этим вопросам, и оценки складываются. Исследователь, считающий проблему согласования решаемой, развитие возможностей относительно медленным, а управление способным отреагировать вовремя, даст значительно более низкую общую оценку, чем тот, кто считает иначе по каждому пункту. Широкий разброс отражает реальную неопределённость по каждому фактору, а не разногласие, которое можно разрешить, просто внимательнее изучив одни и те же данные.
Аргумент ожидаемой ценности
Обычный ответ на нетривиальные оценки P(катастрофы): «Даже 10 % кажется слишком низким порогом, чтобы перестраивать вокруг него общество». Этот ответ опирается на отказ от рассуждений через ожидаемую ценность, который не приняли бы в других контекстах риска.
Годовая вероятность крупной пандемии, способной унести миллионы жизней, оценивается ниже 1 % в любой отдельный год, однако подготовка к пандемиям получает серьёзные глобальные инвестиции и внимание политиков. Вероятность погибнуть в автокатастрофе за жизнь в US составляет примерно 1 %, и регулирование безопасности дорожного движения считается совершенно нормальным. Утверждение, что вероятность цивилизационной катастрофы в 10 % (или даже 5 %) не требует серьёзных мер предосторожности, не согласуется с тем, как мы обращаемся с рисками в других областях.
Ожидаемое значение - это величина вероятностного времени. Для рисков, которые являются необратимыми и цивилизационными по масштабу (где нет восстановления от плохого результата, а плохой результат исключает всю будущую ценность), ожидаемое значение меры предосторожности остается большим даже при вероятностях, значительно ниже 10%. Вероятность потерять все на 1% - это проблема, ожидаемая стоимость которой составляет 1% от всего, что в масштабах долгосрочного будущего является огромным числом, а не проблемой на 1%.
Что снизило бы P(катастрофы)
Исследователи, дающие высокие оценки P(катастрофы), диагностируют, где нужна самая критическая работа, а не смиряются с плохим исходом. Факторы, которые могли бы снизить P(катастрофы) в оценках большинства исследователей, хорошо известны: продемонстрированный прогресс в инструменты интерпретируемости способных верифицировать выравнивание передовых систем; подходы масштабируемого надзора, работающие на уровнях возможностей выше человеческих экспертов; обязательные международные рамки управления с реальным принуждением; и развитие возможностей, которое идёт медленнее исследований выравнивания, чтобы безопасность была обеспечена до достижения опасных уровней возможностей.
Фонд фокусируется на структурах управления и исследованиях выравнивания в качестве основных рычагов, а не на отклонении риска или рассмотрении конкретной оценки в качестве авторитетного ответа. Неопределенность в .P(катастрофы). не является причиной для ожидания дополнительной информации, плохой результат достигает определенных порогов возможностей, а не на временной шкале, которая позволяет отложить меры предосторожности на неопределенный срок.