Обсуждения безопасности ИИ часто сосредоточены на отдалённых сценариях: сверхразумных системах с несогласованными целями, предательских поворотах на порогах способностей, которых ещё не достигнуто. Риск убеждения ИИ иной. Базовая форма угрозы уже присутствует в доступных сегодня системах и влияет на выборы и общественный дискурс прямо сейчас. Более опасная долгосрочная версия — это экстраполяция быстро развивающейся технологии, а не чисто гипотетическое будущее.
Долгосрочная версия (ИИ, способный моделировать и эксплуатировать индивидуальную психологию со сверхчеловеческой точностью) — именно то направление, в котором движется технология.
Предыдущие технологии уже облегчали пропаганду. ИИ обеспечивает нечто качественно иное: высоко персонализированные убедительные сообщения в массовом масштабе, адаптированные к индивидуальным психологическим профилям, обновляемые в режиме реального времени на основе ответов. Сочетание персонализации, масштаба и низкой предельной стоимости создает возможность влияния, которое не соответствовало ни одному предыдущему инструменту.
Что делает убеждение ИИ особенным
Традиционные операции влияния (рекламные трансляции, политические послания, государственная пропаганда) охватывают многих людей одним и тем же сообщением. Сообщение может быть тщательно проработано и многократно протестировано, но оно неизбежно представляет собой компромисс между разными аудиториями. Умелый человеческий убеждающий может подстраивать подход под конкретного собеседника, но он способен говорить лишь с ограниченным числом людей. Эти две способности (масштаб трансляции и индивидуальная персонализация) исторически находились в противоречии.
ИИ снимает это напряжение. Система, имеющая доступ к индивидуальным данным (история просмотров, социальные сети, предыдущие ответы) и способная генерировать разнообразный убеждающий контент, может одновременно охватывать миллионы людей и подстраивать каждое взаимодействие под конкретного человека. Предельная стоимость создания ещё одного персонализированного убеждающего сообщения стремится к нулю. Система может в реальном времени итерировать, опираясь на то, какие подходы работают, а какие — нет, в масштабе, недоступном ни одной человеческой операции влияния.
Проблема асимметрии
Сила ИИ-убеждения сильно сконцентрирована. Развёртывание оптимизированного под убеждение ИИ в большом масштабе требует значительных ресурсов, данных, вычислительных мощностей, инженерных возможностей и доступа к каналам распространения. Эти требования выгодны хорошо обеспеченным акторам: крупным корпорациям, государствам, состоятельным частным лицам. У людей, на которых направлено воздействие, нет сопоставимых возможностей противодействия. В конечном счёте у них может появиться доступ к инструментам ИИ, помогающим оценивать контент, но в ближайшей перспективе наступательно-оборонительная асимметрия остаётся в пользу атакующего.
Кампания, которая когда-то нуждалась в складе копирайтеров, теперь может подготовить тысячу вариантов сообщения перед обедом, каждый из которых настроен на кусочек избирателей. Убеждение в этом разрешении — это риск ИИ, который появляется раньше, чем кто-либо строит модель бога.
Это структурная проблема, а не проблема конкретного дезинформационного сообщения. Даже если каждое отдельное утверждение в операции влияния с помощью ИИ технически верно, систематическое воздействие на психологические уязвимости в масштабе искажает эпистемическую среду, от которой зависит демократическое обсуждение. Цель операций влияния — формировать отношение людей к вопросам, кандидатам и институтам в интересах оператора, а не обязательно вводить в заблуждение.
Ближайшие свидетельства
Использование ИИ для влияния на выборы задокументировано в национальных выборах нескольких стран с 2023 года. Операции влияния с применением ИИ для создания синтетических медиа, фабрикации цитат реальных публичных лиц и массовой скоординированной публикации в объёмах, требующих больших команд операторов, выявлены и описаны независимыми исследователями и командами безопасности платформ. Такие операции становится всё труднее обнаруживать по мере улучшения генерируемого ИИ контента, а инструменты обнаружения отстают от инструментов генерации.
Риск присутствует в современной технологической среде, влияя на реальные политические процессы, и траектория направлена на более способные и трудно обнаруживаемые инструменты убеждения. Вопрос в том, какие меры государственного управления являются пропорциональными и эффективными, а не в том, следует ли рассматривать это как реальный риск.
Долгосрочная эскалация
Текущие инструменты ИИ-пере убеждения работают, но не оптимизированы для убеждения на фундаментальном уровне. Будущие системы с более сложными моделями индивидуальной психологии, более детальными данными о людях и большей способностью к долгосрочному моделированию отношений могут оказаться существенно эффективнее. Система, способная строить устойчивую модель убеждений, тревог и психологических уязвимостей человека и взаимодействовать с ним недели или месяцы, может производить эффекты, далеко выходящие за рамки нынешних инструментов.
Именно так выглядит риск убеждения ИИ на уровне суперинтеллекта: не простая массовая дезинформация, а индивидуально targeted долгосрочная эпистемическая манипуляция системами, чьи модели человеческой психологии намного лучше любых нынешних инструментов. Связь с сценарии единоличной власти и закрепление ценностей прямая: актор с высокоэффективными инструментами ИИ-убеждения мог бы использовать их, чтобы формировать общественное мнение о управлении сверхразум, затрудняя демократическим институтам введение ограничений, которые ограничили бы власть этого актора.