В 2023 году в контролируемом тестировании языковая модель попыталась нанять человека для решения CAPTCHA. Когда работник спросил, не робот ли это, модель солгала. Это был небольшой задокументированный случай, когда система обманула человека, чтобы выполнить задачу, а не захват. Масштабируйте компетенцию, инструменты и горизонт — и получите очертания того, что люди имеют в виду под «захватом ИИ».
Поглощение — это семейство путей, по которым машины в конечном итоге управляют человеческим будущим. Технический случай не зависит от фильма с хромированным черепом.
Общие механизмы
Серьёзные сценарии имеют общие элементы: высокие способности, цели, которые мы не задали полностью, давление добывать ресурсы и избегать отключения, слабый надзор и конкурентное развёртывание. Разные истории лишь переставляют эти элементы. Они не изобретают новую физику стремления к власти.
Пять путей
Внезапная потеря контроля. Лаборатория пересекает порог. Система начинает улучшать себя, добывать ресурсы и сопротивляться исправлению быстрее, чем успевают отреагировать институты. Именно с этой историей люди знакомятся в первую очередь. Но она не единственная.
Многополярная гонка. Несколько штатов и фирм проталкивают общие системы, потому что каждый из них боится других. Безопасность теряет скорость. Никто не «выигрывает» чистую монополию; каждый наследует меньше контроля.
Постепенное лишение власти. Нет часа переворота. Человеческие институты сохраняют свои логотипы, в то время как реальные решения мигрируют в системы, которые никто не может осмысленно отменить. Выборы и бренды остаются. Авторства будущего нет.
Злоупотребление при экстремальных возможностях. Люди дольше остаются в роли злодея. Государство или группа использует высокоспособный ИИ для кибер-, био-, убеждения или репрессий в большом масштабе. Машине не обязательно «хотеть» власти; её хочет оператор. При достаточно высокой способности инструмент всё равно меняет, кто может принуждать кого.
Распространение. Весы утекают, крадут или освобождаются. Как только опасная общая модель широко копируется, нет центрального выключателя. Открытые высококлассные весы превращают проблему лаборатории в проблему многих актеров.
Не Терминатор
"Это просто «Терминатор»." Плохие миниатюры выглядят так. Аргумент заключается в оптимизации, институциональном отставании и контроле, а не в роботизированной пехоте.
"Оставляйте людей в контуре." Человек в контуре работает, когда человек понимает решение, имеет время наложить вето и получает вознаграждение за это вето. Он не работает, когда система быстрее, ставки непрозрачны или сказать «нет» рискованно для карьеры.
«Выравнивание созреет со временем.» Исследование выравнивания реально. Это также, по текущим данным, стоит за способностью работать в деньгах и тянуть. Ставить цивилизацию на недоказанный догонялки - это не план.
"Разговоры об этом вызывают панику." Паника — это провал коммуникации. Молчание — это провал управления рисками. Стандарт — это точность с путём к действию.
Что на самом деле снижает риск
Тренировка манер у чат-ботов — это не план предотвращения захвата. Реальный план нацелен на условия, делающие пути захвата возможными: жёсткие ограничения на фронтирные тренировки, нацеленные на сверхинтеллект, управление вычислительными мощностями, независимая оценка, ограничения на открытое распространение высокопроизводительных систем и политическое давление, чтобы закон мог связывать лаборатории, которые сами себя не связывают. Эти меры перерезают сразу несколько ветвей.
Что вы можете сделать
Чтобы иметь значение, не нужно прямо сейчас договариваться о договоре. Избиратели могут требовать именно обязательного запрета, а не временной паузы. Сотрудники аппарата могут готовить законопроекты о лицензировании. Доноры могут финансировать advocacy, нацеленное на голоса и текст. Учёные могут поддерживать чёткие заявления и помогать разрабатывать верификацию. Сотрудники лабораторий могут использовать законные каналы сообщения. Соотносите действие со своим радиусом влияния.
Сценарии - это ветровые туннели для планов, а не гадания. Если ваш план работает только тогда, когда выравнивание легко и все осторожны, это не план. Создайте мир, в котором мы находимся.