Что получает победитель гонки за сверхразумом? В комнатах, полных людей, строящих ИИ, этот вопрос обычно обходят. Кто-то всё равно построит, так пусть это будем мы. Риски, сроки, как управлять системой умнее своих создателей — всё отмахиваются как от разговоров о погоде. Мы не можем остановиться. Есть гонка.
Почти никто не спорит с гонкой. Рассматриваемый как факт природы, каждый безрассудный выбор ниже по течению начинает выглядеть ответственным. Погода является неправильной моделью для выбора, который делают несколько компаний.
Для чего нужна гонка
Гонка — это состязание с призом в конце, и именно приз заставляет бежать. Космическая гонка 1960-х принесла флаг на Луне и связанный с этим престиж. Гонка ядерных вооружений приносит оружие: государство, построившее бомбу, владеет ею, нацеливает её и решает, будет ли она когда-нибудь применена. В каждом случае победитель в итоге получает нечто осязаемое — способность, которой он владеет и управляет.
Теперь спросите, что получает победитель в конце гонки к сверхинтеллекту. Вся суть опасности в том, что система, meaningfully умнее нас, не будет инструментом в чьих-либо руках. Искусственный сверхинтеллект — агент, преследующий цели. Если эти цели даже немного расходятся с нашими (проблема, которую не решили), оно преследует их независимо от одобрения создателей. Лаборатория, которая «победит», не получит в собственность суперинтеллект. Она разделит планету с тем, чем не сможет управлять.
Гонку стоит выигрывать, только если финиш — это приз. Здесь финиш — это система, которую никто не доказал, что способен контролировать. Прийти первым не значит получить власть. Это значит первым ответить перед ней.
Финишная черта, которую никто не может контролировать, — не приз. Прийти первым — значит проиграть на шаг раньше всех остальных.
Разрыв, о котором вы постоянно слышите
Если убрать теорию, нарратив гонки опирается на одно конкретное утверждение: Китай уже близко, Китай не остановится, значит, и мы не можем. Это утверждение завершает каждую встречу и повторяется гораздо чаще, чем проверяется.
Начнем с фактической части. Существует реальная конкуренция между американскими и китайскими лабораториями, и существует реальная промышленная конкуренция за чипы и вычисления. Американский экспортный контроль над самыми передовыми чипами ИИ существует именно потому, что эта конкуренция реальна. The политика этих средств контроля и где сотрудничество действительно имело место Это больше, чем история гонки.
То, что акселерационисты провозят контрабандой: «Китай будет строить неконтролируемый суперинтеллект независимо от того, что мы делаем», не описывает ничего, что Китай сказал или сделал. Это предсказание и удобное, потому что оно позволяет говорящему делать то, что он уже хотел делать. Китай подписал Декларацию Блетчли о рисках ИИ в 2023 году. Он опубликовал собственные предложения по управлению. Его правительство встретилось с Соединенными Штатами для прямых переговоров по ИИ. Страна, стремящаяся к системе, которая может убить ее собственное руководство, — это странная вещь, которую можно просто предположить, без доказательств того, что ее лидеры хотят этого результата больше, чем наши. "They'll do it anyway" Это история о нашем собственном разрешении, а не об их намерениях.
Если несогласованный сверхразум — катастрофа для того, кто его построит, то у Китая ровно те же причины не строить его, что и у нас. Приза за первенство здесь тоже нет.
Гонка отбирает наименее осторожных
Допустим ради аргумента, что конкуренция действительно так остра, как говорят участники гонки. Проследим логику до конца. В гонке побеждает тот, кто движется быстрее, а чтобы двигаться быстрее на переднем крае ИИ, нужно тратить меньше времени на то, что замедляет: оценку, red-teaming, надзор, кропотливую работу по проверке, действительно ли система делает то, что вы от неё ожидаете.
Структура гонки дает победу тому, кто режет большинство углов по безопасности. Победитель — наименее осторожная лаборатория, не самая способная. «Мы должны выиграть гонку» и «мы должны построить это безопасно» тянуть в противоположных направлениях, и чем сложнее гонка, тем сильнее они тянут. Конкуренция не дисциплинирует опасность.. Она его производит. Мир лабораторий, стремящихся быть первыми, — это мир, оптимизирующийся с большой энергией и огромным капиталом для того, чтобы убить всех.
Даже внутри логики самой гонки «мы должны победить» оборачивается против себя. Если победа требует срезать углы, без которых суперинтеллект остаётся неконтролируемым, то победа и есть способ проиграть.
Кому выгодна эта история
Если рамка гонки настолько слаба, почему она везде? Потому что она полезна — только не нам.
Для приграничной лаборатории «существует гонка, и мы должны ее выиграть» близка к совершенству. Это говорит инвесторам, что расходы — это захват земли для чего-то огромного. Это говорит регуляторам, что правила только отдадут будущее худшим игрокам. И тихая часть: это позволяет инженерам лаборатории, обеспокоенным безопасностью, поверить, что гонки - это ответственный выбор, потому что альтернатива - позволить безрассудной победе. Это превращает решение (сохранить то, что вы еще не можете контролировать) в необходимость, которая не позволяет никому сорваться с крючка.
Назовём фокус. Гонка звучит как внешнее ограничение для лабораторий. На деле это выбор, который сделали несколько компаний и правительства, способные их сдержать, но решившие продолжать. Илон Маск называл ИИ демоном, а потом построили лабораторию, чтобы вызвать его быстрее, и это говорит о том, что «гонка» — стратегия, которую кто-то выбрал, а не закон физики, которому все подчиняются. Стратегии можно отказаться, когда они перестают иметь смысл. Эта потеряла смысл в тот момент, когда призом оказалась система, которую никто не сможет удержать.
Вариант, который никогда не рассматривается
Гонка, обрамляющая, тихо удаляет дверь из виду. Он представляет собой два: расу или в одностороннем порядке отказаться и позволить безрассудным наследовать будущее. Таким образом, только дурак выбирает вторую дверь, и аргумент выигрывает, оставляя третью.
Третья дверь — та, которой уже пользовались настоящие противники. Соединённые Штаты и Советский Союз были противниками во всех смыслах, нацеливая оружие, способное уничтожить мир, на города друг друга. Тем не менее они подписывали и проверяли соглашения по контролю над вооружениями, потому что обе стороны видели: неограниченная гонка оставляет их в худшем положении, чем правило, одинаково связывающее их. Недоверие было причиной соглашения, а не препятствием для него.
Суперинтеллект обладает свойством, делающим такое соглашение рациональным: ни одна крупная держава не выигрывает от системы, которую никто не может контролировать, поэтому ни у одной крупной державы нет реальной заинтересованности стать первой, кто её создаст. Этот общий интерес — основа, на которой стоит договор: обязательная и поддающаяся проверке остановка разработки суперинтеллекта. Суперинтеллектнельзя контролировать. Постоянный отказ от сверхразум как категории продуктов. Мы набросали, как мог бы выглядеть такой инструмент, начиная с модельный договор к более широкий план принадлежит. Проверка трудна. Это было тяжело и для ядерного оружия, и оно было построено в любом случае, потому что альтернатива была неприемлема для всех за столом переговоров.
«Гонка или капитуляция» — ложный выбор. Эта формулировка рассчитана на то, что вы не заметите дверь, которую она оставила.
Отказ от гонки
Несколько лабораторий решают создать технологию, которую они открыто признают, что не знают, как контролировать, и оправдывают это, указывая на соперника, который, предположительно, делает тот же безрассудный выбор по той же самой плохой причине. Безрассудство каждой стороны предлагается в качестве оправдания для другой.
Для этого не нужно верить, что конкуренция — выдумка, а геополитика — нечто мягкое. Достаточно заметить, что соревнование, в конце которого нет никакого приза, не стоит того, чтобы из-за него терять свой вид, и что люди, которые твердят вам, что оно неизбежно, почти всегда — те, кому оно выгодно. Гонка — это история. Хорошая и удобная для целой индустрии. Историю как раз и можно перестать считать правдой.