Китайский исследователь сказал коллеге, в чём секрет больших исследовательских бюджетов дома: скажи, что Соединённые Штаты уже далеко впереди, и Китай без дополнительных денег никогда не догонит. Американская версия — зеркальное отражение. Скажи, что Китай уже впереди, и мы отстаём. Деньги текут с обеих сторон. Вопрос, становится ли от этого наука лучше, — отдельный.

Они поднимают бюджет национальной безопасности, предупреждая, что другая сторона уже впереди. Деньги пойдут на создание машины, которую никто, включая победителя, не сможет контролировать.

Этот обмен, о котором сообщалось в середине 2012 года, входит в старейшую главу учебника по национальной безопасности, запыленную для новой технологии. В годы холодной войны линия была «ракетный разрыв». Теперь это что-то ближе к «шогготскому разрыву»: утверждение, что другая сторона собирается построить неконтролируемый машинный разум, поэтому мы должны сначала построить его, и быстрее, и с меньшим количеством тормозов. Бюджетная логика такая же, как и годы ракетного разрыва, за исключением того, что деньги купят ум, который никто не может контролировать, а не считать количество ракет.

Как пробел превращается в карт-бланш

Первоначальный «ракетный разрыв» был политическим инструментом. В конце 1950-х американские чиновники и кандидаты предупреждали, что Советский Союз обгоняет США по межконтинентальным баллистическим ракетам. Утверждение двигало деньги, выборы и структуру сил. Когда поступили более точные данные, разрыв в основном исчез. У Советов было меньше ракет, чем требовалось для речей. Расходы при этом сократились не так чисто, как оценки.

Эта модель полезна, потому что скучна: две конкурирующие системы, каждая с лабораториями и министерствами, которые растут, когда растет повествование об угрозе, и каждая с лидерами, которые предпочли бы перефинансировать страшную историю, чем попасться на недофинансировании реальной. Никто не должен сговориться. Безопасный бюрократический ход всегда один и тот же: предполагать худшее о другой стороне, просить большего и относиться к сдержанности как к наивности.

Замените ракеты на передовые модели — и стимулы выстроятся заново. Лаборатория, желающая чипов, талантов и регуляторного терпения, имеет все основания заявить, что соперник в шести месяцах от решающего преимущества. Министерство, желающее увеличить бюджет на ИИ, имеет все основания поверить. Политик, не желающий оказаться виноватым в «проигрыше», имеет все основания финансировать и то, и другое. Никто в этом круге не получает денег за вопрос, стоит ли финишная черта того, чтобы её достичь.

Разрыв — это история бюджета до того, как он станет фактом. Вопрос всегда в том, кому выгодно, если вы относитесь к нему как к погоде.

Что скрывает разрыв шоггота

Современная версия острее, чем холодная война, потому что объект гонки другой. Ракета — это оружие, которым владеет государство. Искусственный суперинтеллект, если люди, его создающие, честны в отношении риска, — это система, которую никто не может контролировать. Попасть туда первым Быть первым, чтобы ответить на то, что вы не можете управлять.

На поле нужно, чтобы вы не заметили. Ему нужна финишная черта, чтобы чувствовать себя как ключ от шахты, что-то, что держит президент. Затем «отстать» звучит как чрезвычайное положение в стране, а «замедлиться, пока мы не будем знать, как его контролировать» звучит как одностороннее разоружение, прежде чем появятся какие-либо доказательства.

Что на самом деле должно быть правдой для аварийной версии. Соперник должен быть в состоянии построить неконтролируемый суперинтеллект в ближайшее время, и достаточно рьяный, чтобы сделать это, чтобы никакой общий интерес к выживанию не мог замедлить их. Редко спорят с той заботой, которую они заслуживают. Чаще это утверждается, затем используется в качестве разрешительного листка для следующего тренировочного забега.

Китай подписал международные декларации о рисках ИИ, опубликовал собственные предложения по управлению и провел прямые переговоры с США по этому вопросу. Никто не показал, что они построят неуправляемую машину, что бы мы ни делали, но деньги приходят, как будто они это сделают.

Обе стороны могут быть правы насчёт уловки и неправы насчёт лекарства

Фокус с финансированием работает, потому что под ним лежит реальная конкуренция. Американские и китайские лаборатории действительно следят друг за другом. Контроль экспорта передовых чипов существует именно потому, что промышленное соперничество реально политика этих средств контроля и более широкий миф о Китае Что превращает соперничество в судьбу, так это живые вопросы.

В обычной технологической гонке больше денег дает вам лучший продукт, которым вы все еще владеете. В гонке за суперинтеллектом больше денег дает вам более быстрый подход к системе, которая, по оценкам строителей, не может оставаться продуктом. Тот же самый шаг, который заполнял ракетные шахты, теперь заполняет центры обработки данных, и людей, пишущих чеки, редко просят сидеть с разницей.

Когда оба капитала ведут одну и ту же игру («они впереди, финансируйте нас»), обе стороны ускоряются. Безрассудство каждой стороны становится доказательством другой стороны. Вот как вы получаете a гонка, которая отбирает самую неосторожную лабораторию, и как эвристика бюджета превращается в путь к вымиранию без того, чтобы кто-то желал вымирания.

Ход, которого нет в брифинге

Противники холодной войны в конце концов заметили, что у некоторых рас нет приемлемого финиша. Все еще враги, они построили проверку вокруг оружия, которое могло бы положить конец им обоим, потому что безграничная конкуренция оставила всех хуже, чем правило, которое связывало их одинаково. Они хотели получить документы, потому что не доверяли друг другу.

Суперинтеллект имеет ту же структуру, только чище. Никакая крупная энергетическая выгода от системы, которую никто не может контролировать. Вот почему существует общий интерес: обязательное, поддающееся проверке прекращение суперинтеллекта, с инспекторами, последствиями и теми же документами, которые сделали контроль над вооружениями реальным. Речь не остановит лабораторию, равно как и обещание замедлить темп, который умирает в тот момент, когда соперник смотрит вперед.

Этот шаг не имеет места для этого варианта, потому что это устройство для сбора средств. Его задача состоит в том, чтобы сделать следующее присвоение неизбежным. «Мы отстаем» — это аргумент, который он не заслужил. Откажитесь позволить бюджетному трюку холодной войны решить, хранит ли вид ключи.