Почти всех, кто работает над безопасностью ИИ в общественных местах, называют обреченными. Ярлык появляется раньше, чем аргумент, перед словом о вероятностях или сроках или о том, что означает «контроль». Люди, которые повышают риск, часто сначала получают ярлык: испуганные, антибудущие, обреченные. Ярлык позволяет пропустить дебаты.

Самый действенный ход ускоренцев — имя, а не аргумент.

Откуда взялось слово

Примерно в 2022–2023 годах дискуссия о безопасности ИИ перестала быть внутренним разговором исследователей и выплеснулась в социальные сети, где аргументы обрастают командами, а команды — названиями. Сторонники ускорения (те, кто считает, что ИИ нужно строить как можно быстрее) взяли суффикс «e/acc» как знак отличия и стали добавлять его в имена пользователей. Им понадобилось название и для противоположной стороны. Им стало «doomer», обычно в паре с «decel» — сокращением от deceleration, «грех» желания двигаться медленнее.

Настроение ожесточилось в октябре того же года, когда Марк Андреессен опубликовал «Манифест техно-оптимистов». Он читается не столько как аргумент, сколько как кредо, и включает в себя список того, что он называет врагом, среди записей «экзистенциальный риск» и «принцип предосторожности», простую идею о том, что вы, возможно, захотите понять мощную технологию, прежде чем развернуть ее в масштабе. После того, как забота подана под «врага», людям, которые ее держат, нужен только более короткий ярлык для ежедневного использования. "Думер" сделал все остальное, вместо того, чтобы случай ускорения.

Что на самом деле делает ярлык

Думер — это образ, а не довод. Он превращает аргумент в тип личности, а с типами личности не спорят, их только диагностируют.

Сторона безопасности говорит, что вероятность катастрофы от сверхразумной системы достаточно высока (не уверен, достаточно высока), чтобы мы могли контролировать эти системы, прежде чем строить системы. Вы можете нажать на каждую часть этого. Вы можете утверждать, что вероятность ниже, чем мы думаем, что временная шкала длиннее, что «контроль» является неправильной рамкой, что управление принесет больше вреда, чем риск, который оно устраняет.

«Думер» пропускает это. Слово говорит: ты человек, который боится завтрашнего дня. Твоя позиция — настроение, а не тезис, а настроения не нуждаются в опровержении: старейший риторический приём, аргумент против человека, а не против сути, в новой одежде. Его изящество в том, что ему никогда не приходится касаться реального разногласия. Оно переносит весь спор из «верно ли это» в «какой человек в это верит», где акселерационист уже решил ответ.

Это слово превращает аргумент в тип личности, а типы личности не нужно оспаривать, их нужно только диагностировать.

Почему это работает

Этикетка работает, потому что она построена из вещей, в которые люди уже хотят верить о себе.

Начните с очевидного: никто не хочет быть пессимистом. Оптимизм воспринимается как уверенность и напор, а осторожность — как робость и страх. Если представить выбор как между создателем и алармистом, большинство людей уже знают, на какой стул они предпочли бы сесть. Рамка делает своё дело ещё до того, как на стол попадёт хоть один факт.

Это история, которую Америка рассказывает о себе. Прогресс хороший. Люди, которые боялись железной дороги, печатного станка, электрического света, ошибались, и история помнит их как дураков. Акселерационист снимает эту историю с полки целиком и ставит защитника безопасности как новейшее имя в списке испуганных людей, которые будут смущены будущим. Этот шаг состоит в том, чтобы без каких-либо аргументов предположить, что на этот раз это правда, что суперинтеллект — это печатный станок, а не что-то новое. Является ли это одна и та же история, это весь вопрос, и ярлык существует, поэтому вопрос никогда не задается.

Против кого направлено слово

Выстройте людей, в которых она направлена, и карикатура рассыпается в руках.

Джеффри Хинтон покинул .Google. в 2023 году, чтобы он мог говорить о риске без корпоративного мыслителя; он так же близок к отцу-основателю, как и поле. Йошуа Бенджио, один из самых известных исследователей в мире, пришел к такому же беспокойству из-за своей работы. В мае 2023 года сотни ученых и руководителей (включая руководителей лабораторий, стремящихся построить технологию) назвали свои имена в заявлении, помещающем риск исчезновения от ИИ в ту же категорию, что и пандемии и ядерная война. Они не боятся технологий. Они построили этот. Как бы вы ни называли их позицию, «страх перед будущим» не является ее описанием, это способ не слушать ее.

Слово также сплющивает широкий спектр до точки. Существует огромное расстояние между тем, кто думает, что катастрофа почти неизбежна, и тем, кто ставит ее на несколько процентов и все равно хочет страховки, расстояние между пророком и актуарием. Оба были объявлены обреченными. Ярлык не видит разницы, потому что он никогда не был построен; его работа состоит в том, чтобы сделать технический, разнообразный, часто довольно умеренный набор взглядов похожим на один дикий культ. Настоящий диапазон оценок экспертов Это то, что этикетка предназначена для стирания.

Признак

Движение, уверенное в своем ответе на вопрос безопасности, не нуждается в прозвище для людей, которые его задают.

Если катастрофический риск действительно близок к нулю, это утверждение вы можете отстаивать открыто. Покажи аргументацию. Объясните, почему исследователи, которые построили системы, ошибаются в отношении систем, которые они построили. Сделать случай Это выравнивание оказывается легким, или что больший интеллект надежно обеспечивает большую осторожность, или что гонка между лабораториями каким-то образом исправляет себя, прежде чем кто-либо разрежет смертельный угол.

Слово «doomer» заполняет место, где должен был быть аргумент. К ярлыку прибегают, когда не хотят разбирать суть. Назвать оппонента дешевле, чем опровергнуть его, и со стороны это выглядит как победа — настолько, что толпа часто не понимает, что именно только что увидела.

Как на это ответить

Откажитесь от рамки. Как только разговор становится «строитель против doom’ера», суть уже ушла из комнаты. Верните его на уровень сути одним вопросом: какую вероятность вы приписываете катастрофическому риску и почему именно эту цифру? Почти никто, кто размахивает словом как оружием, ответить не может, потому что слово и существует, чтобы не приходилось отвечать. Если хотите увидеть, как такая цифра строится, а не просто утверждается, мы сделали P(катастрофы) калькулятор который разбирает все составляющие.

Тогда снимите ярлык с иска. «Думер» скрепляет карикатуру (мрачно зависимый пессимист, который ненавидит прогресс) на утверждение, которое обычно намного более узкое и гораздо более скучное: что эта конкретная технология несет особый риск, который требует особого ухода. Разберите их на части. The аргументы за хорошее будущее проходит прямо через правильное решение этой части, а не в обход.

Если самый сильный ход, который движение может сделать против критиков, — навесить на них нелестное имя, ответа на риск у него нет. Наша позиция сводится к этому: сверхразум нельзя обратить вспять, поэтому его не создают.