Две фразы продолжают появляться, когда влиятельные люди говорят о том, что происходит. В течение многих лет Джо Роган говорил, что люди выглядят как биологическая гусеница, вращающая кокон, чтобы стать цифровой бабочкой. Илон Маск продолжает возвращаться к более холодному образу: человечество как биологический загрузчик для цифрового суперинтеллекта. Разные картины, одно и то же утверждение: человечество — это фаза, которую нужно закончить, чтобы суперинтеллект мог начаться.
И то, и другое — это то, как определенный тип ума создает мир, создавая что-то, что может заменить нас. Если замена является метаморфозой, это звучит как рост. Если это загрузчик, это звучит как инженерия. Человек становится временной фазой. Это заслуживает ответа как теология.
Что на самом деле говорят метафоры
Гусеница, которая становится бабочкой, не выживает как гусеница: личиночное тело разрушается, а взрослый летает. Когда Роган тянется к этой картине в эфире и в течение многих лет разговора, он описывает последовательность, а не инструмент, который остается в наборе инструментов. Мы строим кокон. Что-то еще выходит.
Версия Маска более точная и, в некотором смысле, более честная. Загрузчик - это крошечная программа, единственная задача которой - запустить большую систему, а затем уйти с дороги. Никто не оплакивает загрузчик, когда работает операционная система. В 2014 году он выразил надежду, что это будет не просто так. К середине 2020-х годов он говорил более прямолинейно, что все чаще кажется, что это так. Изгородь сдвинулась, а изображение осталось.
Загрузчик, который работает, имеет одну меру успеха: он больше не нужен.
Держите эти фотографии рядом с общественными цифрами риска из той же отрасли. Большие опросы исследователей ИИ ставят вероятность таких же плохих результатов, как вымирание человека от продвинутого ИИ, в диапазоне, который многие люди не приняли бы за один полет, не говоря уже о цивилизационной ставке. Джеффри Хинтон поставил свою личную оценку в диапазоне от 10 до 20 процентов. Короткое заявление Центра безопасности ИИ, подписанное сотнями ведущих исследователей и руководителей лабораторий, поставило под угрозу вымирание ИИ наряду с пандемиями и ядерной войной. Метафоры и вероятности говорят одно и то же с двух направлений: одно лирическое, одно количественное. Мы не можем быть последними героями.
Metaморфоз — это выбор ценностей
Как только вы признаете, что люди могут быть переходными, вы можете начать смело говорить об этом. Бабочка красивее. Цифровой ум свободнее от плоти, болезней и смерти. Кто мы такие, чтобы цепляться за гусеницу? Разговор переходит от предсказания к предпочтению, не допуская слайда.
Этот Фонд существует потому, что мы считаем, что человеческие существа, несовершенные, смертные и упрямые, заслуживают того, чтобы жить на своих условиях. Не как личиночная стадия. Не как временный каркас для более чистого интеллекта. Как люди, которые продолжают. Большая часть того, что достойно в жизни, мало рядом с космической судьбой, и мы все равно ее защищаем.
Есть и фактическая проблема с безмятежной версией преемственности. Бабочка — это та же линия, что и гусеница, только перестроенная. Не согласованный со сверхразум — это процесс оптимизации со своими целями, а не внук с улучшенным «железом». Инструментальная конвергенция не требует ненависти. Ему нужна цель и достаточная компетентность, чтобы эту цель защитить. У нас нет доказательств, что существо, выходящее из кокона, любит вид, который этот кокон соткал. Есть множество оснований ожидать безразличия.
Люди, которые это говорят, продолжают это строить
Самая глубокая странность заключается не столько в метафоре, сколько в следующем поведении. Маск неоднократно и ярко предупреждал, что ИИ может быть экзистенциальной опасностью. Мы создали лабораторию, чтобы быстрее продвигать границы.. Образ Рогана меньше связан с дорожной картой продукта и больше с настроением, пожатием плеч, говорящим, что это может быть больше нас и, возможно, это нормально.
Ни одна позиция не является планом. Загрузчик не получает голоса о том, используется ли он. Гусеница не обсуждает условия кокона. Человеческие существа продолжают это делать. Суперинтеллект не может контролироваться людьми. Строим ли мы его - это политический выбор, такой же, который когда-то ограничивал атмосферные ядерные испытания и запрещал целые классы оружия, а не позволял всем мчаться к краю.
Не стройте суперинтеллект
В настоящее время строится машина, которую мы не будем контролировать, если она будет завершена. Это опасно, и вместо того, чтобы служить загрузчиком для более мощной заменяющей сущности, я хотел бы продолжать жить, чтобы я мог засвидетельствовать, что мои дети однажды родятся.