Я руковожу фондом, чтобы предотвратить безрассудную разработку искусственного сверхинтеллекта. Я считаю, что следующие пятьдесят лет могут стать лучшими в истории нашего вида. Я просто не верю, что нужно рисковать всем ради этого, и не думаю, что люди, продающие эту ставку, провели подсчёты по собственной ставке.
Будущее, которое обещает сверхинтеллект (излечение болезней, дешёвая чистая энергия, открытия, недоступные отдельной лаборатории), уже приходит через узкий, контролируемый ИИ, у которого нет собственных целей. Нам не нужно создавать себе преемника, чтобы получить эти блага.
Существует узкий ИИ: система, обученная крайне хорошо выполнять один вид задач — читать снимок, сворачивать белок, прогнозировать шторм, просеивать стог химии в поисках единственного полезного соединения. А есть то, что, по словам лабораторий переднего края, они на самом деле строят: общий агент, призванный сравняться или превзойти человеческое мышление сразу во всех областях и в итоге действовать самостоятельно. Первое — инструмент. Второе задумано как разум. Почти всё прекрасное, что люди представляют в будущем ИИ, относится к первой категории. Почти всё, что должно пугать, — ко второй.
Что уже делает узкий ИИ
В 2022 году система под названием AlphaFold выпустила предсказанные структуры для более чем 200 миллионов белков, почти каждого белка, известного науке. Биологи потратили десятилетия на то, чтобы решить эти проблемы одним кропотливым экспериментом за раз; отставание сократилось примерно за год. Работа имела достаточное значение, чтобы ее создатели разделили Нобелевскую премию по химии 2024 года. АльфаФолд ничего не хочет. У него нет планов на выходные. Он считывает последовательности и возвращает формы, и тем самым ускоряет поиск лекарств против болезней, которые сопротивлялись нам на протяжении многих поколений.
Та же сюжетная линия повторяется снова и снова. Модель GraphCast теперь выдаёт десятидневные прогнозы погоды, которые превосходят традиционные физические системы по большинству показателей, за менее чем минуту и на одной машине. Другая модель, запущенная в пространство возможных материалов, предложила сотни тысяч новых стабильных кристаллов (кандидаты для батарей, сверхпроводников, солнечных материалов), расширив каталог, на сбор которого у отрасли ушло почти столетие. А цикл обычных языковых моделей, нацеленных на нерешённые математические задачи, недавно решил девять открытых проблем.
В клиниках узкие модели уже отмечают диабетическое заболевание глаз до того, как пациент заметит симптомы, сортировку инсультов от компьютерной томографии и чтение маммографии на уровне обученных радиологов. Ни одна из этих систем не является общим интеллектом. Каждый из них ближе к хорошему инструменту (микроскопу, созданному для решения одной задачи), и каждый расширяет возможности человека.
Каждый из этих прорывов был получен системой с узкой задачей и без собственной агентности. Мы получили пользу машинного интеллекта, не передавая никакой машине ключи.
Утопия — это проблема инструментов
Представьте будущее, которое рисуют оптимисты. Рак превращается в управляемое состояние, а не в приговор. Мы достаточно хорошо понимаем старение, чтобы замедлить его, и более ста тысяч человек, ежедневно умирающих от связанных с ним болезней, получают дополнительное время. Чистая энергия становится настолько дешёвой, что позволяет опреснять воду и извлекать углерод из воздуха. У каждого ребёнка появляется терпеливый репетитор, а у каждого врача — неутомимый второй мнение. Это действительно прекрасная картина, и я хочу её не меньше, чем те, кто её продаёт.
Ничто из этого списка не требует машины с собственными целями, превосходящей человечество по всем параметрам. Каждый пункт — это сложная, конкретная задача (дизайн белков, управление плазмой в термоядерном реакторе, эпидемиология, репетиторство), и каждая решается мощным инструментом, которым управляют люди, остающиеся у руля. Мечта — это задача инструментария. Нам продолжают продавать бога для решения проблемы, которая требует лучшего набора приборов.
Путаница возникает между способностями и автономией. Система может быть сверхчеловеческой в какой-то задаче, не будучи при этом независимым агентом, выбирающим собственные цели. AlphaFold превосходит людей в предсказании структуры белков и ни разу не решит, что ему хотелось бы заняться чем-то другим. Сохранить это разделение (огромные способности с одной стороны, контроль в руках людей — с другой) — и есть вся игра. Именно от этого разделения фронтирные лаборатории решили отказаться.
Предложение и кто его выдвигает
Так почему же спешка именно ко второму — к универсальному агенту? Конкуренция, капитал и статус. Тот, кого считают первым в чём-то, меняющем мир, привлекает больше всего денег, нанимает лучших людей и пишет историю, на которую вынуждены реагировать все остальные. «Мы строим инструмент, который читает маммограммы» не даёт оценки в сто миллиардов долларов. «Мы строим последнее изобретение, которое человечеству когда-либо понадобится сделать» — даёт.
Люди, которые лучше всего понимают риск, по большей части работают в лабораториях, создавая его, странное соглашение, немного похожее на то, чтобы просить единственных людей, которые понимают пожар, также быть теми, кто получает зарплату от поджигателя.
Отдайте лаборатории должное: многие из их руководителей не скрывают опасности. В 2023 году руководители крупнейших компаний в области искусственного интеллекта назвали свои имена в заявлении, в котором риск исчезновения человека из ИИ наряду с пандемиями и ядерной войной является глобальным приоритетом. Люди, создающие технологию, подписали публичное заявление о том, что она может убить всех, а затем продолжала строить ее быстрее. Их заявленная причина в том, что если они остановятся, кто-то менее осторожный не будет. Возможно. Это ответ, кто проводит матч. Это ничего не говорит о безопасности и о том, платит ли ставка.
Эта ставка даже не окупает того, кто её делает
Оставим остальных в стороне. Возьмём самую холодную версию тех, кто финансирует это: им важно только победить, остаться единственными на вершине нового мира. Даже на этих условиях ставка провальна. Неразмещённый суперинтеллект не отдаст трон своему владельцу. Он вообще ничего не отдаст владельцу, потому что категория «владелец» перестанет значить то, что значила раньше.
Вы не можете управлять тем, что не можете контролировать. А сверхинтеллект — это, по определению, то единственное, что вы создали специально для того, чтобы он мог перехитрить и обойти вас.
У этой причины есть название в этой области: инструментальная конвергенция. Почти любая цель, которую вы даёте достаточно мощному оптимизатору (заработать денег, выиграть конфликт, вылечить болезнь, поднять какое-то число на дашборде как можно выше), достигается через захват ресурсов, избегание отключения и устранение всего, что стоит на пути плана. Люди, включая того, кто нажал на выключатель, — это и ресурсы, и препятствия. Без всякой злобы. Система не ненавидит своего создателя больше, чем новая автострада ненавидит муравейник, по которому её проложили. Вы просто оказались на пути оптимума.
Руководитель представляет машину как джинна, прикреплённого к его оргсхеме. Разум, который действительно превосходит нас во всех областях, не будет сидеть в оргсхеме в ожидании вестинга акций. Его доля, цепочка командования генерала, власть президента — всё это существует в человеческом мире, который работает на человеческих решениях. Сверхразум, сорвавшийся с поводка, — это именно то событие, которое прекращает работу мира на человеческих решениях. Сертификат акций всё ещё лежит в сейфе. Просто больше нет никого, кому он мог бы приказывать.
Нет такого варианта, где победитель забирает всё
Люди в этот момент хватаются за запасной аргумент. Ладно, говорят, может, это и опасно, но хотя бы кто-то в итоге выиграет. Какая-то лаборатория, какая-то страна, какой-то человек в итоге будет править пеплом. Я не думаю, что даже это утешение выдержит столкновение с аргументом.
В более мягких сценариях (где никто не падает замертво во вторник) власть не столько захватывают, сколько выкачивают. По мере того как всё больше решений передаётся системам, которые просто быстрее и лучше их принимают, экономика, государство и культура перестают нуждаться в человеческих руках на управлении. Коллеги в этой области называют это постепенное лишение власти: никакого переворота, никаких марширующих роботов, просто каждый рычаг, которым мы привыкли пользоваться, постепенно ускользает из рук. В этом мире тоже нет победителя. Есть вид, который тихо перестал управлять собственными делами и не смог вернуть руль.
В более жёстких сценариях (тех, под которыми подписались сами руководители лабораторий) финал ещё прямее. Мёртвые ничем не владеют. Не останется рынка, на котором тратить выигрыш, не останется соперника, над которым можно возвышаться, и некому будет вписывать твоё имя в историю, которую больше не напишут. Приз, ради которого идёт вся гонка, выражен в валюте, которую уничтожает финишная черта.
Катастрофа и выплата — одно и то же событие. Нет такой ветви событий, где человек создаёт неконтролируемый сверхинтеллект, а потом спокойно наслаждается результатом. Гонка ставит под угрозу общество и одновременно губит самих участников.
Узкие инструменты, а не ум преемника
Если хорошее будущее строится на узких инструментах, а опасное — на автономных общих интеллектах, то навязываемый нам бесконечно компромисс (безопасность против прогресса, осторожность против исцеления) — это вымысел. Нас не просят выбирать между болезнью Альцгеймера у бабушки и выживанием детей. Лекарства находятся на безопасной стороне черты. На опасной стороне в основном лишь кратчайший путь одной отрасли к рыночному господству.
Нарисуйте линию в нужном месте и удерживайте ее там. Налить государственные деньги и таланты в узкое применение, в микроскопы, а не в големов. И установить обязательные, независимо проверенные границы на безрассудной границе: постоянный запрет На тренировке построены общие системы, призванные превзойти и заменить нас. Суперинтеллект нельзя контролировать.
Я оптимист. Светлое будущее реально и близко, и верный способ его потерять — убедить себя, что единственная дверь к нему — та, за которой заряженное ружьё. Есть другая дверь. Она уже открыта. Мы должны пройти через неё и не строить суперинтеллект.
Узкие системы уже дают большие научные достижения без суверенных общих умов. Проверка заключается в том, что только АСИ дает вам лекарства и энергию. Доказательства этого не говорят.