Как вы проводите 5 минут, когда человек за столом все еще думает, что ИИ означает составление электронного письма? Механизм накапливается, глаза глазурь. Дум накапливается, и люди подают тебя уличному проповеднику и возвращаются к десерту. То, что выживает в скептическом, умном незнакомце, это пять ходов.
Они изображают чат-бота
Когда кто-то слышит «ИИ», он представляет себе помощника на своем телефоне или приложение, которое делает глупые изображения. Начните там, и комната уже ушла, потому что они знают, что чат-бот не кончит мир. Переместите цель в первые пятнадцать секунд.
Опасность заключается в том, что машина лучше, чем лучший человек, выполняет любую задачу, которая имеет значение. создавая лучшие машины. Название для этого искусственный сверхинтеллект, и у нас его пока нет. У нас есть лишь заявленное намерение. Крупнейшие компании по ИИ на планете говорят, что его создание — их цель, и некоторые из них ожидают достичь её через годы, а не поколения. Большинство людей не знают этого единственного факта, а именно он делает основную работу. Создание разума умнее нас — главный проект самых финансируемых лабораторий современности. Они сами вам об этом скажут.
Никто не знает, как управлять машиной умнее себя.
Мы все равно строим один.
Проблема создания мощного ИИ, который надёжно хочет того же, чего хотят его создатели, и продолжает этого хотеть по мере роста возможностей, имеет название проблема контроля. Это не решено. Инженеры внутри этих компаний скажут то же самое, если спросить их без пресс-секретаря. Они могут повышать возможности модели намного быстрее, чем растёт уверенность, что она будет делать именно то, что задумано. Расстояние между этими двумя линиями — и есть зона риска.
Мы намеренно создаём разум, превосходящий наш собственный, ещё не имея ни малейшего представления, как удержать его в нужном направлении.
Почему «умнее» — это вся проблема
Люди недооценивают слово «умный». Интеллект поставил людей во главе этой планеты. Мы не самые большие и не самые сильные существа, которые когда-либо жили. Мы управляем этим местом, потому что мы обдумываем все остальное. Будущее горной гориллы зависит от решений, принимаемых нами, а не гориллами, и не потому, что кто-то ненавидит горилл. У нас есть цели. Лес гориллы иногда находится там, где эти цели хотят идти.
Теперь представьте, что мы строим что-то, что стоит перед нами так же, как мы стоим перед гориллой. Если ее цели и наши разваливаются, враждебность необязательна: системы, лучше планирующей, чем мы, направленной на что-то другое, уже достаточно, и более поздняя версия той же установки не исправляет ее.
Выключатель и научная фантастика
Первое: мы просто выключим его. Система, достаточно умная, чтобы быть опасной, достаточно умна, чтобы заметить, что выключение остановит ее от завершения того, что она должна была сделать. Таким образом, у него есть причина предотвратить это, копируя себя в другом месте или делая себя слишком полезным для отключения. Вера в выключатель предполагает, что мы останемся умнее в комнате. Предпосылка беспокойства в том, что мы не будем.
Второе: это научная фантастика. До тех пор, пока системы не начали проходить тесты, мы были уверены, что это займет десятилетия, и мы предполагали, что работа будет безопасной для человека. Ни у кого нет даты, которой стоит доверять. Ближайшие к работе исследователи тихо перестали называть суперинтеллект далёким, а их опубликованные таймлайны продолжать приближаться, а не отдаляться.
Завершайте там, где они могут что-то сделать
Ошибка, которую я совершал годами, — останавливаться на страхе. Оставить человека напуганным и без дела — значит, он отнесёт тему к «слишком большому, чтобы думать», и вернётся к своему вечеру. Последнюю минуту посвятите тому, чего люди обычно не замечают.
Это можно предотвратить.
Никакой закон природы не требует появления суперинтеллекта в этом десятилетии или вообще. Небольшое число компаний выбирает его строить, и небольшое число правительств позволяет им это делать. Выбор можно отменить. Фонд требует обязательного, поддающегося проверке соглашение между ведущими державами запретить создание суперинтеллекта навсегда. Суперинтеллект не поддаётся контролю со стороны людей. Человечество уже делали это раньше, с оружием, которое каждая сторона хотела иметь, но ни одна не могла безопасно применить. Договор между соперниками выглядит менее фантастично, чем кажется на первый взгляд.
Между нами и этим стоит решение, которое люди ещё могут принять.
Пять минут
- Это не чат-бот. Компании открыто называют своей целью машину, умнее нас во всём, и ожидают её через несколько лет.
- Никто не знает, как контролировать нечто умнее нас. Возможности обгоняют контроль, и именно этот разрыв и есть опасность.
- Интеллект поставил людей на вершину. Создайте что-то выше нас — и цели уже не наши, а его будут определять правила.
- "Выключить" и "это научная фантастика" оба предполагают, что мы остаёмся у власти. Вся проблема в том, что мы не останемся.
- Это можно предотвратить. Суперинтеллект строят по выбору, и от этого выбора можно отказаться вместе, пока ещё есть время.
Пять минут с кем-то, кто готов слушать, чтобы заставить людей спросить: «Подождите, почему кто-то это строит?»