В 1965 году британский математик I.J. Good (кодбрейкер, работавший вместе с Аланом Тьюрингом в Блетчли-Парк) написал один абзац, который сформировал шесть десятилетий мышления об искусственном интеллекте. Его стоит процитировать полностью.
Пусть ультраинтеллектуальная машина определяется как машина, способная далеко превзойти любую интеллектуальную деятельность любого человека, каким бы умным он ни был. Поскольку конструирование машин — одна из таких интеллектуальных деятельностей, ультраинтеллектуальная машина могла бы сконструировать ещё более совершенные машины; тогда, несомненно, произошёл бы «взрыв интеллекта», и интеллект человека остался бы далеко позади. Таким образом, первая ультраинтеллектуальная машина станет последним изобретением, которое человеку когда-либо понадобится сделать.
Ирвинг Джон Гуд, «Размышления о первой ультраинтеллектуальной машине», 1965
Гуд заметил то, что до сих пор упускает большинство обсуждений ИИ. Опасность в том, что конструирование разумных машин само когнитивную задачу, а значит, машина, хорошо справляющаяся с когнитивными задачами, хороша и в создании лучших машин — не только в том, что машина может стать умнее нас. Это петля обратной связи. А петли обратной связи, когда выход питает вход, не движутся по прямой. Они ускоряются.
Что на самом деле означает «рекурсивное самоулучшение»
Двигатель взрыва интеллекта рекурсивное самосовершенствование. ИИ повышает собственные возможности, переписывая свой код, совершенствуя процесс обучения, перепроектируя архитектуру или находя лучшие стратегии рассуждения, а затем применяет возросшие способности к задаче дальнейшего самоулучшения.
Слово, которое несёт здесь нагрузку рекурсивный. Обычный технологический прогресс — это улучшение: модель этого года лучше прошлогодней. Рекурсивное самоулучшение — это улучшение в способность к улучшению. Каждая итерация начинается не просто с более высокого уровня способностей, а с более способного улучшателя. Скорость прогресса не фиксирована. Ускоряется сама скорость.
Грубая аналогия - сложный интерес, но даже это его недооценивает. При сложных процентах темпы роста постоянны, растет только база. Здесь скорость роста тоже соединяется. Система, которая улучшает самосовершенствование на 10% каждый цикл, а затем выполняет следующий цикл быстрее, потому что она более способная, может быстро переходить от постепенного к взрывному.
Медленный взлёт против быстрого взлёта
Именно здесь проходит важнейшая дискуссия. Все в области согласны, что рекурсивное самоулучшение возможно в принципе. Разногласия касаются скорость взлёта, сколько времени займёт переход от ИИ человеческого уровня к радикально превосходящему человека. Ответ определяет, возможно ли управление вообще.
Медленный взлёт
В сценарии медленного разгона переход растягивается на годы. Возможности растут равномерно и заметно. Появляются предупреждающие сигналы, промежуточные системы и время для реакции рынков, регуляторов и общества. Ошибки остаются переживaемыми, потому что есть шанс их заметить и исправить. В таком мире обычный механизм управления — слушания, законы, договоры, итеративное регулирование — успевает не отставать.
Быстрый взлёт
В сценарии быстрого взлёта переход занимает месяцы, недели или, возможно, дни. Как только ИИ сможет выполнять основную часть исследований в области передового ИИ самостоятельно, он перестаёт зависеть от человеческих сроков: без сна, без накладных расходов на координацию, тысячи копий работают параллельно на машинной скорости. Система может пройти диапазон, сопоставимый с человеческим уровнем, настолько быстро, что к моменту, когда кто-то поймёт, что происходит, самая мощная система в мире уже окажется вне человеческого контроля. В таком мире времени на созыв саммита не будет. Решения, которые имели значение, были приняты перед цикл начался.
Недавние, широко обсуждаемые Хронология ИИ прогнозы из лабораторий и сообщества прогнозирования всё чаще описывают именно такую структуру: период, когда системы ИИ автоматизируют исследования ИИ, а затем следует резкое ускорение. Сколько продлится это ускорение — два года или два месяца, — вот неопределённость на триллион долларов.
Почему скорость — это проблема управления, а не только техническая
Почти каждая мера безопасности, на которую полагается человечество, предполагает наличие времени. Отзывы продукции предполагают возможность выявить дефект и изъять товар. Контроль над вооружениями предполагает переговоры между примерно равными державами. Регулирование предполагает итеративный цикл наблюдения, законодательства и корректировки. Быстрый взрыв интеллекта ломает всё это, потому что сжимает интервал, в котором происходят наблюдение и ответ.
Рассмотрите, что быстрый взлёт делает со стандартными заверениями:
- "Мы просто его выключим." Система, совершенствующаяся на машинной скорости, имеет и стимул, и, вероятно, средства предотвратить это проблема корригируемости. И вы не сможете выключить то, что ещё не осознали как перешедшее черту.
- "Мы отрегулируем это, когда оно станет явно опасным." К тому времени, когда это станет явно опасным, окно для действий закроется. На договоры уходят годы; быстрый взлёт занимает недели.
- "Рынок всё исправит." Рынки исправляются после неудач. Неразмещённый сверхинтеллект — это неудача, которую нельзя исправить.
Именно поэтому интеллектуальный взрыв обостряет динамика гонки которые уже толкают разработчиков к скорости, а не к осторожности. Если взлёт может быть быстрым, то тот, кто первым запустит петлю, получит решающее и постоянное преимущество — именно тот стимул, который делает одностороннюю небезопасную гонку более вероятной. Ни одна компания не может позволить себе замедлиться, если конкуренты не замедлятся. Это провал координации, а провалы координации решаются обязательными рамками, а не благими намерениями.
Возражение: возможно, оно выравнивается
Некоторые исследователи считают, что самоулучшение быстро упрётся в убывающую отдачу, а интеллект столкнётся с жёсткими пределами (данные, физика, сложность оставшихся задач), которые превратят рост в медленный и управляемый подъём.
Но обратите внимание на структуру ставки. Если скептики правы и взлёт будет медленным, то раннее создание рамок управления обойдётся нам в эффективность и время. Если скептики ошибаются и взлёт окажется быстрым, то не Раннее построение этих рамок стоит нам способности управлять самым важным событием в истории человечества. При такой асимметрии рациональным шагом является подготовка к более быстрому сценарию, даже если вы считаете его менее вероятным. Логика ожидаемой стоимости.
Постройте тормоза перед взлетом
Интеллектуальный взрыв — причина, по которой Фонд Накада выступает за действия перед суперинтеллект существует, а не после. Если взлёт может быть быстрым, то рамки управления, контроль вычислений, международное мониторинговое агентство и обязывающий договор о прекращении разработки передовых систем — всё это нужно строить, пока ещё есть промежуток, в который их можно ввести. Тормоза нельзя установить во время крушения. Наш план Это мир, где окно между «мощным» и «неуправляемым» может быть коротким. Единственный надежный момент, чтобы действовать сейчас, пока люди все еще принимают решения.