В физике сингулярность — это точка, где величина уходит в бесконечность и уравнения, которыми вы пользовались, перестают давать осмысленные ответы. Обычно пример — центр чёрной дыры. Если заимствовать слово для технологий, получится технологическая сингулярность: гипотетическая точка, в которой машинный интеллект вызывает изменения настолько быстро и глубоко, что наша способность предсказывать или даже понимать, что будет дальше, ломается.

Это утверждение о горизонте, за которым темп прогресса, движимого интеллектом, обгоняет человеческое понимание, а не о том, что конкретное устройство вот-вот появится.

Откуда берётся идея

Линия развития термина стоит знать, потому что его часто употребляют неточно. Математика Джона фон Неймана в 1950-х годах пересказывали так, что технологический прогресс приближается к некоей сущностной сингулярности в истории. В 1965 году И. Дж. Гуд описал взрыв интеллекта, механизм, на котором основаны большинство версий сингулярности. Писатель-фантаст и математик Вернор Виндж дал современной идее имя и силу в эссе 1993 года, утверждая, что создание интеллекта, превосходящего человеческий, разорвёт ткань предсказуемой истории. Изобретатель Рей Курцвейл затем популяризировал её для широкой аудитории, помещая сингулярность примерно в 2045 год и вплетая в более широкую историю экспоненциальных технологических трендов.

Это разные утверждения, скрытые под одним словом, и именно поэтому сингулярность привлекает одновременно и фанатичную преданность, и скептические ухмылки.

Движущая сила внизу

Уберите ароматы, и основной механизм прост. Если вы можете построить машину, которая лучше, чем люди, в создании машин, в том числе в улучшении собственного интеллекта, то улучшение подпитывает себя. Каждая более умная система лучше производит следующую, и скорость прогресса растет, а не держится стабильно. Запуск этой петли и возможностей может за короткое время подняться с человеческого уровня на гораздо более высокий уровень.

Взрыв интеллекта — это реальное содержание большинства серьёзных упоминаний сингулярности. Из него следует и прогноз непредсказуемости: когда системы начнут улучшать себя на машинной скорости, траектория выйдет за пределы, где работает человеческое прогнозирование. Этот механизм мы разбираем полностью в собственное объяснение, и именно там находится суть.

Критика

  • Самоулучшение может упереться в жёсткие пределы. Интеллект может столкнуться с убывающей отдачей, нехваткой данных или физическими ограничениями, которые превратят кривую в плавный подъём, а не во взрыв.
  • Понятие размыто. Разные сторонники вкладывают в него разный смысл, а более грандиозные версии в духе Курцвейла сочетают уверенные прогнозы дат с почти мистическим тоном, вызывающим скепсис.
  • Экспоненциальные тренды изгибаются. Кривые, которые выглядят взрывными, часто оказываются ранней частью S-образной формы, которая выходит на плато.

Эти соображения разумны, и ни одно из них не требует, чтобы сингулярность оказалась ложной, — достаточно, чтобы она была неопределённой. Ошибка в том, чтобы сомнение в драматическом, названном событии принимать за растворение лежащего в его основе риска.

Почему ярлык имеет меньшее значение, чем механизм

Можно полностью отвергнуть слово «сингулярность» с его привкусом пророчества и точными датами и всё равно остаться с тем, что важно для политики. Серьёзный вопрос — сможет ли машинный интеллект улучшаться достаточно быстро, чтобы переход к системам, далеко превосходящим нас, произошёл быстрее, чем мы успеем контролировать или управлять им, а не существует ли мистический момент в 2045 году. Это утверждение о сроки и скорость взлёта, и для тревоги не нужно грандиозного обрамления.

Можете опустить слово, если хотите. Проблема, на которую оно указывает, — слишком быстрый для управления переход, — не нуждается в этом слове, чтобы быть реальной.

Озабоченность Фонда заключается в том, что конкретная, спущенная версия. Если подготовка к сверхчеловеческому ИИ может быть быстрой, то это единственное надежное время для того, чтобы Построение управления и сохранение контроля Это еще до того, как она начнется, в то время как люди все еще решают. The конкурентное давление Чтобы достичь этого порога, сначала только сократите взлетно-посадочную полосу. Назовете ли вы дальнюю сторону сингулярностью, ответ будет одинаковым.

Сингулярность никогда не должна произойти

Позиция Фонда — запрет, а не прогноз. Суперинтеллект не поддаётся контролю со стороны людей. Горизонт, который обозначает это слово, — это взлёт за пределы точки, где мы ещё принимаем решения. Это то же самое пересечение, что и создание суперинтеллекта. Сингулярность никогда не должна произойти.