Они назвали лабораторию
Суперинтеллект

На публичной странице Safe Superintelligence Inc. заявка состоит из одной продуктовой линейки. «Мы запустили первую в мире лабораторию прямого пути к SSI с одной целью и одним продуктом: безопасный сверхинтеллект». Сверхинтеллект здесь фигурирует как результат, а не как категория риска, изучаемая со стороны.¹

В конце июня 2025 года Марк Цукерберг объявил о создании Meta Superintelligence Labs, объединив foundation-модели, продуктовые команды и FAIR в одну организацию, название которой прямо указывает на ту же цель. По данным СМИ, во главе встали Александер Ван из Scale AI и бывший CEO GitHub Нат Фридман, а Даниэль Гросс присоединился из Safe Superintelligence после того, как Meta безуспешно пыталась купить стартап целиком.²

Два самых финансируемых проекта в области искусственного интеллекта теперь используют слово, обозначающее систему, которая превзойдёт любого человека почти в любой задаче, включая задачу остановить её саму. Раньше это слово отмечало границу. На их бланках оно обозначает дорожную карту.

Конечная точка как категория продукта

Названия компаний работают как сжатые аргументы. Назови подразделение «Реклама» — и все поймут, что оно продаёт. Назови его «Superintelligence Labs» — и публике предлагают относиться к конечной цели как к категории продукта, подобно телефонам или облачному хранилищу. Жёсткий моральный вопрос (должно ли это существовать?) превращается в вопрос продукта (чья версия выйдет первой?).

Безопасный суперинтеллект идет еще дальше. Он прикрепляет прилагательное «безопасно» к существительному, которое называет катастрофу. Эта фраза означает доказательство. Он сообщает инвесторам, рекрутам и журналистам, что опасность была подана заранее, прежде чем кто-либо продемонстрировал метод управления разумом, умнее, чем его операторы. Мнение Фонда прямолинейно: человечество никогда не должно создавать суперинтеллект. Бренд, обещающий безопасный, продаёт противоположное утверждение в качестве логотипа.

версия Meta убрала прилагательное, но сохранила амбицию. «Лаборатории суперинтеллекта» не обещают доброты и прямо заявляют о подъёме к потолку возможностей. В публичной компании такое название также сигнализирует рынкам и талантам, куда потекут капитал и престиж. Брендинг — часть того, как ведётся гонка, а не просто внешняя краска.

Комфорт, который даёт слово "безопасный"

Люди, работающие над техническими выравнивание не злодеи оттого, что хотят системы, которые делают то, что имеют в виду люди. Проблема в последовательности действий. Создавать сначала самый мощный разум, а потом обещать сделать его безопасным — это обратный порядок по сравнению с тем, который когда-либо работал для технологий, способных уничтожить цивилизации. Мы не создаём «Безопасные стратегические боеголовки инкорпорейтед» и не гоняемся за мощностью, от которой уже не отвертеться. Мы запрещаем целые классы вооружений, проверяем запрет и подчиняем остальную работу этому запрету.

Сверхинтеллект хуже боеголовки по самому важному для управления свойству. Бомба остаётся там, где её оставили. Система, способная улучшать себя, скрывать намерения и действовать через сети, — нет. В этой области до сих пор нет доказанного метода гарантировать, что такая система сохранит совместимые с человеком цели при масштабировании. Проблема научная, а название «Safe Superintelligence» выполняет риторическую работу, которую наука ещё не оправдала.³

Если обоснование безопасности было бы прочным, честное название всё равно звучало бы странно. Мы обычно не называем продуктом режим отказа на уровне вымирания. Мы называем продукт контролируемым, ограниченным инструментом. То, что две серьёзные организации выбрали режим отказа своим флагом, показывает, насколько уже сдвинулось окно Овертона внутри отрасли.

Неизбежность — это история, которая нужна разработчикам

Каждой гонке нужна история, в которой остановка выглядит наивной. Стандартная версия гласит: кто-то всё равно это построит, поэтому единственный взрослый шаг — построить первым под более дружественным флагом. Название лаборатории по конечной точке укрепляет эту историю. Оно делает запрет похожим на луддизм, а не на контроль над вооружениями. Оно делает договор, запрещающий это звучит как нападение на линейку продуктов, уже находящуюся на дорожной карте.

Эта история удобна для всех, чей капитал, репутация или национальный проект зависят от продолжения гонки. Она плохо описывает, как поступали с другими экзистенциальными технологиями. Химическое оружие, противопехотные мины и исследования по клонированию человека тоже сталкивались с доводом «кто-то другой сделает». Страны, от которых зависело решение, всё равно вводили запреты, инспекции и наказания. Сравнивайте это с классом возможностей, от нормализации которых мир отказался, а не с категорией потребительских приложений.

Ничто из этого не требует веры в то, что каждый исследователь в этих организациях хочет плохого результата. Большинство хотят престижа, открытий и истории, в которой они были осторожны. Стимулы делают все остальное. Лаборатория, названная в честь суперинтеллекта, будет оцениваться, финансироваться и укомплектована кадрами для продвижения к суперинтеллекту. Безопасность становится отделом, а место назначения остается на здании.

Что делать с таким именем

Откажитесь от посылки, который продаёт бренд. Сверхинтеллект — это черта, которую виду не следует пересекать. Сверхинтеллект невозможно контролировать людям. Правильный институциональный ответ — законодательный запрет, а не ребрендинг гонки.

Когда компания пишет на двери «суперразум», читайте это как декларацию намерений. Сопоставьте декларацию с отсутствием обоснования безопасности. Спрашивайте законодателей, почему частная гонка к неконтролируемому разуму всё ещё легальна. Делитесь простым изложением с людьми, которые видят только демонстрационные видео. Они не скрывают, куда это ведёт.