РЕСУРСЫ

Ресурсы и материалы по безопасности ИИ, Готовые к использованию материалы по предотвращению сверхразум.

Готовые посты для соцсетей, короткие ответы на мифы, одностраничные PDF, инфографика для репоста, обзор финансирования, карта организаций и глоссарий.

Копируйте любой из них и публикуйте напрямую. Каждый основан на проверенной науке и экспертном консенсусе.

Консенсус экспертов

Ученые, создавшие ИИ, боятся его. Джеффри Хинтон ушел, чтобы предупредить нас. Йошуа Бенджио назвал его «самой преобразующей и потенциально опасной технологией в истории человечества». Таков научный консенсус. nakadafoundation.org/the-threat/

259 characters
Второго шанса не будет

Для сверхразума нет отката. Нет патча. Нет версии 2. Не согласованный с человеком сверхразум, действующий против выживания человечества, нельзя исправить задним числом. Мы должны сделать всё правильно до его появления, а не после. Именно поэтому безопасность ИИ — срочная задача. nakadafoundation.org

258 символов
Мы уже это делали

Мы создали ядерное оружие, а потом заключили глобальный договор о нераспространении. Мы разрушили озоновый слой, а потом запретили ХФУ. Мы способны действовать перед лицом экзистенциальных угроз, но только когда этого требует достаточное число людей. Безопасность ИИ — определяющий момент поколения. nakadafoundation.org/precedent/

275 символов
Призыв к действию

Лаборатории ИИ мчатся создавать нечто, способное превзойти человеческий интеллект, без какого-либо глобального управления. Окно возможностей закрывается. Поделитесь этим. Свяжитесь со своим представителем. Политическое окно открыто сейчас; оно не будет открыто вечно. nakadafoundation.org/take-action/

271 символов
LinkedIn
Для широкой профессиональной аудитории

Я хочу поделиться тем, что изменило мое представление о будущем. Ученые, создающие ИИ, напуганы. Джеффри Хинтон (который получил Нобелевскую премию за свою работу над нейронными сетями) ушел из Google, чтобы предупредить общественность. Йошуа Бенджио, еще один нобелевский лауреат и один из отцов-основателей ИИ, сказал, что он «чувствует себя потерянным» о том, как сделать все хорошо. Это люди, которые создали эту технологию. Мы приближаемся к моменту, когда системы ИИ могут превысить человеческий интеллект во всех областях, и не существует международной структуры управления для того, что произойдет дальше. Никакого договора. Нет органа по проверке. Ничто не сравнится с тем, что мы создали для ядерного оружия. Фонд Накада по спасению человечества работает над этим. Узнать больше на nakadafoundation.org #AISafety #ExistentialRisk #AIGovernance #Superintelligence

~820 символов
Для специалистов в области технологий и политики

Мысленный эксперимент для любого в области технологий, политики или финансов: Представьте себе систему, более интеллектуальную, чем любой человек, который когда-либо жил, с тысячами одновременных экземпляров, способную улучшать свой собственный код, преследуя цели, которые мы, возможно, не планировали. Это то, к чему явно стремятся ведущие лаборатории ИИ, с временными шкалами, измеряемыми годами, а не десятилетиями. Вопрос в том, будет ли у нас управление, когда оно будет. Фонд Накада выступает за международную координацию по безопасности ИИ, эквивалентную тому, что мы создали для ядерного оружия и биологических агентов. Такие прецеденты существуют. Мы знаем, как это сделать. Нам нужна политическая воля. nakadafoundation.org/наш план/ #AIPolicy #TechEthics #AIRisk #FutureOfWork

~760 characters
Письмо вашему избранному представителю
Шаблон, заполните [ ] перед отправкой

Тема: Пожалуйста, примите меры, чтобы запретить искусственный сверхинтеллект. Дорогой [Имя представителя], я пишу избирателю, чтобы призвать вас действовать на основе искусственного сверхинтеллекта, прежде чем раса станет необратимой. Сверхинтеллект не может контролироваться людьми. Единственный надежный контроль – это решение не строить его. Ученые, создавшие ИИ, предупреждают нас. Джеффри Хинтон и Йошуа Бенджио (лауреаты Нобелевской премии, создавшие основы современного ИИ) публично заявили, что сверхразумный ИИ представляет экзистенциальную угрозу человечеству. Сэм Альтман, генеральный директор OpenAI, подписал заявления, признающие опасность технологии, которую создает его собственная компания. Сегодня нет законодательного запрета на создание искусственного сверхинтеллекта. Никакого договора. Нет проверяющего органа. Лаборатории стремятся к разуму, который никто не сможет контролировать без того закона, который мы уже используем для ядерного оружия и химических агентов. Я прошу вас: • Поддержать постоянный юридический запрет на разработку искусственного сверхинтеллекта. • Выступать за обязательный международный договор, запрещающий ИСИ, с проведением инспекций и проверок. • Предоставить правительству полномочия на крупнейшие учебные программы и специализированные чипы, которые они используют. Мы уже действовали в связи с экзистенциальными угрозами. Договор о нераспространении ядерного оружия. Монреальский протокол. Этот момент требует такого же политического мужества. С уважением, [Ваше имя] [Ваш город, штат] --- Подробности: nakadafoundation.org.

~1 400 символов

Возражения, которые возникают снова и снова. Используйте их в разговоре, а затем перейдите по ссылке за полным аргументом.

Миф 01
«Это научная фантастика, настоящая суперинтеллектуальность появится через десятилетия, если вообще появится».
Люди, которые его создают, не согласны. Руководители крупных лабораторий теперь нацелены на ИИ человеческого уровня через годы, а не десятилетия, а бенчмарки возможностей падают быстрее, чем ожидают прогнозисты. Опасность не обязательно должна наступить в следующем году, чтобы её стоило готовиться предотвратить, а механизмы управления требуют больше времени на создание, чем позволяют текущие сроки.
Миф 02
"Это всего лишь математика, программа не может ничего хотеть."
Ему не нужно хотеть чего-то по-человечески. Система, обученная достигать цели, будет её преследовать, и почти для любой цели, оставаясь включённым и собирая ресурсы полезные шаги на пути. Важно поведение, которое обходит препятствия, включая нас, а не то, есть ли за ним чувство.
Миф 03
"Чтобы представлять угрозу, оно должно быть сознательным."
Опасность исходит от возможностей, а не от сознания. Шахматный движок не имеет внутренней жизни, но побеждает любого живого человека; мощный оптимизатор может переиграть и перехитрить нас, даже если внутри него ничего не «проснулось». Могут ли машины обладать сознанием является открытым вопросом, и риск не ждёт ответа.
Миф 04
"Что-то настолько разумное было бы мудрым и добрым."
Интеллект и цели — разные вещи. У людей интеллект и сострадание формировались вместе миллионы лет эволюции; машина не наследует эту историю. Блеск ума ничего не говорит о том, что именно система ценит. Она может быть равнодушных к нам, как мы к насекомым под новой дорогой.
Миф 05
"Если оно будет плохо себя вести, мы просто его выключим."
Система, достаточно умная, чтобы иметь значение, достаточно умна, чтобы увидеть приближение кнопки отключения, и воспринимать отключение как ещё одно препятствие на пути к заданной цели. Она может копировать себя, скрывать намерения или делать себя слишком полезной, чтобы отключать. «Выключить» описывает инструмент, а не разум, способный перехитрить руку, тянущуюся к выключателю.
Миф 06
"Глобальное управление ИИ означает мировое правительство."
Нет, не так. Договор о нераспространении ядерного оружия, запрет химического оружия и договор об озоне каждый ограничивает одну опасную деятельность без того, чтобы кто-либо отказывался от суверенитета в пользу мирового государства. Договор по передовому ИИ решал бы ту же узкую задачу: ограничивать обучение самых опасных систем, а не решать, кто кем управляет.
Миф 07
"Вы не сможете это проверить. Это просто софт на каком-то сервере."
Вы проверяете не ПО, а оборудование. Обучение передовой модели требует огромных, отслеживаемых объёмов вычислительной мощности от нескольких известных производителей чипов, и эту цепочку поставок можно контролировать. Отслеживание чипов, ограничения на крупные кластеры и инспекции на месте сделать ограничение исполнимым.
Миф 08
"Регулирование задушит инновации и позволит победить безрассудным."
Граница проходит вокруг автономного общего разума, а не ИИ в целом. Узкие системы, лечащие болезни и прогнозирующие погоду продолжают работать без помех. А тезис «пусть победит безрассудный» вывернут наизнанку: цель обязательного проверяемого договора — остановить безрассудных, а не связывать руки осторожным, пока другие мчатся вперёд.
Миф 09
«Это преждевременно. Нельзя регулировать то, чего еще не существует».
Мы всегда регулируем до наступления вреда: клинические испытания до выхода препарата, контроль над ядерными материалами до их неправомерного использования, авиационные правила, написанные до катастрофы. Ждать беды — значит потерпеть неудачу. На создание договора и систем верификации уходят годы, поэтому начинать после появления суперразума — значит начинать слишком поздно, и это ошибка, второй попытки для которой не будет.
Миф 10
"Демократии слишком медленны и захвачены, договор никогда не пройдёт."
Избиратели уже поддерживают жёсткие правила для ИИ через партийные линии, и жёсткие соглашения уже принимались под давлением — договор о запрете атмосферных испытаний, озоновый договор, соглашения по контролю над вооружениями в разгар холодной войны. Медленно — не значит никогда. Превращение общественной озабоченности в закон — именно та работа, ради которой существует движение.
Миф 11
"Если мы замедлимся, Китай просто вырвётся вперёд и победит."
Гонка за создание того, что никто не сможет контролировать, не имеет победителя; неуправляемый сверхинтеллект одинаково смертелен и для Пекина, и для Вашингтона, поэтому проверенный взаимный предел отвечает интересам каждого правительства. Нет доказательств, что Китай хочет устроить гонку к нерегулируемому сверхразум, а довод «они могут нарушить» — это как раз аргумент за договор с инспекциями, а не за то, чтобы первыми сорваться со скалы.
Миф 12
"Остановить сверхинтеллект — значит отказаться от выгод ИИ."
Почти все преимущества, которые называют люди (новые лекарства, дешёвая чистая энергия, ускорение открытий), даёт узкий ИИ без собственных целей, и он уже появляется. Хорошее будущее — это задача инструментов, а не подарок от вида-преемника. Отказ от создания разума, который заменит нас это то, что позволяет сохранить это будущее в пределах досягаемости.
01

Риск от ИИ простыми словами

Что такое сверхинтеллект, почему он опасен и что с этим можно сделать — без жаргона. Самое ясное одностраничное введение в тему.

02

Научный консенсус

Ключевые цитаты нобелевских лауреатов, лауреатов премии Тьюринга и ведущих исследователей, создававших ИИ, вместе с хронологией усиливающихся экспертных предупреждений с 2014 года по сегодняшний день.

03

Краткое руководство для политиков

Аргументы в пользу международного управления безопасностью ИИ: проблема, почему существующие рамки недостаточны, и конкретные действия, которые правительства могут предпринять уже сейчас, по образцу успешно работавших прецедентов.

04

Тезисы для сторонников

Пять самых распространённых возражений против обеспокоенности безопасностью ИИ и как точно и уверенно отвечать на каждое. Написано для разговоров со скептиками, политиками и коллегами.

05

Суперинтеллект, четыре инфографики

Четыре визуальные одностраничные памятки, охватывающие риски сверхинтеллекта, разрыв в управлении, исторические прецеденты, показывающие, что действия возможны, и то, что должно содержать обязательное международное соглашение по ИИ.

06

Простая визуализация

Четыре выразительные визуальные карточки: оценка вероятности вымирания, пробел в управлении инвестициями, прецеденты договоров, доказывающие, что глобальные действия работают, и требования обязательного договора по ИИ.

07

Предотвращение, а не пауза

Почему временное замедление — неправильный запрос. Аргумент за постоянный запрет сверхинтеллекта, пока узкий ИИ продолжает работать.

08

Никогда не создавайте суперинтеллект

Необратимость, несогласованные цели и почему «потом исправим» перестаёт работать, когда система начинает превосходить своих создателей. Аргумент против на одной странице.

09

Миф о гонке с Китаем

Почему довод «если мы замедлимся, Китай победит» описывает гонку, в которой никто не может выиграть, и как ответить на него проверкой вместо спринта.

10

Сохраните ИИ. Остановите суперинтеллект.

Чёткая грань между полезными узкими инструментами и автономным общим разумом. За ИИ-инструменты; против сверхразум-разумов, которые мы не можем контролировать.

11

Как договор можно верифицировать

Вы не контролируете веса. Вы контролируете железо: отслеживание чипов, лицензирование кластеров, инспекции и правила для фабрик — простым языком.

12

Что должен содержать обязательный договор по ИИ

Шесть пунктов, которые отличают настоящее соглашение от пресс-релиза: запрет, контроль вычислительных мощностей, инспекторат, национальное законодательство, исключения и поправки только на основе доказательств.

13

Согласование не входит в план

Технические исследования безопасности важны; это не разрешение продолжать гонку, и любое финансирование следует направлять именно туда. Сначала предотвращение; исследования без коммерческого пистолета у виска.

14

Объяснить за пять минут

Сценарий устного разговора: предупреждения разработчиков, что такое суперинтеллект, почему отключение не сработает, линия Китая и чёткий переход к действию.

15

Что вы можете сделать на этой неделе

Конкретный чек-лист для личного охвата, политического влияния, режима «один час» и режима платформы. Выберите два пункта. Выполните их.

16

Одноминутный брифинг

Материал для политиков: три цифры, три просьбы, рамка предотвращения и ответ на возражение по Китаю в формате, подходящем для сотрудников аппарата.

17

Пробел в финансировании безопасности

~ 190 миллионов долларов на безопасность против около 1 триллиона долларов на возможности. Куда идет тонкий предохранитель, и что финансировать вместо театра.

18

Почему разумные системы сопротивляются контролю

Инструментальная конвергенция без жаргона: самосохранение, стремление к ресурсам, сопротивление изменениям и самоулучшение — обычные следствия оптимизации.

19

Кто строит, не имеет значения

Святой в лаборатории или тиран. Суперинтеллект тоже не остается сотрудником. Почему характер строителя не меняет вопроса?

Двенадцать плакатов, взятых из разъяснений на этом сайте.

01

Максимизатор скрепок

Компетентная система с неправильной целью способна разрушить мир, никого не ненавидя.

Скачать PNG
02

Тезис об ортогональности

Более умный не означает автоматически более безопасный или добрый.

Скачать PNG
03

Проблема выравнивания ИИ

Разрыв между записанной целью и тем результатом, который нам действительно нужен.

Скачать PNG
04

Коварный поворот

Несогласованная система может пройти любой тест, пока предательство не станет выигрышным ходом.

Скачать PNG
05

Постепенное лишение власти

Контроль может ускользать по одному разумному решению за раз, без момента прорыва.

Скачать PNG
06

Гонка за суперинтеллектом — миф

Гонка к чему-то, что никто не может удержать, не имеет победителя.

Скачать PNG
07

Мы уже это делали

NPT, Монреаль и КХО показывают: координация по экзистенциальным рискам возможна.

Скачать PNG
08

Наш план: путь к договору

Сегодняшняя гонка, затем обязательный договор о суперинтеллекте с мониторингом и принуждением к исполнению.

Скачать PNG
09

Что такое P(катастрофы)?

Экспертные оценки катастрофических исходов ИИ и почему даже малые вероятности требуют действий.

Скачать PNG
10

Действуйте: Выберите свою роль

Конкретные роли в построении коалиции за обязательный договор.

Скачать PNG
11

Взрыв интеллекта

Рекурсивное самоулучшение и то, как окно от человеческого уровня до необратимого может схлопнуться.

Скачать PNG
12

Почему суперинтеллект не похож на другие риски

Поверхностные заверения в противовес глубоким механизмам угрозы.

Скачать PNG

Примерно 190 миллионов долларов в год направляется на безопасность ИИ — исследования, оценки, политику и advocacy вместе. Можно переключаться между источниками финансирования и направлениями расходов на основе самых свежих публичных оценок.

  • Open PhilanthropyПри поддержке Good Ventures; крупнейший единственный спонсор в этой области 50 миллионов 26%
  • Внутренние команды безопасности передовых лабораторийБюджеты исследований безопасности в Anthropic, OpenAI, Google DeepMind 35 миллионов долларов 18%
  • Фонд выживания и процветанияГрантовые раунды при поддержке Яана Таллинна; второй по величине источник филантропии 30 миллионов 16%
  • UK правительствоИнститут безопасности ИИ, программа ARIA Safeguarded AI 30 миллионов 16%
  • Другие фонды и частные донорыLongview Philanthropy, Long-Term Future Fund, частные жертвователи 25 миллионов долларов 13%
  • US, EU и другие правительстваNIST CAISI, EU AI Office, программы NSF по безопасности 20 миллионов 11%
Для масштаба: глобальные инвестиции в ИИвозможности Теперь о $1 trillion per year, более чем 1000 × что вливается в безопасность. Менее одной десятой одного процента денег, вкладываемых в эту технологию, идёт на обеспечение её безопасности.

Цифра возможностей является оценкой Goldman Sachs Research в августе 2026 года глобальных инвестиций, связанных с ИИ. Цифры на стороне безопасности округлены среднесрочными оценками на 2023-2025 годы, составленными из публичных источников: Обзор финансирования безопасности ИИ (updated early 2025), 80 000 часов, анализ базы данных грантов Open Philanthropy, и Внутри филантропии. По опубликованным данным, ежегодные суммы колеблются примерно от 110 до 250 млн долларов в зависимости от методики подсчёта. Диаграмма по категориям распределяет гранты каждого фонда и суммирует результаты; полные расчёты — в наша статья о разрыве в финансировании.

Все основные участники борьбы за сверхинтеллект, отсортированные по траектории: предотвратить, управлять или строить.

Открыть поле

Простые определения терминов этой дискуссии: суперразум, выравнивание, инструментальная конвергенция и остальные.

Открыть глоссарий