После серьёзного инцидента, едва не закончившегося катастрофой, следователь Национального совета по безопасности на транспорте не просит авиакомпанию подать закрытую записку и двигаться дальше. Событие попадает в систему. Выводы формулируются так, чтобы конструкторы, инструкторы и регуляторы могли изменить своё поведение. Пассажир, который никогда не услышит эту историю, всё равно летит внутри обновления. Эта общая память — большая часть того, почему коммерческие полёты стали такими безопасными.

Отчётность об инцидентах с ИИ — попытка привить этой области ту же привычку: систематическую регистрацию, обмен и расследование случаев, когда системы причинили вред или едва его не причинили. Когда модель даёт сбой при развёртывании, срывает защитные механизмы при злоупотреблении или демонстрирует опасное поведение при тестировании, до сих пор нет устойчивой обязанности фиксировать это, нет общего места, куда это обязательно должно поступать, и нет стандартного пути расследования. Уроки, способные защитить всех, остаются внутри одной компании или исчезают.

Предложение на бумаге простое: определить категории вреда и инцидентов, обязать передавать данные в общую систему и позволить отрасли учиться коллективно и один раз.

Что захватывала бы хорошая система

Полезная версия шире, чем громкие катастрофы.

  • Развёрнутые вреды, когда система в реальном мире причинила ущерб или серьёзный сбой.
  • Почти происшествия, когда что-то пошло не так и вред был едва избежан. В авиации к ним относятся как к информативным, как к катастрофам.
  • Опасное поведение, обнаруженное при тестировании, включая сбои, выявленные тестирование красной командой и оценки, поэтому предупреждение об опасности одной лаборатории доходит до остальных.
  • События безопасности, такие как попытки украсть веса модели или обойти защитные меры.

Сообщения должны быть структурированными и, где уместно, защищёнными. Организации раскрывают информацию честнее, когда расследование безопасности отделено от театра обвинений. Авиация не зря усвоила это разделение. Без него рациональный выбор — молчание.

Почему это стоит делать

Обмен данными об инцидентах позволяет отрасли замечать закономерности, которые не видит ни одна организация в отдельности. Регуляторы получают доказательную базу, опирающуюся на реальные сбои, а не на домыслы. Режим отказа, обнаруженный в одной лаборатории, на той же неделе становится предупреждением для всех. Со временем отрасль приобретает институциональную память, которой ей до сих пор не хватает. Среди мер сверхразум это одна из самых дешёвых, широко одобряемых и давно назревших. Фонд считает её обязательной.

Авиация - это неправильное ожидание

Авиация доказала, что отчетность и расследование могут снизить потери корпуса. Инцидентные системы помогают. Они не являются основным двигателем безопасности при сбое, который вы не можете изучить дважды. Предвосхищающие ограничения — это то, что вы используете, когда первый сбой может быть последней точкой данных.

Отчетность об инцидентах ретроспективна. Он учится на вреде, который уже произошел. Это работает, когда неудачи, какими бы трагическими они ни были, выживают на уровне отрасли, поэтому каждый может научить флот. Система улучшает событие за событием.

Эта логика не работает для рисков, которыми больше всего обеспокоен Фонд. A катастрофический сбой сверхинтеллектуальной системы не та комиссия, которую собирают после. Главный тезис экзистенциального риска в том, что самый серьёзный сбой может оказаться тем, после которого нет восстановления и потому нет урока. Сообщение об инцидентах хорошо справляется с накапливающимися, переживaемыми вредами. По своей конструкции оно не может справиться с невосстановимым.

Учиться на ошибках можно, только если их пережить. Для самых опасных ошибок это предположение и есть проблема.

Где оно находится

Создайте систему, поручите ее и защитите честное раскрытие информации. Затем держите его в верхней части инструментария. Он должен находиться рядом с предвосхищающими ограничениями и проверкой, установленными в наш план, которые существуют именно потому, что некоторые сбои нельзя исправить постфактум.