Après un quasi-accident grave, un enquêteur du National Transportation Safety Board ne demande pas à la compagnie aérienne de consigner une note privée et de passer à autre chose. L’événement entre dans un système. Les conclusions sont rédigées de manière à ce que les concepteurs, les formateurs et les régulateurs puissent tous modifier leurs pratiques. Le passager qui n’entend jamais l’histoire vole néanmoins dans la mise à jour. Cette mémoire partagée explique en grande partie pourquoi le transport aérien commercial est devenu aussi sûr.

Le signalement des incidents liés à l'IA vise à donner à ce domaine la même habitude : l'enregistrement systématique, le partage et l'enquête sur les cas où les systèmes causent des dommages ou en sont proches. Lorsqu'un modèle échoue en déploiement, contourne ses garde-fous sous l'effet d'une utilisation abusive ou présente un comportement dangereux lors de tests, il n'existe toujours aucun devoir cohérent de le consigner, aucun lieu partagé qui doit le recevoir et aucun parcours d'enquête standard. Les leçons qui pourraient protéger tout le monde restent à l'intérieur d'une seule entreprise, ou disparaissent.

La proposition est simple sur le papier : définir des catégories de dommages et de quasi-accidents, exiger un signalement dans un système partagé, et permettre au domaine d’apprendre une fois, collectivement.

Ce qu'un bon système capturerait

La version utile est plus large que les catastrophes en titres.

  • Dommages déployés, lorsqu'un système dans le monde réel a causé des dommages ou un dysfonctionnement grave.
  • Quasi-accidents, où quelque chose a mal tourné et où le dommage a été évité de justesse. L'aviation les considère aussi instructifs que les crashes.
  • Comportements dangereux découverts lors des tests, y compris les défaillances mises en évidence par équipe rouge et des évaluations, de sorte que l'avertissement de danger d'un laboratoire atteigne le reste.
  • Événements de sécurité, tels que des tentatives de vol de poids de modèle ou de contournement des sauvegardes.

Le signalement doit être structuré et, le cas échéant, protégé. Les organisations divulguent plus honnêtement lorsque l'enquête sur la sécurité est séparée du théâtre des responsabilités. L'aviation a appris cette séparation pour une raison. Sans elle, le choix rationnel est le silence.

Pourquoi cela en vaut la peine

Le partage des données d'incidents permet au domaine de repérer des schémas qu'aucune organisation isolée ne verrait. Les régulateurs disposent d'une base factuelle ancrée dans ce qui dysfonctionne réellement plutôt que dans la spéculation. Le mode d'échec d'un laboratoire devient l'avertissement de tous la semaine où il est découvert. Au fil du temps, l'industrie acquiert la mémoire institutionnelle qui lui fait encore défaut. Parmi les mesures de gouvernance de superintelligence, celle-ci est peu coûteuse, largement appréciée et attendue depuis longtemps. La Fondation la veut obligatoire.

L'aviation est la mauvaise attente

L'aviation a prouvé que les rapports et les enquêtes peuvent entraîner une baisse des taux de perte de coque. Les systèmes d'incidents aident encore. Ils ne sont pas le moteur de sécurité principal pour une panne que vous ne pouvez pas obtenir à étudier deux fois. Les limites anticipées sont celles que vous utilisez lorsque le premier crash peut être le dernier point de données.

La déclaration des incidents est rétrospective. Il tire des leçons des méfaits qui se sont déjà produits. Cela fonctionne quand les échecs, aussi tragiques soient-ils, survivent au niveau de l'industrie, afin que chacun puisse enseigner à la flotte. Le système améliore l'événement par événement.

Cette logique ne tient pas pour les risques qui préoccupent le plus la Fondation. Un défaillance catastrophique d’un système superintelligent n’est pas un conseil que l’on convoque après coup. La thèse centrale du risque existentiel est que l’échec le plus grave peut être celui dont on ne se relève pas et qui, par conséquent, n’enseigne rien. Les rapports d’incident gèrent bien les dommages cumulables et survivables. Par construction, ils ne peuvent pas traiter celui dont on ne revient pas.

Apprendre des échecs suppose que vous y survivez. Pour les échecs qui comptent le plus, cette hypothèse est le problème.

Où il se trouve

Construire le système, le mandater et protéger la divulgation honnête. Alors gardez-le hors de la fente supérieure de la boîte à outils. Il devrait s'asseoir à côté des limites et de la vérification prévues dans le notre plan, qui existent précisément parce que certains échecs ne peuvent pas être gérés après coup.