深刻なニアミスの後、国家運輸安全委員会の調査官は航空会社に非公開のメモを提出させて終わりとはしません。出来事はシステムに入ります。所見は設計者、訓練担当者、規制当局のすべてが行動を変えられるように書かれます。その話を聞いたことのない乗客も、更新された安全性の内部を飛行します。この共有された記憶が、民間航空が今日のように安全になった大きな理由です。

「AIインシデント報告は、この分野に同じ習慣を与えようとする試みだ。システムが危害を引き起こしたり、誤用でガードレールをすり抜けたり、テストで危険な行動を示したりした場合に、体系的に記録・共有・調査する。モデルが展開で失敗したり、テストで危険な振る舞いを示したりした場合でも、それを記録する一貫した義務はなく、必ず受け取るべき共有の場もなく、標準的な調査経路もない。全員を守れる教訓が一社の中に留まったり、消えたりする。」.

提案は紙の上では単純だ。危害とニアミスのカテゴリを定義し、共有システムへの報告を義務付け、分野全体が一度に集合的に学べるようにする。

良いシステムが捉えるもの

有用なバージョンは見出し級の災害より広い。

  • 実世界でシステムが損害や重大な誤作動を引き起こした、展開された危害。
  • ニアミス、何かがうまくいかず危害が辛うじて回避されたケース。航空業界はこれらを事故と同じくらい有益なものとして扱う。
  • テストで発見された危険な振る舞い（ レッドチーム演習 および評価を行うことで、ある研究室の危険警告が他にも届くようにします。
  • モデルウェイトの盗難や安全策の回避などのセキュリティイベント。

報道は構造化され、必要に応じて保護されなければならない。安全調査が責任追及の場から切り離されると、組織はより正直に開示する。航空業界がその分離を学んだ理由はそこにある。それがなければ、合理的な選択は沈黙だ。

なぜそれをする価値があるのか

共有されたインシデント データにより、単一の組織では確認できない現場スポット パターンが得られます。規制当局は、憶測ではなく実際に何が起こっているのかに基づいた証拠を入手します。ある研究室の故障モードは、それが発見された週に全員の警告となります。時間が経つにつれて、業界はまだ欠けている制度上の記憶を獲得します。 人工超知能 ガバナンス対策の中で、これは安価で広く支持されているものの、時代遅れのものです。財団はそれを義務化したいと考えています。

航空業界は待つのが間違っている

航空業界は、報告と調査が船体の損失率を下げることができることを証明しました。インシデントシステムは依然として役に立ちます。これらは、二度勉強することはできないかもしれない失敗に対する主な安全エンジンではありません。予想制限は、最初のクラッシュが最後のデータ ポイントになる可能性がある場合に使用するものです。

インシデントの報告は遡及的に行われます。すでに起こった害から学びます。これは、失敗がたとえ悲劇的であっても業界レベルで生き残れる場合に機能し、各自がフリートに教えることができます。システムはイベントごとに改善します。

その論理は、財団が最も懸念するリスクには当てはまらない。A 超知能システムの破滅的失敗 は、後から招集する委員会ではない。実存的リスクの核心的主張は、最も深刻な失敗は回復不能であり、したがって教訓も得られないというものだ。事故報告制度は蓄積可能で生存可能な被害にはよく対応する。設計上、回復不能なものには対応できない。

失敗から学ぶには、生き残ることが前提だ。最も重要な失敗の場合、その前提こそが問題なのだ。

組織の位置づけ

システムを構築し、それを義務付け、正直な情報開示を保護します。次に、ツールキットの上部スロットに入らないようにしてください。それは、以下に規定されている予測限界と検証の範囲内にある必要があります。 私たちの計画, 、それは事後対応できない失敗が存在するからこそ設けられている。