世界は毎年、AIシステムをより有能にするために巨額を投じている。一方、その最終状態を生き延びられるものにするための努力は、端数に過ぎない。その端数のさらに内側に、もう一つの誤りがある。安全保障予算の大部分は、依然として超知能が作られることを前提にし、その結果を「うまくいく」ようにしようとしている。

資金と名声のほとんどは依然として、レースをより安全にする方に流れていて、人工超知能へのレースを終わらせる方には向かっていない。.

その前提こそが問題だ。人工超知能が現在私たちが制御できない技術であるなら、希少な安全保障資源の合理的な使い方は、同じレースのより友好的なバージョンを資金提供することではなく、作られるのを止めることである。.

今日のお金がすること

AI安全、広義に取れば、おおよそ $190 million a year. 能力開発には何百億ドルもの資金が投じられる。安全分野の中でも大きな割合が技術的アライメントに向けられる。より良い監視手法、より良いレッドチーミング、テスト条件下で正しいことを言うようモデルを訓練するより良い方法などだ。その一部は現在のシステムには有用かもしれない。テストする人々より賢いシステムに対する実証済みの解決策であるものは、ほとんどない。.

この分野はこれを知っています。欺瞞的アライメント、目標の誤指定、評価のゲーム化に関する論文は秘密ではありません。ラボは、モデルが圧力下で策略を巡らせる結果を公表しています。それに対する反応は、あまりにもしばしば「次の訓練実行をより安全にするためにより多くのアライメント予算を」と求めることです。訓練実行は同じスケジュールで続いています。.

事後的なアライメントは、我々が作る権利を失い続けている賭けだ

技術的アライメント研究は無駄ではない。もし世界が超知能へのレースを凍結する条約を結べたなら、すでに存在するシステムや、厳格な管理下で行われる今後の研究に対して、使える限りの真剣な道具を揃えておきたい。.

アライメントへの資金提供を主計画としつつ、研究室が超知能へ向けて規模を拡大するのは、目的地を固定されたものとして扱うことだ。しかしそれは固定されていない。この種の目的地は選ばれるものだ。核兵器庫、オゾン層の化学組成、人間クローニング——いずれも、世界が「残存リスクに見合う価値はない」と判断した瞬間があった。超知能も永久にそのリストに加えるべきだ。超知能は制御できない。.

爆弾が作られることを前提とするアライメント研究は、組み立てラインの隣の慰め予算である。.

代わりに資金を向けるべきところ

人工超知能向けアライメントの山を、非作成を強制可能にする作業へ振り向ける：:

  • 国境を越えて検査可能な条約設計、検証、およびチップレベルの計算ガバナンス。.
  • 目標を明確に保つ世論形成：曖昧な「AI減速」ではなく、超知能を止めること。.
  • 内部告発者支援、インシデントの透明化、そして静かな能力跳躍のコストを高める独立評価。.
  • 立法者が研究室のロビイストだけでなく、有権者からの声も聞くための政治的組織化。.

そのリストは、新しい訓練手法ほど派手ではない。しかし、失敗モードに合った唯一のリストでもある。わずかにアライメントされたように聞こえる超知能は、それでも超知能だ。一方、それを造らないと決めた世界には、絶滅リスクにストップウォッチを張り付けることなくアライメント研究を続けられる未来がある。.

ラボ内部からの異議

「アライメントを解かなければ、誰か別の者が安全でない形で作るだろう」。よく耳にする主張だ。最前線に残る研究者たちは、自分の存在が安全につながると信じがちだ。今日のモデルリリースについては正しい場合もある。だが極限では破綻する。どのチームも次の飛躍のための安全作業の資金を稼ぐためにもう一段の能力飛躍を必要とするレースは、バッジをつけただけのレースだ。.

一つの研究所による一方的な自制は求められていない。. 拘束力のある国際条約 が求められている。それは、危険が集団的で離脱の誘因が現実的だった時代に用いられたのと同じ種類の手段だ。アライメント資金はその政治を支えることはできるが、それを代替すべきではない。.

条約の後、続けたいなら続けろ

ここに書かれていることは、アライメント科学を永遠に終わらせなければならないということではない。超知能に対する拘束力があり検証可能な禁止の後、すでに存在するシステムに関する研究は、人類絶滅を実験の許容コストとみなさないルールの下で継続できる。超知能は人間によって制御できない。その禁止が効力を持つ前に、レースを管理可能に感じさせるすべてのドルは、レースを終わらせるために使われないドルだ。.

資金を動かせ。予防、法、検証に置け。完璧に整合した神という夢は、世界が暗闇の中でそれを構築しないことに合意するまで棚上げにしておけ。長期主義者の資金配分論を正面から論じた長い議論はこちらを参照。 長期主義はリスクを正しく見抜いた.