「超知能の開発をやめれば、誰かが代わりにやる」——百の会議室で語られる会話の終わり方だ。地理とゲーム理論のように聞こえるが、往々にしてそうではない。開発を続けながら、それを不可避と呼ぶための方便である。すでに人類が扱った技術で同じ論理を試してみればいい。「CFC冷蔵庫の製造をやめれば、誰かが代わりに作り続ける」。

はい。彼らは冷蔵庫を作り続けました。ただ、空に穴を開けていた化学物質の使用をやめたのです。.

2つの異なる名詞

冷蔵庫はサービスだ。冷たい食品、ワクチン、腐敗の低減。クロロフルオロカーボンはそのサービスを実現する一つの方法だったが、化学的影響が明らかになった時点でオゾン層にとって災厄となった。 モントリオール議定書 は寒さを禁止したわけではない。被害をもたらしていた物質の段階的廃止を定め、途上国向けの代替手段に資金を拠出し、貿易圧力で合意を後押しした。業界は廃止は不可能だと主張していた。冷蔵庫は残った。CFCは消えた。.

超知能という言葉は二つの名詞を一つにまとめてしまう。「AI」という単語が、がんモデル、経路計画、そして人間種より賢いという仮定のエージェントをすべて含む一つの塊になってしまう。最後の項目を拒否すれば、最初の項目も拒否したことになり、良心の呵責がない誰かがすべてを展開するだろう、というのがこのスローガンの主張だ。この手口は、毒と製品を同一視することで、毒を取り除くことが製品への攻撃のように聞こえるように仕向けるものだ。.

オゾン層を救うために、まず穴を開けることを約束したわけではない。冷蔵庫を保持し、化学物質を廃止した。.

「誰か他の人がやるだろう」が何のためか

懸念を最も強い形で認める。ライバルラボやライバル国家が、こちらが引いた線を越えて訓練しようとするかもしれない。その可能性は、現実的で計画に織り込むべきものだ。しかしそれは、軍備管理がまさに扱うために生まれた可能性でもある。「誰かが核を作ってしまうかもしれない」という答えは「なら無限に実験しなければならない」ではなかった。検証、核分裂性物質のチョークポイント、逸脱への対処だった。.

計算資源はウランより扱いにくい。真剣な誰もがそう認めている。それでも物理的で、先端では高価であり、少数のチップメーカー、工場、クラウドリージョンを経由する。それだけで検査の基盤を築ける理由であり、だからこそ コンピュート・ガバナンス はすべての真剣な条約のスケッチに登場する。「誰か他の者がやるだろう」はその作業を飛ばして、直接許可に行く。.

誰がスキップから利益を得るかに注目してください。抑制が一方的な降伏として描かれるなら、大人らしい姿勢は全力疾走しかありません。投資家は運命を聞き、安全担当者は減速が甘いと聞きます。そのスローガンは仕組みについての議論に勝つ必要はありません。ただ第三の選択肢である共同抑制を子供じみたものに感じさせれば十分です。.

冷蔵庫は敵ではなかった

私たちは、診断や創薬、橋梁の欠陥発見を行う狭いAIを望んでいます。そのことをはっきり述べ、誤った非難が定着しないようにしましょう。財団の立場は、 人間の制御を超え、置き換えるシステム 制御問題が未解決である一方で。.

それは「他の冷媒を使う」方に近く、「冷蔵を禁止する」方ではない。その区別を崩す人々は、有用なAIの人気を利用して、道具のままでは終わらない能力を覆い隠している。.

オゾン問題との闘いが実際に教えること

モントリオールが成功したのは、科学界が声を上げ、代替手段が存在し、抵抗勢力が貿易上のコストを負ったからだ。超知能の場合、「戦略的優位性」に対する代替手段はより少なく、一方でスローガンが無視している点で容易な側面もある。どの大国も、誰の制御も及ばないシステムに合理的な利益を見出していないということだ。共有された脆弱性こそが合意の土台になる。その論点を詳しく展開しているのが、 中国神話 ページおよび 競争神話 エッセイ。簡潔に言えば、ライバルへの恐怖は、中身のない終わりが見えたとき、スプリントに資金を出すのと同じくらい簡単に条約に資金を出すことができる。.

どの名詞を指しているか尋ねてみてください。有用なAIが問題なのではありません。制御不能な超知能が問題です。2つ目の名詞については、離脱リスクは執行メカニズムを構築する理由であり、先に離脱する理由ではありません。冷蔵庫は動き続け、空は人々が違いを認識できたから回復したのです。