Open Philanthropy、80,000 Hours、そしてFuture of Humanity Instituteを経た研究の系譜は、今なお多くの機関が拒み続けていることを行いました。彼らは人工超知能を、人類の物語が終わる plausable な方法として扱い、その主張に向かって実際の資金と人材を動かしました。リスクそのものについては、彼らは早くから正しく認識していました。.
ポートフォリオの誤りは次の推論にある。「これが人類の未来を永遠に損なう可能性がある」というところから、主流の長期主義的回答は、技術的アライメント研究に資金を、フロンティアを遅らせたり方向づけたりする人工超知能ガバナンスに資金を、そして安全そうに見えたらシステムを構築する道を開いておく、というものになった。これもまた、彼らが正しく指摘したリスクに対する誤った計画だ。.
最も強力な論拠
長期主義者の物語の最良版はこう語る。.
規模、無視可能性、扱いやすさは依然として重要である。非整合的な超知能は、生きているすべての人間とその後のすべての世代に影響を及ぼし得る。長年、権力を持つほとんど誰もがそれを現実の可能性として扱わなかった。目標の誤指定、欺瞞、監視に関する技術的研究は、強力なシステムが到来した場合でも良好な結果の確率を高め得る数少ない手段の一つに見えた。一方的な研究所閉鎖は競争下では絶望的に見えた。そこで責任あるポートフォリオは、整合科学、時間を稼ぐ政策、そしてシステムをいずれにせよ構築する研究所や政府内部での慎重な影響力行使を組み合わせた。.
前提のほとんどは受け入れます。代償は文明規模です。この話題は長く軽視されてきました。私たちがまだ検査・停止できるシステムに関する技術的安全研究は、普通の工学です。競合ラボや競合国家が存在する以上、「一社がやめる」だけでは弱い戦略です。どれも漫画的ではなく、リスクを最初に真剣に考えた人々を嘲笑するのは時間の無駄です。.
推論が破綻する箇所
断絶は、目的地が固定されているという静かな前提にある。もし超知能が何があっても来るのなら、残された仕事は到着をできるだけ致命的でないものにすることだけだ。整列資金、評価、「責任あるスケーリング」はすべてその前提の下で理にかなう。それらは、終着状態を選べないと信じる世代の主要な道徳的プロジェクトになる。資金と名声のほとんどは、レースをより安全にする方に流れ、レースを人工超知能に終わらせる方には向かわない。.
目的地は固定されていない。この種の目的地は選ばれるものだ。核兵器、オゾン化学、人間クローンはそれぞれ、政府が特定の最終状態を残存リスクに見合わないと判断した瞬間があった。超知能は永久にそのリストに加えられるべきだ。超知能は人間によって制御できない。.
必然性という前提を捨てれば、ポートフォリオの見え方は変わる。レースを管理可能にするために費やされる希少な安全資本は、レースを終わらせるために使われない資本だ。フロンティアを遅らせてラボが「安全に追いつく」ためのガバナンスは、制御不能な知性を構築することを依然として計画として扱っている。後継種を作ってからそれを繋ぐことを前提とするアライメント研究は、研究プログラムと生存戦略を混同している。.
帳簿は正しく、目的地を間違えた。.
停止の後の研究、それに代わるものではなく
私は誰かにこの分野を燃やせと言っているわけではない。今日のシステムをより透明にし、悪用しにくくし、停止しやすくする研究は、今でも意味がある。超知能への道を検証可能な形で停止した後なら、強力なAIを制御する研究を、商業的なストップウォッチを絶滅リスクに張り付けることなく続けられる。順序こそが、すべての論点だ。.
技術的アライメントを主要な答えとして扱いつつ、最先端ラボが同じスケジュールで規模を拡大し続けることが失敗する。問題の順序が逆なのだ。下振れリスクを制御できず、そのリスクが全員にかかわる場合、責任ある行動は 危険なものを構築するのをやめる. 。超知能は制御できません。狭いAIは動き続けます。すべての領域で人間の知能を超えるシステムの狭いクラスは、存在しません。.
人工超知能リスクに関する長期主義的な原因優先順位付けには同意する。ただし、処方箋が「アライメント予算の増額と慎重に操られたレース」である点には反対する。処方箋は拘束力のある法の下での防止、すなわち恒久的な非創造である。超知能は人間によって制御できない。一時的な減速で安全策が追いつくというのは、作り手より賢い心を、競争圧力の下で期限内に検証済みの方法で制御できると賭けることにほかならない。そのような方法は存在しない。小規模でも大規模でもない。主要ラボ自身が公にそう述べている。.
予防を「一時停止」の下に分類する人が多い。一時停止とは数年の猶予のあと再開することだ。. それは求めていない. 。私たちは政府に対し、人工超知能の開発を阻止し、それを恒久的に阻止し続けることを求めます。超知能は制御できません。条約はレースからのオフランプです。.
資金が代わりに果たすべき役割
アライメントのための人工超知能の山を、非作成を強制可能な作業へ移そう。条約の設計と検証、検査可能なチップレベルの計算ガバナンス、目標を明確に保つための世論形成、静かな能力向上のコストを上げる内部告発と透明性確保の活動、そして立法者が研究所のロビイストだけでなく有権者の声も聞くための政治組織化だ。. 資金リダイレクトについて詳しく書いた. 短く言えば優先順位だ。それを構築しないという決定に資金を投入せよ。
Longtermism earned credit for naming a risk most elites still treat as science fiction. Credit for the diagnosis does not lock in the prescription. Same risk. Different plan. Prevent superintelligence under law. Keep the tools that help humans. Leave the dream of a carefully steered god on the shelf until the world has agreed not to build one in the dark.