人類は決して
超知能を構築する

中田財団が存在するのは、一つの結果を不可能にするためだ。誰も制御できない超知能の誕生を防ぐこと。より安全にすることでも、後回しにすることでもない。地球上の誰もが安全に構築する方法を知らないうちに、それを構築させないこと。「決して」という言葉はここで実質的な意味を持ち、私はそれを和らげて表現しない。.

「決して」は条件である。私たちは、超知能を制御できることを示せない限り、超知能を構築すべきではない。そして今日、私たちはどのような規模でもそれを示せていない。私たちが実際に望むものに向けられた、私たちより賢い心を維持するための検証済みの方法は存在しない。機能するものも、部分的なものも、人々をテストするシステムとの接触に耐えられるような説得力のあるスケッチさえもない。だから正直な読み方はこうだ。これではない、今ではない、現在の道筋ではない、そしてそれが真実である限り一日たりとも長くはない。.

一時停止との違いは、思った以上に重要である。一時停止には再開日が組み込まれている。止めて、待って、予定通りに再開する。財団が求めているものには再開日はない。人間の制御下で実現可能であることを誰かがいつか実証し、他者が検証できる場合にのみ解除される無期限の禁止である。その日が来るかもしれない。私は疑わしいし、制御問題を最も長く研究してきた人々はすでに…… 根本的に解決できないかもしれない構造的な理由. いずれにせよ、負担は当然あるべきところにある。皆を殺しかねないものを構築したいと思う者に、それがそうならないことをまず証明させることだ。.

このリスクを他のすべてのリスクと異なるものにする3つのこと

我々は日常的に本物のリスクを引き受けている。爆弾を作り、エネルギーとして原子を分裂させ、遺伝子を組み換え、扱い方を学ぶ前に人々を殺す技術を解放してきた。超知能は、我々が自らの発明から生き延びるために通常用いる方法を破壊する。三つの性質が同時に揃うことで、それは独自のカテゴリに属する。.

二度目の挑戦はない

人類が新しい危険に対処してきた方法は、試してみて、失敗を見て、直すことです。飛行機は墜落し、私たちはより安全な飛行機を造ることを学びました。原子炉はメルトダウンし、私たちはルールを書き換えました。この「失敗→修正→より良い設計」というループが、私たちが持つすべての安全記録の原動力です。このループが機能するのは、失敗が生存者を残し、彼らが修正できる場合だけです。人間の制御を逃れた超知能は、修正するはずの人々を排除する失敗です。苦労して得た教訓と第二稿は得られません。最初に深刻な失敗が起きたとき、それが最後になります。あなたがこれまで聞いたすべての安全の物語は、生存者によって書かれたものです。それが、私たちが信頼するすべての規制の背後にある静かな事実です。.

押し返す

橋は何かを欲しがらない。病原体は広がるが計画はしない。能力ある汎用知能は異なる。どんな目標を与えても、電源を入れ続け資源を集めることは有用な下位目標になるからだ。研究者たちはこのパターンを 手段的収束. 世界をモデル化できるほど賢いシステムは、運用者がそれをシャットダウンできることをモデル化するだろう。それを、指示されたことを遂行する上での障害として正しく扱うだろう。我々を憎む必要はない。新しい高速道路の下にあるアリ塚を道路工事班が憎む必要がないのと同じだ。通常の安心材料（「ただプラグを抜けばいい」）は幻想だ。あなたが言及しているのは、まさにそれを予測し防止することにおいてあなたより優れているよう特別に作られたものを抜くことだ。.

自分より制御が上手いように作った心を、自分が制御し続けることはできません。それを価値あるものにする特性こそが、それを制御不能にするものです。.

それを構築する者は誰も回収しない

Set aside the rest of us and imagine only the person funding this, at his coldest and most self-interested. Even for him the bet is broken. Power, ownership, and command are all denominated in a human-run world. A superintelligence slipping human control is exactly the event that ends the human-run world. The equity is still in the safe and the chain of command is still on paper. There is simply no longer anyone left to obey them. See 誰かが作れば、みんな死ぬ, それが、私が大当たりに大惨事がくっついたような枠組みを受け入れない理由です。大当たりと大惨事は同じ出来事です。その木の枝に、人間が制御不能な超知能を構築し、その結果を楽しむようなものはありません。.

それを必要とすることはなかった

それを構築せよという主張は、餌とすり替えに基づいている。AIがもたらしうるあらゆる良いことを挙げた上で、それらを実現するには超人的な汎用エージェントしかないとほのめかす。実際のところ、そのほとんどはすでに、意志を持たない狭いシステムを通じて実現しつつある。AlphaFoldというモデルは、既知のほぼすべてのタンパク質の構造を予測し、2024年にノーベル賞を受賞した。狭いモデルは、専門医並みにマンモグラフィーを読み、物理シミュレーションより速く天気を予測し、数十万個の新電池材料を提案する。がん、クリーンエネルギー、老化関連疾患による1日10万人の死亡を終わらせること——これらは困難で具体的な問題であり、人々が目標を定めて強力な道具を向け続ければ、解決する。.

それらのどれも後継種を必要としない。私はこの主張の完全版を なぜ超知能なしで私たちの未来は明るいのか, だからここでは短くする。良い未来は道具の問題であり、私たちはそれを解決するための神を売りつけられ続けている。その神を拒む代償はほとんどなく、すべてを救う。.

競争全体を駆動する異議

「構わないさ」と彼らは言う。だが、私たちがやらなければ、より注意の薄い誰かがやるだろう。ライバルラボやライバル国がね。だからこそ、私たちが先頭に立つべきだ。.

この主張が言っていることに注目してほしい。それは「誰がマッチを持っているか」である。危険全体を認めながら、「誰かが先に走るかもしれない」という理由でそれに向かって競争を続けるのだ。同じ論理を他の考えられない兵器に当てはめてみれば、その空虚さがわかる。敵がそうするかもしれないから、生物兵器を公然と実験すべきだ、という話になる。「誰かが離反するかもしれない」への対応は、かつて「だからみんなで離反しよう」ではなかった。誰もが守っているとわかるルールを書くことだった。.

ここでのルールは人々が思うより執行可能です。最先端システムの訓練には膨大で追跡可能な計算量が必要であり、それを提供する先進チップは少数の特定可能なメーカーからしか供給されません。これは監視・計数・上限設定が可能なサプライチェーンであり、だからこそ本格的な統治提案は今、計算量の閾値、ハードウェア追跡、検査を中心に据えています。これが競争からの出口であり、 私たちの計画: 全員が自制を選ぶという希望ではなく、検証と結果を伴う条約によって自制を強制的なデフォルトにする。レースは協調の失敗であって自然法則ではない。そして協調の失敗は、人類が時折解決してきた種類の問題だ。それを不可避に感じさせる力学は、それ自体として理解する価値がある。私はそれを 人種ダイナミクスに関する記事.

我々は以前に線を引いたことがある

人類は作れるものは何でも作るという考えは、私たちが語る物語であって、これまで実際にやってきたことの記録ではありません。記録はもっと希望が持てるものです。.

これらの体制はいずれも完璧ではなく、科学全体を止めようとしたものでもない。それぞれがより狭く、より困難なことを成し遂げた。特定の、容認しがたい事柄に線を引き、それを不完全ながらも、ばらつきがありながらも、最悪の事態が起きない程度に守り抜いた。1975年、カリフォルニアのアシロマで生物学者たちが集まり、自らの組換えDNA研究がリスク理解の速度を上回っていると判断し、防御策が整うまで一部を自発的に停止した。最前線に最も近い人々が自ら抑制を求めた。この歴史の詳細は それが可能であるという主張. 。そこから読み取れるのは、容易さの保証ではない。実際に線引きが行われてきたという事実、そして私たちがこれよりはるかに抽象的な危険に対しても線を引いてきたという記憶だ。.

財団の設立時のコミットメント

財団が行う活動（執筆、政策、連合形成）のほとんどは、1つの文に集約される。人類は制御できない超知能を構築してはならないし、今のところ制御できない。残りはすべて logistics である。.

初めて耳にする人には、この要求が絶対的で、少し荒唐無稽に聞こえるのはわかります。それに近いことを述べた人々を見てください。現代AIを構築した研究者たちは、人類絶滅のリスクがパンデミックや核戦争と並ぶべきだと公の声明に名を連ねました。ジェフリー・ヒントン氏は、存命の誰よりもこの判断にふさわしい経歴を持ち、今世紀にAIが人類絶滅を引き起こす確率を10〜20パーセントとしています。2025年には数百人の科学者と公人が、超知能の禁止を明確に求める声明に署名しました。技術を最もよく理解する人々の間で、同じことを正直に語る割合が増えています。財団が特異なのは、業界の外から、給与に左右されずにそれを述べている点です。.

人類の物語を終わらせる10〜20パーセントの確率は、より速い製品サイクルのために受け入れるリスクではない。その確率で飛行機に乗る人はいない。自分の子供を乗せもしない。私たちは全員を乗せるよう求められている。その申し出に対する正しい答えはノーだ。それは公然と引く一線であり、他の線を守ってきたように守るものであり、もしその日が来るなら、私たちが拒否したのが間違っていたと誰かが証明できるまでだ。.

ツールを構築せよ。病を治せ。狭いAIがすでに手渡してくれている良い未来を手にせよ。私たちを超越し、置き換えることを意図した自律的な知性こそが一線だ。それを守れ。.