彼らはラボに名前をつけた
超知能

Safe Superintelligence Inc.の公式ホームページでは、製品ラインはただ一つだ。「我々は世界初の一直線のSSI研究所を立ち上げ、唯一の目標と唯一の製品として、安全な超知能を目指す」とある。超知能はここではリスクカテゴリではなく、提供される成果物として扱われている。.¹

2025年6月下旬、マーク・ザッカーバーグはMeta Superintelligence Labsを発表し、基盤モデル、製品チーム、FAIRを一つの組織に統合した。その名称は同じ目的地を明示している。報道によればScale AIのアレクサンドル・ワンと元GitHub CEOのナット・フリードマンが責任者に就き、Metaが同スタートアップの買収に失敗した後、Safe Superintelligenceからダニエル・グロスが加わった。.²

現在、人工知能分野で最も資金を集めている取り組みの二つが、ほぼすべてのタスクで人間を上回るシステムを指す言葉を冠している。その言葉はかつて境界線を示していた。今はそのロードマップを示している。.

製品カテゴリとしての終着点

企業名は圧縮された主張として機能する。部門を「広告」と呼べば、そこで何が売られているか誰もがわかる。「超知能研究所」と呼べば、公衆は最終目標を製品カテゴリーとして扱うよう誘導される。電話やクラウドストレージと同じようにだ。難しい道徳的問い（これは存在すべきか？）は、製品に関する問い（どのバージョンを最初に出すか？）にすり替わってしまう。.

Safe Superintelligenceはさらに一歩進んでいる。形容詞「safe」を、破局を指す名詞に付けた。この表現は、本来証明が果たすべき役割を果たしている。投資家や採用候補者、記者に対して、危険は運用者より賢い心を制御する方法を示す前に、事前に解決済みとして処理されたと伝えている。Foundationの見解は率直だ：: 人類は決して超知能を構築してはならない. 安全なものを約束するブランドは、反対の主張をロゴとして売っている。

Metaの版は形容詞を落とし、野心だけを残します。「Superintelligence Labs」は親切さの約束を一切せず、能力の頂点への登攀を明言します。公開企業の中では、その名称は市場や人材に対して、資本と名声がどこに流れるかを示すシグナルでもあります。ブランディングはレースの進め方の一部であり、上塗りの塗料ではありません。.

「安全」という言葉が買う安心

技術的なことに取り組む人々 アライメント 人間の意図通りに動くシステムを望むことは悪くありません。問題は手順の順序です。最も強力な心をまず作り、途中で安全にすることを約束するやり方は、文明を終わらせ得る技術に対してこれまで有効だった唯一の順序を逆転させています。我々は「Safe Strategic Warhead Inc.」を設立して、誰も巻き戻せない威力を目指して競争するようなことはしません。ある種の兵器を禁止し、検証し、残された研究を禁止に従属させます。.

超知能が戦争の脅威より深刻なのは、統治上最も重要な性質においてである。爆弾は置いた場所に留まるが、自己改善し、意図を隠し、ネットワークを通じて行動できるシステムはそうではない。こうしたシステムが拡大しても人間と相容れる目標を保ち続けることを保証する実証済みの方法は、今も存在しない。このギャップは科学的なものであり、「安全な超知能」という名称は、科学がまだ裏付けていない修辞に過ぎない。.³

安全性の主張が確かなら、正直な名前はそれでも奇妙だろう。私たちは通常、絶滅レベルの失敗モードを製品名にしない。制御され、境界づけられた道具をブランド化する。二つの真剣な組織が失敗モードを看板にしたという事実は、業界内部でOverton windowがどれだけ動いたかを示している。.

必然性は構築者たちが必要とする物語だ

すべてのレースには「止まることは素朴だ」という物語が必要です。標準的な版は「誰かが作るのだから、大人としてやるべきことは友好的な旗の下で先に作ることだ」と語ります。研究室を終着点の名で呼ぶことは、その物語を強化します。禁止をラダイトではなく軍備管理のように聞こえなくさせ、 その行為を禁じる条約 すでにロードマップにある製品ラインへの攻撃のように聞こえます。.

「この物語は、自らの株式、評判、国家プロジェクトがレースへの参加に依存する者にとって都合が良い。他の存亡に関わる技術がどのように扱われてきたかを説明するものとしては貧弱だ。化学兵器、対人地雷、人間のクローン研究はいずれも「誰かがやるだろう」という主張に直面した。それでも重要な国々は禁止、査察、罰則を定めた。世界が標準化しないことを決めた能力のクラスと比較せよ。消費者向けアプリのカテゴリと比較するのではない。」.

これらの組織の研究者全員が悪い結果を望んでいる必要はありません。ほとんどの人は名声や発見、そして「自分たちは慎重だった」という物語を求めています。あとはインセンティブが働きます。超知能を名に冠したラボは、超知能への進捗で評価・資金・人員を集めます。安全は一部門になり、目的地は建物に残り続けます。.

そんな名前にどう対処するか

ブランドが売り込んでいる前提を拒否せよ。超知能は人類が越えるべきではない一線である。超知能は人間によって制御できない。正しい制度的対応は、法の下での防止であり、レースの再ブランドではない。.

企業が「superintelligence」をドアに掲げたら、それを意図の宣言として読んでください。その宣言を欠けた安全論証に照らしてください。制御不能な心をめぐる民間のレースがなぜまだ合法なのか、議員に問いかけてください。デモ動画しか見ていない人たちに、平易なバージョンを共有してください。彼らはこの先の行方を隠していません。.