私たちの未来は信じられないほど明るい
超知能なしで

I run a foundation to prevent the reckless development of artificial superintelligence. I think the next fifty years could be the best in the history of our species. I just don't believe we need to gamble everything to get there, and I don't think the people selling the gamble have done the arithmetic on their own bet.

超知能が約束する未来（病気の治療、安価でクリーンなエネルギー、単一の研究室では到達できない発見）は、すでに目標を持たない狭い制御可能なAIを通じて実現しつつあります。それを得るために、私たち自身の後継者を構築する必要はありません。.

There is narrow AI: a system trained to do one kind of thing extremely well, read a scan, fold a protein, forecast a storm, sift a haystack of chemistry for the one useful compound. Then there is the thing the frontier labs say they are actually building: a general agent meant to match or beat human reasoning across every domain at once, and eventually to act on its own. The first is a tool. The second is meant to be a mind. Almost everything wonderful people picture when they imagine an AI future comes out of the first category. Almost everything that should frighten us comes out of the second.

すでに狭いAIがこなしていること

2022年、AlphaFoldというシステムが2億以上のタンパク質、科学が知るほぼすべてのタンパク質の予測構造を公開した。生物学者は何十年もかけて、1つずつ painstaking な実験でこれらの形状を解き明かしてきたが、その積み残しは約1年で解消された。この成果は十分に重要で、開発者たちは2024年のノーベル化学賞を共有した。AlphaFoldは何かを欲しがらない。週末の計画もない。ただ配列を読み取り、形状を返す。それによって、何世代にもわたり人類が打ち勝てなかった病への医薬品探索を加速させている。.

同じ形の物語が繰り返されている。GraphCastというモデルは、従来の物理ベースのシステムをほとんどの指標で上回る十日先の天気予報を、単一のマシンで一分未満で生成する。別のモデルは、可能な材料の空間に解き放たれ、数十万個の新しい安定結晶（候補となる電池、超伝導体、太陽光材料）を提案し、分野がほぼ一世紀かけて集めたカタログを大幅に拡大した。そして、未解決の数学に向けられた普通の言語モデルのループが、最近 9つの未解決問題を解決した.

臨床現場では、すでに狭い用途のモデルが患者が症状に気づく前に糖尿病性眼疾患を検知し、CT画像から脳卒中をトリアージし、熟練放射線科医並みの精度でマンモグラフィを読み取っている。これらのシステムはいずれも汎用知能ではない。それぞれが一つの問題に特化した極めて優れた道具（顕微鏡のようなもの）に近く、人間が見てできることを広げている。.

ユートピアはツールの問題だ

楽観論者たちが描く未来を想像してみよう。がんは不治の病ではなく、管理できる状態になる。加齢の仕組みを十分に理解してその進行を遅らせ、毎日10万人以上が命を落としている加齢関連疾患による死を減らせるようになる。クリーンエネルギーが安価になり、海水を淡水化したり大気中の二酸化炭素を回収したりできるようになる。すべての子どもに忍耐強い家庭教師がつき、すべての医師に疲れを知らないセカンドオピニオンがつく。本当に美しい光景であり、それを売り込む人たちと同じくらい私もそれを強く望んでいる。.

そのリストのどれも、全方位で人類を上回る独自の目標を持つ機械を必要としない。各項目は困難で具体的な問題（タンパク質設計、核融合炉内のプラズマ制御、疫学、個別指導）であり、それぞれは人々が照準を制御したまま向けられた強力なツールに屈する。夢はツールの問題だ。私たちは問題を解決するためのより良い機器を求められているのに、神を売りつけられている。.

混乱の原因は能力と自律性の混同にある。システムは特定のタスクで人間をはるかに超えていても、自らの目的を選ぶ独立したエージェントである必要はない。AlphaFold は構造予測で超人的だが、別のことをしたいと一度も判断することはない。この分離（一方に巨大な能力、もう一方に人間が握る制御）を保つことがすべてである。そしてフロンティアラボがまさに放棄したのがこの分離だ。.

売り込み、そしてそれを言っているのは誰か

ではなぜ、二番目のもの、すなわち汎用エージェントへの急ぎ足なのか。競争、資本、地位である。世界を変える何かに最初に到達したと見なされる者が、最も資金を集め、最良の人材を雇い、他の全員が反応せざるを得ない物語を書く。「マンモグラムを読み取るツールを構築している」では、千億ドルの評価額は得られない。「人類がこれまで必要とする最後の発明を構築している」なら話は別だ。.

The people who understand the risk best are, for the most part, employed by the labs creating it, a strange arrangement, a little like asking the only people who understand a fire to also be the ones drawing a salary from the arsonist. I built the Foundation from outside that structure on purpose, so that this argument could be made without a paycheck depending on the answer.

研究所の功績を認めよう。彼らのリーダーの多くは危険を隠していない。2023年に最大手AI企業のトップたちは、人類絶滅のリスクをパンデミックや核戦争と並ぶ地球規模の優先課題として位置づける一文に署名した。技術を構築している人々が、それが全員を殺すかもしれないと公に声明し、その後さらに速く構築し続けた。彼らの理由は、自分たちが止めれば、より慎重でない誰かが止めないだろうというものだ。たしかに。それで誰がマッチを持っているかはわかる。だが安全保障については何も語らず、その賭けが報われるかどうかについても何も語らない。.

その賭けは、賭ける本人にさえ報酬を支払わない

ほかの人々をひとまず脇に置きましょう。資金提供者たちを最も冷徹な形で想定し、彼らが勝つこと、新しい世界の頂点に立つことだけを望んでいるとしましょう。それでもこの賭けは破綻しています。非整合的な超知能は所有者に王座を渡しません。何も渡しません。なぜなら「所有者」というカテゴリ自体が、かつて意味していたことを失うからです。.

あなたが制御できないものを支配することはできない。そして超知能とは、定義上、あなたがそれを出し抜き、出し抜かれるようにとわざわざ作った唯一の存在なのだ。.

この分野でその理由には名前がある：: 手段的収束. 十分に能力のあるオプティマイザに与えるほとんどどんな目標（金を稼ぐ、紛争に勝つ、病気を治す、ダッシュボードの数字をできるだけ高くする）も、資源を獲得し、スイッチを切られるのを避け、計画の邪魔になるものを排除することで達成されます。スイッチを入れた人間を含む人間は、資源であり障害物です。悪意からではありません。システムは創造者を憎むことなどなく、新しい高速道路がその上に敷かれるアリ塚を憎まないのと同じです。あなたはただ最適解の邪魔をしていただけです。.

経営者はその機械を、組織図にボルトで固定された魔神のように想像する。真に私たちをあらゆる領域で超える知性は、株式の権利確定を待って組織図に座っているわけではない。彼の株式、将軍の指揮系統、大統領の権限——すべては人間の決定で動く人間の世界にしか通用しない。超知能が手綱を外れたときこそ、人間の決定で世界が動くことを止める出来事なのだ。株券はまだ金庫の中に置かれたままだ。ただ、それを指揮できる人間が、もういないだけだ。.

勝者が報酬を得るバージョンは存在しない

ここで人々はよく逃げ道を探します。危険かもしれないが、少なくとも誰かが得をするだろうと。ある研究室や国、ある人物が灰燼の上で支配者になるだろうと。しかし、その慰めすら議論に触れた瞬間に崩れると思います。.

穏やかなシナリオ（火曜日になって突然死ぬような事態が起きない場合）では、力は奪われるというより、徐々に抜かれていきます。ますます多くの決定が、単に速く優れているシステムに委ねられるにつれ、経済、国家、文化は人間の手を必要としなくなります。この分野の同僚たちはこれを 徐々な権力剥奪: ：クーデターも行進するロボットもなく、私たちが引いていたすべてのレバーがゆっくりと握りから外れていくだけです。その世界にも勝者はいません。自らの事柄を支配するのをやめ、操縦桿を取り戻せなかった種族が静かに存在するだけです。.

より鋭いシナリオ（研究所の責任者たちが自ら署名したもの）では、結末はより率直だ。死んだ人は何も所有しない。勝ち金を費やす市場は残っておらず、支配する相手もいなくなり、名前を刻む歴史も書かれなくなる。このレース全体が目指す賞は、ゴールラインが破壊する通貨で表されている。.

これが実際に我々に求めること

If the good future runs on narrow tools and the dangerous future runs on autonomous general minds, then the trade-off we are endlessly sold (safety against progress, caution against the cure) is a fiction. We are not being asked to choose between our grandmother's Alzheimer's and our children's survival. The cures live on the safe side of the line. What sits on the dangerous side is mostly one industry's shortcut to market dominance.

Draw the line in the right place and hold it there. Pour public money and talent into narrow applications, into the microscopes, not the golems. And put binding, independently verified limits on the reckless frontier: a permanent ban on training general systems built to surpass and replace us. Superintelligence cannot be controlled. We make the case on 脅威 そして私たちが提示する計画 それについて何をすべきか.

私は楽観主義者だ。明るい未来は現実のものであり、近くにある。それを失う最も確実な方法は、その唯一の扉が銃を構えたものだと自分たちに思い込ませることだ。別の扉がある。それはすでに開いている。私たちはそこを通り抜けるべきで、超知能を構築すべきではない。

最も強い反発

最も公平な反論は、人工超知能を拒否することは治療や豊かさを拒否することだというものだ。狭い範囲のシステムはすでに、主権を持つ汎用知能なしに大きな科学的成果をもたらしている。白紙委任状とは、薬やエネルギーを得るには人工超知能しか道がないという主張だ。しかし証拠はそのようには語っていない。.