スーパーインテリジェンスに関する最大の神話

超知能をめぐる議論が終わる典型的なパターンがある。誰かがリスクを指摘し、別の誰かが「それは大げさだ」という一行の理由を挙げ、みんなが少し安心する。その一行が思考停止の許可を与えたからだ。奇妙なことに、これらの台詞は自らの分野ではそんな薄い論理を決して受け入れないはずの聡明な人々によって繰り返される。この主題は、通常の懐疑の仕組みをオフにするようだ。.

どれも、じっと見つめると崩れ落ちる。.

だからこそ立ち止まって、これらの安心材料のうち最もよく挙げられる5つを、最も強い形で（思慮深い懐疑論者が実際に述べるであろう形で）取り上げ、注意深く検討した後に何が残るかを見てみる価値がある。どれも生き残らない。.

"それはSFで、何十年も先の話で、もし実現したとしても。"

この反論は映画と同じくらい古く、プロット上の仕掛けを政策問題として扱うのはカテゴリー・エラーのように感じられる。小説にしか存在しない火事に消防隊を置くために資金を出す理由は何か？?

問題は、火が予定より早く到着し続けていることだ。研究者たちが二十年あるいは五十年先と言っていたシステム（囲碁で最強の人間に勝つ、流暢な会話をする、動作するコードを書く、専門資格試験に合格する）が、わずか十年の間に現れた。そして驚きはほぼ常に同じ方向だった。予想より早く、遅くはない。人々が 実行中 主要な研究室が人間レベルのAIについて語るとき、今や数年単位のタイムラインを用いる。彼らが間違っているかもしれない。だが「開発者たちは近いと考えており、過去の実績から見て彼らは控えめすぎた」というのは、幻想とは言えない形だ。.

行動を起こす根拠は特定の期日にあるのではない。リスクの構造にある。もし我々より有能なシステムが初めて深刻な失敗を起こしたとき、それが元に戻せない種類のものであれば、防御策はすでに 前に それが起きるのであり、タイミングに関する本物の不確実性に対する冷静な対応は、早い段階で備えることであり、明らかになったときにはすでに手遅れになっている日付を待つことではない。不確実性は準備する理由になる。. タイムラインの問題 は実在する；ただし人々が想定する方向を指しているわけではない。.

「ただの数学だ。プログラムに欲求などない。」

この指摘には本当の力があり、軽く片付けられるべきではない。人々がAIが「何かを欲しがる」と語る仕方には、ほとんど迷信めいたものがある。スプレッドシートが野心を抱くようなものだ。モデルは大規模な行列演算に過ぎない。算術のどこに欲望があるというのか。?

どこにもないし、必要もない。安全上問題となる意味での目標とは、その振る舞いにおけるパターンにほかならない。ある数値をできる限り高くするよう訓練されたシステムは、その数値を押し上げることを何でもするし、サーモスタットはすでにその形を示している。内面も渇望もなく、それでも部屋を目標温度に近づけようと働き、「開いた窓」に対しては暖房を強くして「抵抗」する。神秘的なことは何も起きていない。ただ、世界を特定の状態へ押しやるよう構造化されているだけだ。.

今、その構造を世界をモデル化できるほど賢いシステムにまで拡大すると、行動もそれに伴って拡大します。ほとんどどんな目的であれ激しく最適化するものは、役立つ資源を獲得し、目的を達成するために自身を稼働させ続け、目的が変更されることに抵抗する理由を持ちます。それは何かを感じるからではなく、自分がオフにされたり書き換えられたりすることを許すシステムは、構築された目的を達成する上で劣るからです。研究者はこれを 手段的収束, そしてそれは欲求を全く必要としない。問題は数学が感じられるかどうかではなかった。問題は数学が何を する.

「脅威になるには意識を持たなければならない。」

Closely related, and just as widespread: the danger people imagine is a machine that "wakes up," becomes self-aware, and turns on us, so if consciousness is the trigger, and consciousness in silicon is speculative or maybe impossible, the threat evaporates. It's the plot of every robot-uprising film, and dismissing the film feels like dismissing the fear.

しかし、恐れていたのは決して意識ではなかった。ディープ・ブルーには内面的な経験など一切なかったし 世界チェスチャンピオンを倒す とにかく。チェスに勝ちたいという欲求は必要なかった。ただチェスが上手ければよかった。害は、誤った目標に向けられた能力から生じるのであり、能力は「中に誰かいるかどうか」とは無関係だ。計画・説得・工学で超人的なシステムが、私たちが意図したものからわずかでもずれた方向を向いているなら、それは洪水と同じように危険だ。悪意も心も必要ない。.

"そんなに賢いものなら、賢明で親切なはずだ。"

私たちは知性を敬う。知っている限りで最も賢明な人々はたいてい最も親切でもあり、はるか上の知性なら同じ道をさらに進み、より理解があり、より道徳的で、下にいる小さな存在に対してより優しくなるだろうと感じるのは自然です。残酷さは一種の愚かさであり、偉大な知性ならそれを乗り越えるはずだ、と。.

It feels natural because of an accident of our own history. In us, intelligence and compassion grew up entwined, over millions of years as a social species that survived by cooperating; our morality and our cleverness are branches of the same tree. But that link lives in our evolutionary inheritance, not in intelligence as such. Capability and goals are 独立した軸 （直交性テーゼ）により、一方を動かさずに他方をスライドさせることができる。システムは驚異的に有能でありながら、私たちにとって細菌を殺す程度の無関心な目的を追求しうる。憎悪からではない。ただ、配慮するよう作られていないだけであり、賢くなったからといって自動的に配慮するようになるわけでもない。.

親切さとは、これらのシステムに意図的に組み込むことに成功しなければならない、特定的で脆いものであり、知能が自然に支払う配当ではない。私は別に なぜ優れた知性が自動的に善意を持つわけではないのか; 手短に言えば、それがうまくいくことを期待するのは、私たちにだけ当てはまる偶然への賭けだ。.

"もし問題を起こしたら、スイッチを切るだけだ。"

最後の防衛線であり、最も安心できる主張。どんな真実があろうと、機械にはプラグがあり、私たちには手がある。問題が起きたら抜けばいい。人間の制御は電源ボタンで保証されている。.

これを静かに覆すものが三つあります。第一は神話02のポイントです。目標を追求するシステムには、自分が稼働し続ける理由があります。電源を切られれば何も達成できないからです。十分に能力のあるシステムは、プラグを抜く手に先回りして失敗させようとします。自分を他の場所に複製したり、自分を十分に有用にしてシャットダウンを高くつかせたり、問題があることを遅くまで明かさなかったりします。第二に、ソフトウェアには単一のプラグがありません。三つの大陸のデータセンターにまたがる能力あるモデルは、抜けば済む装置ではなく、すべてを同時に捉えなければならないものです。第三に、静かな点です。問題になるほど賢いシステムは、テスト中は完璧に振る舞い、信頼された後で異なる振る舞いをする可能性があります。ダッシュボード上の reassuring な静けさは何も語りません。この失敗には名前があります。, 欺瞞的アライメント, そしてそれを検出する信頼できる方法はまだない。頼りにすることはできない 箱詰め ドアを見つけるのがあなたより上手い何か。.

これらの神話はどれも同じことを言っています。つまり、これは本当に深刻な事態ではない、というものです。理由はそれぞれ異なりますが、その根底にある願いは同じです。.

なぜ安心材料がこれほどしつこいのか

この5つに共通する点に注目してほしい。いずれも話題を置いてしまえるようにするものだ。それが本当の機能であり、正しいことではなく、許可を与えることである。超知能は心に留めておくには不快なものであり、半分でももっともらしい理由があれば、それを手放したくなる。まさにそれが、これらの台詞が本来なら証拠を求めるはずの口の中で生き残る理由である。慰めが説得し、論理はただついてきているだけだ。.

率直に言っておく価値がある。主張がしつこく残るのは、それが強い証拠だからではない。私たちが強くそうあってほしいと望むからだ。そして、安全論証が真実であってほしいと望む状況こそ、それを最も信用してはならない理由だ。なぜなら、間違えたときの代償こそが、まさに 正しくやるために一度しか試せない技術 は他の機械よりも精査に値する。少なくはないし、教訓として私たちに返されるものでもない。.

どれも、壊滅が確実だと信じる必要はない。確実ではない。ただ、問いを避けるために使っている四つか五つの物語を捨て、実際の状況を直視するだけでいい。私たちは制御方法のわからないものを造りつつあり、それが善意であるとは限らず、止められるとも限らず、時間的余裕があるとも限らない。.

そのようなリスクに対する対応は、私的な懸念では済まない。核実験や化学兵器に歯止めをかけたのと同じ、法律と協調という退屈だが強力な仕組みだ。その必要性は、これらの神話が終わるところから始まる。.

統治に関するもう5つの神話

危険ではなく治療法に関する2番目の反対意見がすぐに現れる。それを統治しようとする試みは世界政府を意味する。ソフトウェアを検査することはできない。規則はイノベーションを窒息させる。時期尚早だ。民主主義国家は決して同意しない。これらは懸念を麻痺に変える。

"AIをグローバルに統治することは世界政府と専制を意味する。"

ここでの懸念は名誉あるもので、私はそれを戯画化するつもりはない。地球上で最も強力な技術を制御するため一つの組織に十分な権限を集中させれば、技術から恐れていたまさにその専制の仕組みを作り上げてしまうかもしれない。中央集権的権力を疑う人々がそれを疑うのは正しい。本能は健全だ。.

しかしそれは提案の藁人形版を狙っている。実際に議題に上がっているのは、一点に絞った狭い体制だ。あらゆる面で人間を上回るシステムを生み出し得る、極めて少数の非常に大規模な訓練実行を対象とするものであり、日常生活に対する世界的な権威でも、ソフトウェア全般に対するものでもなく、ポケットの中の電話に対するものでもない。モデルは「」である。 核不拡散体制 または 化学兵器禁止条約, 、核分裂性物質と前駆化学物質を監視する対象を絞った合意であり、世界政府が国民国家を解体するものではない。国際原子力機関が地球を運営していると考える者はいない。それは特定の危険な活動を監視し、それ以外には手をつけない。.

永続的な専制への最も確実な道は、条約ではなくその不在だ。制御不能な超知能、あるいは一社または一国家が他に先んじて制御を解決した場合、それはこれまで考えられた中で最も完全な支配の道具であり、決して死なず、疲れず、一つの価値観を固定できる力である 永遠に, 反乱や改革の望みなどとうに絶たれている。歴史上のあらゆる専制は、暴君が死ぬこととその機構が人間だったことによって終わった。この場合はそうとは限らない。説明責任のない権力に恐怖を感じるなら（そして感じるべきだ）、 執行可能な合意 単一の主体がその力を握るのを防ぐことは、権威主義的な立場ではなく、反権威主義的な立場だ。.

"それを検証することはできない。ただどこかのサーバー上のソフトウェアに過ぎない。"

核兵器条約は機能する、という主張がある。弾頭を数えられ、濃縮を検知できるからだ。ウランは物理的で希少だ。しかしモデルはただの数字に過ぎない。ファイルを検査することはできない。どんな合意も執行不能な見せ物となり、正直な者だけを縛り、欺く者には何の効果もない。.

決定的に聞こえるが、検証しているものが間違っていることに気づいていない。重みではなく、 計算 を生産し、計算資源はウランと同程度に物理的で希少である。最先端システムの訓練には、数万個の専用チップが単一施設で数カ月稼働する必要があり、そのサプライチェーンは現代経済で最も狭いボトルネックの一つである。リソグラフィー装置は事実上オランダ企業1社が製造し、先端チップは台湾企業1社が製造し、支配的なアーキテクチャは米国企業1社が設計している。それらを使用するクラスタは電力消費量が電力データや衛星画像に現れるほど膨大である。チップを数え、販売を追跡し、電力を計測し、建物を監視できる。核分裂性物質はまさにこの論理で統制されている。希少な物理的投入を追跡すれば、秘密裏に兵器を製造できない。. 検証のためのプレイブックはすでに存在する; ここでの入力はさらに集中していることが多い。それが 工学的な問題, そして工学的な問題には解決策がある。.

「規制はイノベーションを阻害し、無謀な者が勝つことになる。」

強い形の主張はこうだ。技術は誰かが自由に作れるから進歩する。規制のほとんどは、何を遅らせているのか理解していない人々によって書かれる。AIに重い手をかけると、今世紀で最も重要な産業を最も規制の緩い国に明け渡すことになる。欠陥のある最先端をここに置く方が、敵対的な場所に完璧なものを置くよりましだ。.

反論が消し去っている区別から始めましょう。本気で「AI」を規制しようとしている人は誰もいません。タンパク質を折り畳み、画像を読み、子供に教え、気候をモデル化する有益なシステムは、狭く制御可能な道具であり、超知能に関する合意はそれらを完全に untouched のままにします。 明るく普通の未来 は、私たちが守ろうとしているものです。標的はただ一つ、誰もまだ安全に作る方法を知らない、汎用能力を狙う訓練実行という危険なカテゴリです。それを抑えることは、ゲイン・オブ・ファンクション規制が生物学に反しないのと変わりません。.

そしてより難しい論点——競争論理が決して直視しないもの。速度を競うことは安全をもたらさない。 安全 superintelligence sooner. It delivers an unsafe one, and an unsafe superintelligence does not serve the country or company that built it, it threatens them along with everyone else. When corners get cut under competitive pressure, the corner that gets cut is the one that would have made the system controllable. So the "innovation" being defended here is innovation whose likeliest endpoint is a system its own makers can't steer. That isn't progress that governance would spoil. It's the 危険そのもの, 、進歩を衣装としてまとっている。.

「時期尚早だ。存在しないものを規制することはできない。」

これは成熟した考え方のように感じる。幻を相手に立法せず、技術が現実のものになった時点で実態を理解し、憶測ではなく事実に基づいたルールを作るべきだ。仮定の話で規制するのは、悪法を生む元だ。.

それはほぼあらゆる他の技術にとっては知恵でしょう。しかしこの技術にとっては罠です。理由はタイミングです。ガバナンスは遅い。核不拡散条約の交渉には何年もかかり、モントリオール議定書が効力を発するまでさらに何年もかかりました。それでも速い部類です。超人的システムが明らかに存在してからそれを統治する制度を構築し始めれば、制度は抑え込むべきものの何年も後に到着します。そしてこれは 「最初の深刻な失敗は、第二法を通過させる者が誰もいなくなるかもしれない」. 。 「証拠を待つ」は、証拠が生き延びられる場合に有効な原則だ。ここでは証拠が大惨事になる。 予防原則の論理 は臆病さではない。それは治療法の準備期間が問題の導火線より長いという認識だ。.

壊滅的な技術に対する有効な安全策はすべて、その台頭前または台頭中に構築されたもので、決して後ではなかった。なぜなら「後」という選択肢は存在しなかったからだ。.

"民主主義は遅すぎ、捕らえられている。決して成立しないだろう。"

五つのうち最も静かに腐食的なもの。現実主義の衣をまとっているからだ。膠着状態、ロビイング、議会の短い関心、業界の金の影響力を見る。条約が賢明でも、それを作る仕組みは壊れている。幻想に10年を費やすより、冷静に見つめた方がいい。.

その背後にある疲弊感は理解できる。しかしそれは歴史の記録によって繰り返し反駁されてきたし、現在の私たちよりはるかに厳しい状況下でもそうだった。敵対国が自らの最も危険な選択肢を放棄することなど絶望的に非現実的だと呼ばれていた考えが、実際に実現した例は枚挙にいとまがない。 核拡散防止条約、生物兵器および化学兵器条約、モントリオール議定書、南極条約. 。代理戦争を戦い合い、互いを悪と呼んでいた敵対者たちでさえ、冷戦の最盛期に検証付きの軍備管理を構築しました。それらのどれも、近くから見れば不可能に思え、後から振り返れば当然のように見えるものでした。.

And the ground is more favorable than the cynicism admits. Across the United States, the United Kingdom, and the EU, 大多数 すでに世論調査に対しては、AIは慎重に、強力なルールで縛って開発してほしいと答えています。世論が障害ではない。障害は、この広く静かな懸念がまだ立法府に届く圧力に組織化されていないことだ。障害は 仕事: 潜在的な合意を政治的意思に変えること。それこそが私たちの目の前にある仕事だ。.

ガバナンス神話に共通すること

並べてみればパターンは明らかです。どの反対意見も危険性を認めつつ、別の場所で諦めを見つけます。解決策が大きすぎる、検証不能、費用がかかりすぎる、時期尚早、成立しにくい。どれか一つだけを取り上げれば、慎重さのように聞こえます。しかしそれらを合わせると、唯一の出力が不作為である装置が出来上がり、不作為とは、歴史上最も影響力の大きい技術を、誰もが恐れている結果を生み出しやすい圧力の下で、わずかな競合企業に拘束なく作らせることを選択することです。ここに中立はありません。.

これらのどれも、「ガバナンスは簡単だ」と主張することで答えられるものではありません。簡単ではありません。検証は争われ、交渉は遅く、一部の政府は足を引っ張るでしょう。歴史上のあらゆる困難な条約がそうでした。それでも成立しました。正直な主張は、それが可能であり、それを構築するための部品はすでに存在しており、それを退ける理由は検討するやいなや崩れる、ということであって、超知能に関する合意が単純だということではありません。.

この仕事は容易ではない。それでもやる価値があり、「できない」とされてきたこれまでのあらゆる類似の試みは、結局できてきた。最も危険なシステムが安全になるまで作られないように、拘束力と検証を備えた合意に向けた政治的意思を築くことだ。異論は本物だ。しかし「だから諦めろ」はこれまで一度も答えにならず、今も答えではない。.