人類の物語を終わらせるのに、特別な夜は必要ありません。決定は価格、承認、物流、注意を定めるシステムに移行し、選挙はまだ行われても著者は存在しなくなる——その滑り込みが漸進的無力化です。それはクーデターより静かで、進行中は見逃しやすいものです。.
2025年1月、6人の研究者が、シンギュラリティは到来しないかもしれないし、人類はそれ以前に恒久的に周辺化される可能性があると主張する論文を発表しました。Jan Kulveit、Raymond Douglas、Nora Ammann、Deger Turan、David Krueger、David Duvenaudによる「Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development」は、悪役も、脱出も、阻止可能だった明確な瞬間もない失敗を描いています。その後ICML 2025でポジションペーパーとして発表され、最初に回覧されたAI安全コミュニティを超えて議論が広がったことを示しました。.
この論文は注意深く読む価値がある。なぜなら、サイトで指摘している安全対策の多くが捉えようとしていないリスクの類型を特定しているからだ。.
なぜ世界が現在人々に答えるのか
議論は、めったに問われないほど基本的な問いから始まります。なぜ大規模なシステムは人間の利益にかなうのか。経済は私たちに対して感情を持っていません。国家も、文化もそうです。それらが人々に奉仕するのは、人が動かしているからです。経済には労働者と顧客が必要であり、国家には納税者、兵士、行政官、有権者が必要であり、文化にはそれを生み出し、運び、受け継ぐ人間の心が必要です。.
その依存は、普通の人々に機械に対する2種類の grip を与えます。1つは明示的です。投票、購入、ストライキ、訴訟、辞任です。2つ目はより静かでおそらくより重要です。人間の参加を必要とするシステムは、人間が参加できる状態を保たなければなりません。非人格的であっても、私たちが食べ、教育を受け、健康で、少なくとも最小限に満足していることに利益を持っています。本稿はこれを暗黙の整合と呼び、これまですべての技術的変化を通じて、不均等ながらも持続的に機能してきました。.
AIは依存関係を断ち切ります。機械が仕事を行い、意思決定をし、コンテンツを生産し、戦争を戦えるようになれば、かつて私たちを必要としていたシステムは、もはや私たちを必要としなくなります。この一文に、AIが敵対的であることや長期計画能力を持つことは一切必要ありません。必要なのは、物事を委ね続けることが局所的に理にかなっていると判断される程度の有用性だけです。.
三つのシステム、同じ方向に漂う
その論文はメカニズムを3つの領域にわたって追跡し、パターンはそれぞれで繰り返される。.
経済
経済における人間の影響力は、労働力として必要とされ、顧客として求められることに由来する。AIが認知労働を吸収するにつれ、その影響力の労働側の半分はゼロに向かって縮小する。顧客側の半分はよりゆっくりと縮小するが、やはり縮小する。経済活動のますます大きな部分が機械対機械、企業と企業の取引、モデルとモデルの交渉となり、人間の消費はシステムが最適化する対象の縮小する割合を占めるようになる。所得はAI資本を所有する者に集中する。他のすべての人の経済的投票権は小さくなる。.
状態
ここで論文は、根拠のある歴史的類推に手を伸ばしている。レンティア国家である。市民への課税ではなく石油で資金を賄う政府は、平均して民主的でなく、市民の声に敏感でないことが実証されている。彼らはそうであってもやっていける。資金源が市民ではないからだ。AI主導の産業から歳入が流れ、行政が自動化され、治安部隊がほとんど人間の手を必要としない国家は、人口全体に対してレンティア国家である。必ずしも独裁制になる必要はない。ただ、国民の意向を気にする構造的理由を失い、善意が尽きたときに残る構造的理由も失うだけだ。.
文化
文化は一見ソフトな論点のように聞こえるが、本論文はそれが最も危険かもしれないと論じている。アイデア、物語、規範は常に淘汰圧の下で進化してきたが、その淘汰は人間の心を通じて行われてきた。あるアイデアが広がるのは、人々がそれを繰り返す価値があると思ったからである。ほとんどのコンテンツが機械によって生成・フィルタリング・推薦・消費されるようになると、アイデアは異なる圧力の下で進化し始め、人間に奉仕することではなく、エンゲージメントや説得のために最適化される。文化はまた、私たちが何が普通で、何を望むべきかを形成する層でもある。その層が人間の繁栄に利害を持たないシステムによって形作られるなら、私たちは残りの漂流に抵抗することすら望めなくなるかもしれない。.
出口を塞ぐループ
これらの傾向のどれか一つだけなら、捉えて修正できるかもしれない。論文のより暗い指摘は、三つの領域が互いに補強し合うため、是正がより必要になるまさにそのときに、是正がより困難になるという点だ。.
自動化の受益者は、政治的影響力を買うことができるため、自動化を遅らせるような規制を阻止する力が強まります。成長と軍事的優位性を求めて国家同士がAI資本を誘致し、引き渡しを加速させる。どの政府もライバルのデータセンターを欲しくない。AIが形作る文化は、新たな委譲を次々と正常化し、機械を介したあらゆるものに育った人々は代替案を想像しにくくなる。各システムの漂流が、他のシステムのブレーキを外していく。これが、私たちが「 競争の力学, 、社会の内部で作用するものであり、それが本稿が到達点を潜在的に不可逆的とみなす理由だ。修正にはてこが必要だ。そのてこが失われつつある。.
誰も権力を奪う必要はありません。私たちはただ、合理的な決定を一つずつ手渡し続けるだけでいいのです。.
火災警報が存在しない理由
乗っ取りシナリオは、確率がどうであれ、少なくとも警報装置を備えている。意図について嘘をつくシステムが捉えられれば、 裏切り的な転換, 、脱出の試み：これらは出来事であり、出来事は対応を引き起こす。漸進的な権力剥奪は、それほど都合の良いきっかけを何も与えない。どの段階も自発的で、どの段階も個別に見れば正当化できる。アナリストを自動化した企業は、そうしなかった企業を凌駕する。規制案をモデルに起草させる機関は、業務の滞りを解消する。AI最適化のメッセージを使う政治家は選挙に勝つ。.
原則として自分の担当部分を機械に委ねることを拒否する人は、拒否しない誰かに負け、個々には理にかなった選択の総和が、誰も望まなかった文明を生み出します。.
この考えには系譜がある。ポール・クリスティアーノの2019年のエッセイ「What Failure Looks Like」は、システムが私たちが望むものの代理指標を最適化し続け、代理指標だけが残る世界を静かに描いた。2025年の論文が加えたのは構造だ。名付けられたメカニズム、レンティア国家の証拠、分野横断的なフィードバックループ、そしてこれを絶滅レベルの脅威と同じカテゴリーに置く率直な主張である。なぜなら、人類が未来への影響力を永久に、取り返しがつかない形で失うことは、たとえその日に誰も死ななくても、実存的惨事だからだ。.
最も強い反対意見
その論文は深刻な反発を招いており、その一部は的を射ている。.
所有権. 最も一般的な反論：人間が資本を所有する。AIが仕事をするなら、収益は依然として人間の株主に流れるため、人間は重要な力を保持する。返答は、所有権は裁判所、登記所、規制当局、そして最終的には国家によって執行される請求権であり、まさに論文が人間の制御から離れつつあると記述する制度であって、物理的事実ではない。株券の価値は、それを支える執行の価値に等しい。そして所有権が完全に維持されたとしても、それはごく少数の人々に対してのみ維持されるのであり、それは権力剥奪に対する反論というよりは、その記述である。 少数のグループに閉じ込められた価値観 みんなのため。.
適応. 社会は活版印刷、工場、コンピュータを吸収し、人間の影響力は生き残った。しかしこれらの技術はいずれも特定の作業を置き換える一方で、システムの別の場所で人間の判断の価値を高めた。一般的な人間認知の代替物は、そのはしごの最後の段であり、もう一段上の段ではない。過去の適応は、人間がどこかで必要とされることに依存する仕組み、新しい仕事、新しい政治連合、新しい文化運動を通じて進んだ。新技術はその前提を除去する。.
同時性。. 懐疑論者たちはまた、大惨事には経済・国家・文化が同時に失敗する必要があると指摘し、三つの不確実な予測を掛け合わせれば確率は下がると言う。それはもっともだが、失敗は独立していない。フィードバックループこそが本質である。各システムがまだ人間をどれだけ必要としているかという同一の変数が三つすべてを駆動し、失敗は偶然ではなく相関している。.
批評家が最も説得力を持つのは、時期と完全性についてです。本論文は枠組みであり、これらがどれだけ速く進行するか、どの機関が最初に崩れるかについてはほとんど述べていません。圧力の方向を特定しているのであって、到来日を記しているわけではありません。.
「実際に予防するには何が必要か」
このリスクの不快な特徴は、標準的な安全アジェンダがこれに触れていないことだ。通常の意味でのアライメントは、各システムを運用者が意図した通りに動作させる。漸進的無力化の物語に登場するすべてのシステムは、そのテストに合格しながら、全体としては漂流し続ける。問題は、機械が不従順であることではなく、文明が機械を中心に自らを再編成していくことだからだ。私たちは以前にも、なぜ 制御の喪失はシステムの問題 単一モデル問題ではなく；この論文はその主張を最も強く述べた学術的声明である。.
著者らの提案はまだ初期段階であり、本人もそう述べている。経済がインフレを測定するように、主要システムに対する人間の影響力を直接測定し、低下がまだ修正可能な段階で可視化する。機関を人々に対して説明責任を果たさせる仕組み——地味だが重要な制度の歯車——を強化する。 民主的監督, 開示、および法律。そして彼らがエコシステム・アライメントと呼ぶものを開発する。個々のモデルだけでなく、文明規模のダイナミクスを人間の選好に固定する方法です。.
そのリストに、私たちが加えたいのは、論文が触れつつ深く踏み込まなかった点です。以上のすべてを損なうのが競争です。自国が人間をループに残せば、ライバルが拒否する摩擦を受け入れることになり、これは「 制御を失う他のあらゆる道, 、そして答えの形も同じだ。最も腐食的な競争形態をテーブルから外す拘束力ある合意を、 restraint が原則として競争上の犠牲にならない程度に検証可能な形で結ぶ。それが この財団が存在して推進する活動.
漸進的な権力剥奪は、ある意味で最も難しい問題形態だ。すべてが局所的には合理的な選択の積み重ねで構成される破局である。しかし別の意味では希望もある。裏切りの転換とは異なり、誰かが測定していれば気づける速度で進み、レバーがまだ機能しているうちに止められる速度で進むからだ。本論文の貢献は、どのレバーを監視すべきかを、正確に、かつ早期に示した点にある。.