超知能リスク

のリスク
超知能

危険性の3つのカテゴリ、2つの専門家による確率推定、そして公式の世界的なカウントダウン。.

リスクの3つのカテゴリ

不整合

誤った目標に向かって最適化するAI。悪意はないが、壊滅的な結果をもたらす。十分に能力のあるシステムは、利用可能なあらゆる手段で目的を追求し、私たちが意図も予測もしなかった方法を含む。.

誤用

悪意ある行為者による超人的知能の兵器化：新規生物兵器、自律型サイバー攻撃、文明規模の偽情報、政府や重要インフラへの強制。.

権力の集中

単一の企業、政府、あるいはAIが、重要なグローバルシステムを unchecked に支配すること。善意の主体であっても、この力は人間の自由と自己決定に対する実存的脅威となる。.

設計者たちの推定

10-20%

今世紀中にAIが人類を絶滅させる確率

ジェフリー・ヒントン 2024年ノーベル物理学賞 · 元副社長、Google · 2023

10-25%

AIによる文明規模の破局確率

ダリオ・アモデイ CEO、Anthropic

公式のカウントダウン

89 秒

真夜中へ、終末時計

時計の78年の歴史で最も近い時刻。核の脅威に加え、AIリスクを明示的に取り込んだ。.

Bulletin of Atomic Scientists · 2025年1月

「この技術が間違った方向に行けば、かなりひどいことになると思います。私たちはそれについて声を上げたい。政府と協力してそれを防ぎたいのです。」

サム・アルトマン
CEO, OpenAI
US上院 · 2023

政策とガバナンス

ガバナンス
ギャップ

超知能はゴールのないレースで構築されています。それを止める、または減速させる拘束力のある国際的ルールは存在しません。.

1,300+

OECD (2025)によって文書化されたグローバルAI政策。vast majorityは拘束力のないガイドラインと自主的な枠組みである。 いずれも強制力のある制限を課さない on the development of superintelligent AI systems.

支出のミスマッチ

世界の産業AI資本支出（2026年推定） $527 Billion

EU AI法の総執行予算 ~10億ドル

527× 統治より建設の方が多い。.

UKのAIセキュリティ研究所（旧AI安全研究所）は二年間で一億ポンドを受け取ったが、これは世界最大級のAIラボが一週間で費やす額にも満たない。. (Chatham House, 2026)

現行システムの重大な欠陥

✗ 超知能開発をカバーする拘束力のあるグローバル条約や合意はない

✗ 欧州評議会のAIに関する枠組み条約（初の拘束力のある条約）は、主要なAI大国である中国を除外しています

✗ US政権のAI行動計画は、産業を拘束力のある連邦規制から積極的に保護している

✗ AIラボが安全基準を遵守しているかを検査または検証する独立した国際メカニズムは存在しない

✗ ブリュッセルにおける業界ロビー活動だけで、2025年には1億7500万ドルに達し（4年間で50%増）、規制能力を上回っています

"我々は人類史上最も変革的で潜在的に危険な技術の一つを構築しているのに、ポーズボタンを押すことができないようだ。"

ヨシュア・ベンジオ
チューリング賞受賞者
Mila · 2023

歴史的先例

私たちはやった
これ以前

国際法はこれまでにも文明を終わらせる脅威を制御してきました。前例は実在し、機能したのです。.

成功した三つの前例

1968

核拡散防止条約

191カ国が署名した。1998年以降、新たな核保有国は現れていない。核による壊滅は55年以上にわたり防がれており、まだ続いている。IAEAによる現地査察の拘束力ある実施で。.

1987

モントリオール議定書 on Ozone Depletion

オゾン層破壊物質を禁止した。オゾン層は今、回復しつつある。国連が史上最も成功した国際環境協定と評価する取り組み。.

1993

化学兵器禁止条約

193の加盟国。申告された化学兵器備蓄の99%以上が破壊された。世界中の現地査察を伴う拘束力ある執行はOPCWによる。.

科学的コンセンサス

500+

AI研究者たちは2023年の「AIリスクに関する声明」に署名し、絶滅リスクを「パンデミックや核戦争と並ぶ」世界的な優先事項であると宣言した。署名者にはHinton、Bengio、Altman、そして500人以上の研究者が含まれる。.

Center for AI Safety · 2023

50+

各国はAI安全リスクに対処する具体的な措置を講じてきましたが、拘束力のある国際協調は依然として存在していません。.

2025年時点で

「AIによる実存的脅威に関しては我々は皆同じ船に乗っている。だからこそ、それを止めようと協力できるはずだ。」

ジェフリー・ヒントン
ノーベル賞受賞者
MIT Technology Review · 2023

解決策

条約を
人類を救う

前例となる枠組みは存在します。欠けているのは政治的意思です。超知能に関する拘束力ある国際合意に必要な内容を以下に示します。.

AI条約の5つの柱

01

コンピュート監視

フロンティアAIの訓練に必要なハードウェアに対する国際監視。定められた閾値を超える訓練実行は、IAEA核監視をモデルとした独立機関による強制審査の対象となる。.

02

開発の閾値

世界規模で適用される合意された能力制限。定義されたベンチマークを超えるAIシステムは、さらなるスケーリングや展開の前に、強制的な独立安全認証を受けなければなりません。.

03

検証メカニズム

国際的な独立検査官（IAEAの核査察官に相当）がAIラボの現地監査を行う。アクセスは一方的に拒否できない。遵守は要請ではなく、強制される。.

04

危機対応プロトコル

ミスアライメントや危険な能力の出現が検知された場合に発動する、事前に合意された緊急手順。どの国や企業も国際的な対応を一方的に阻止・遅延させることはできない。.

05

民主的多国間ガバナンス

どの企業、政府、または個人も条約機関を支配していません。監督は多国間合意によって運営され、AI主導の権力掌握と単一国家による捕捉の両方を防ぎます。.

モデルに基づく

核

核拡散防止条約 → 国際原子力機関

1968年以来拘束力あり · 191カ国 · 現地査察権限

化学

CWC → 化学兵器禁止機関

1997年以来拘束力あり · 193カ国 · 99%の備蓄が破壊された

生物学的

BWC

1975年以来拘束力あり · 183カ国 · 検証プロトコルが必要

"危険なAIによるリスクを管理するための国際的な「人類防衛機構」が、行動を起こすのが手遅れになる前に必要だ。"

ヨシュア・ベンジオ
チューリング賞受賞者
2023

のリスク超知能

不整合

誤用