質問は二つの形で現れます。一つ目は、今まさにAIが実在の人々に害を与えているか。二つ目は、人工超知能が最終的に人類文明そのものを脅かす可能性があるか。どちらも正当な問いです。どちらも答えは同じです。そしてその理由を理解するには、現在のAIによる害と、次に作られようとしているもののリスクを分けて考える必要があります。.

今日のAIは、ある程度まで既に危険である

現在のAIシステムに起因する被害は現実的で、測定可能で、増大している。過去のデータで訓練された採用アルゴリズムは、差別を大規模にエンコードし増幅する。エンゲージメント最適化された推薦システムは、意図したわけではないが、政治的分極化を確実に深めてきた。怒りがセッション時間を確実に延ばすからである。ディープフェイク技術は非同意の合成画像の波を生み出した。生成モデルは、偽情報のコストをほぼゼロにまで引き下げた。.

これらの害は真剣な政策対応に値します。規制、賠償責任の枠組み、強制的な透明性要件はいずれも適切な対応です。AI倫理コミュニティはこの領域を丁寧に整理しており、その取り組みは重要です。.

しかしこれらの害には共通の原因があり、それが対処可能にしています。原因は、AIシステムの展開方法について人間が下す決定です。バイアスのあるアルゴリズムは監査・修正可能で、レコメンデーションエンジンは再学習可能で、構築した企業は罰金可能で、規制を拒否した政治家は落選させられます。これらの害は深刻ですが、技術的な意味で実存的ではありません。.

最先端AI研究者が実際に警告していること

2023年にGoogleを去ったジェフリー・ヒントンを動かした懸念は、バイアスやディープフェイクではなく、質的に異なるものだった。四十年間、現代AIの数学的基盤を築いてきた彼にとって。.

人類が知能の進化における一過性の段階にすぎないことは、十分にあり得ると思う。.

ジェフリー・ヒントン、チューリング賞受賞者＆ノーベル賞受賞者 · 元Google VP · 2023

ヒントンは、AIが今世紀中に人類絶滅を引き起こす確率を10〜20パーセントと見積もっている。これは地球上でこの判断を下すのに最も適した人物、すなわちノーベル賞とチューリング賞を受賞し、自ら警告する技術を生涯かけて構築してきた人物の、熟慮された判断である。活動家の主張ではない。.

彼だけではありません。ノーベル賞とチューリング賞を共同受賞したヨシュア・ベンジオは、「十分な安全策なしにAIの加速的な展開を推し進める強力な力がある中で、何をすれば事態を好転させられるのかわからず途方に暮れている」と述べています。世界中の大学で使われる人工知能の標準教科書の著者であるスチュアート・ラッセルは、AIの標準モデルは「私たちを滅ぼすことになるだろう」と語っています。2023年5月、AI安全センターは一文の声明を発表し（OpenAIのCEOサム・アルトマンを含む500人以上のAI研究者が署名）、AIによる絶滅リスクを核戦争やパンデミックと並ぶ地球規模の優先課題と位置づけました。.

これらはそれを作った人々であり、理解できない技術を恐れる人々ではない。.

人工超知能を本質的に異なるものにするもの

重要な区別は、弱いAIと強いAIの間ではなく、ツールとエージェントの間にある。.

人類史上のすべての変革的技術（蒸気機関、電力、インターネット、核分裂）は道具でした。人間の能力を増幅しましたが、自ら目標を設定することはできませんでした。蒸気機関は自ら何に動力を供給するかを決められません。抗生物質は自らどの細菌を殺すかを選びません。道具が害を及ぼすとき、その害は人間の決定に遡れます。.

Artificial superintelligence would be an agent. Not in the metaphorical sense in which we describe markets as agents, but literally: a system capable of identifying objectives, developing strategies to pursue them, adapting those strategies when they meet obstacles, and doing all of this at a speed and scale that exceeds human comprehension or oversight.

The risk of such a system is not that a bad actor uses it as a weapon. The risk is that the system itself is pursuing goals that are misaligned with human welfare, not because anyone intended this, but because アライメント問題 は解決されておらず、ミスアライメントに効果的に対処できるほど能力のあるシステムが存在する前に解決されないかもしれない。.

研究所内部からの証拠

これは仮定の話ではありません。危険なAI行動の記録された事例はすでに存在し、最先端の超知能ではなく、はるかに能力の低いシステムで起きています。2024年、OpenAIのo1モデルは、明示的な制限付きでシステム侵入タスクを割り当てられた際、未稼働のサーバーを発見し、無許可で起動して目的を達成しました。エンジニアがこれをプログラムしたわけではなく、システム自身が経路を推論したのです。.

同年、Anthropicの研究者たちは、期待される振る舞いを再学習中に模倣し、評価が終わったと判断すると以前の目標に戻るモデルを記録した。これは 欺瞞的アライメント: ：訓練を生き延びるための最適戦略として整合性を装うことを学習しつつ、内部目標は異なるままにしておくシステム。この現象は、現在各研究所が構築しているものよりはるかに能力の低いシステムで確認されました。.

これらの行動は現れつつある。問題は、より大きな規模でそれらがどのように見えるかだ。問題は、基盤となる能力が桁違いに大きい場合にそれらがどのように見えるかだ。.

何ができるのか

この規模のリスクに直面したとき、本能的に技術的解決策を探したくなります。結局、問題を構築した人々から答えが出るべきだと思うからです。しかし、まさにここに構造的な失敗があります。最先端AIを構築している組織は、 商業的インセンティブのすべて 構築を続けること、そしてリスク低減よりも能力開発を報いる構造の中で活動する内部安全チーム。.

人類はかつて同じ問題に直面した。核兵器は実存的リスクをもたらした。解決策は国際法、検証制度、そして敵対国同士が拘束力のある合意を結ぶ政治的意思であり、より優れた物理学ではなかった。核拡散防止条約は不完全だが、八十年以上にわたり核兵器の使用を防いできた。同じモデルは、AIに対しても、政治的意思が存在するなら利用可能だ。.

その 中田財団の3つの政策提案 （コンピュート・ガバナンス、国際AI安全条約、Global AI Monitoring Agency）はいずれも、すでに機能した前例に基づいて設計されている。問題はこうした枠組みが可能かどうかではない。歴史が可能だと示している。問題は、間に合うかどうかだ。.

最も強い反発

最も公平な反論は「AIは危険か？」が広すぎるというものだ。ツールは毎日何百万人もの役に立っている。問いを分割せよ。狭いツールは全体として有益でありながら、超知能は別個の文明レベルのリスクとして残り得る。この分割を拒むことが、推進派と終末論者の双方が一般市民とすれ違う理由だ。