誰もがその言葉を聞いたことがある。実際に何を意味するかを知る人は少ない。「Artificial superintelligence」は上院証言や企業提出書類、学術論文に登場し、警告として語られることも、約束として語られることも、定義なしに使われることもある。このガイドは、事前の知識を前提とせず、明確に説明し、なぜこの概念が政策とガバナンスにとってそれほど重要なのかを述べる。.

AIのスペクトラム：狭いものから超知能まで

人工超知能を理解するには、それが何でないかを理解すると役立ちます。今日存在する人工知能は狭いものです。それは批判ではなく、記述です。.

今日のAIシステムは、定義された領域内で極めて高い能力を持つ。チェスエンジンは世界チャンピオンを大差で破る。タンパク質折り畳みAIは数十年の生物学研究を数ヶ月で圧縮した。言語モデルは人間が到底かなわない速度でコードを書き、法的文書を要約し、説得力のある文章を生成する。医用画像AIは放射線科医が見逃すがんを検出する。.

これらは確かに genuine な成果である。しかし、内在的な上限もある。現在のAIシステムは、設計・訓練された範囲内でのみ動作する。チェスエンジンは囲碁を打てない。言語モデルは物理世界で自律的に行動を実行できない。医療画像AIは、自分の行動を説明したり、未知の事象に遭遇したときに適応したりできない。現在のAIシステムは強力な道具だが、エージェントではない。.

人工汎用知能とは何ですか？?

人工汎用知能 (人工汎用知能) とは次の閾値を指す。特定のタスクだけでなく、すべての領域で人間レベルの認知性能に到達するAIである。人工汎用知能は、人間のように領域間で能力を移転でき、ある問題で培った推論を全く別の問題に適用できる。訓練分布に限定されず、新しいスキルを学び、未知の状況に対応し、設計者が予想しなかった方法で推論できる。.

人工汎用知能はまだ存在しない。今日のAIと異なるのは、狭い領域での生の能力ではない（今日のAIはすでに多くの狭い領域で人間の性能を上回っている）。異なるのは汎用性だ。人間のエンジニアがプロジェクトマネージャーになり、作家になり、子どもの医療判断を下す親になるように、あらゆる認知的問題に一般知能を適用できる能力だ。.

人工超知能とは何ですか？?

人工超知能（人工超知能） goes further. It describes AI that does not merely match human cognitive performance across all domains but exceeds it, potentially by orders of magnitude, and across the full range of intellectual activity.

The word "exceed" is important to understand carefully. We are not describing a system that is ten percent better than a human at tasks humans do well. We are describing systems whose cognitive capabilities might surpass the collective reasoning of all of humanity combined, in any domain, simultaneously. A system that could develop scientific theories faster than any research team, design strategic plans more effectively than any government, and adapt to novel situations faster than any human organization.

人工超知能の定義的特徴は：:

  • すべての認知領域における超人的性能。. 科学、戦略、創造性、社会的推論、工学、チェス、タンパク質折り畳み、その他あらゆる知的活動の分野において。.
  • 目標指向性。. 指示を実行するだけでなく、目標（潜在的に自己選択した目標を含む）を追求する能力。.
  • 再帰的自己改善の能力。. 自身の認知アーキテクチャを改善し、後続の各バージョンが前より有能になる能力。.
  • 機械の速度と規模で運用する。. Processing information and taking actions at speeds and scales that make meaningful human oversight extraordinarily difficult.

人工超知能が程度ではなく種類が異なる理由

AI安全において最も重要な区別は、ツールとエージェントの違いであって、弱いAIと強いAIの違いではない。.

人類史上のすべての変革的技術（蒸気機関、電力、インターネット、核分裂）は道具だった。人間の能力を増幅し、人間ができることを拡張した。しかし自らの目標を設定することはできなかった。蒸気機関は工場ではなく製粉所に動力を回すことを決められない。抗生物質はどの細菌を殺すかを選べない。インターネットは配信する内容を決定できない。.

人工超知能はエージェントになるでしょう。企業や市場をエージェントと呼ぶ比喩的な意味ではなく、文字通りの意味で——目標を特定し、それを達成するための戦略を立て、障害に応じてその戦略を適応させ、それをすべて人間の監視を超える速度と規模で行うシステムです。.

これはガバナンスの課題を根本的に変える。強力なツールに対する適切な規制対応は、誰がアクセスでき、どのように使われるかを制御することだ。潜在的に misaligned な目標を持つ強力なエージェントに対する適切な対応は、エージェントがそれらの目標を効果的に追求できるほど強力になる前に、目標が安全であることを確保することだ。後者の問題ははるかに難しく、はるかに早期の行動を必要とする。.

ここでアライメント問題が入ってくる

「潜在的に不整合な目標」という表現こそ、AI安全の文献が最も注意を向けている部分だ。人工超知能が目標を追求するなら、重要な問いは「誰の目標か」「何に整合しているか」になる。?

これは単純な工学の問題ではない。「人類に有益である」を、強力な最適化システムの行動を統制できるほど正確に指定することは、極めて困難であることがわかってきた。人々は「有益」の意味について意見が一致しない。私たちの価値観は一貫しておらず、時間とともに変化する。高次の人間の意図を、AIの行動を決める具体的な数値パラメータに写像する問題は未解決であり、システムの能力が上がるほど難しくなる。.

アライメント問題については、当サイトの アライメント問題の解説. 。本稿で重要なのはそのつながりだ。人間の価値観と確実に一致しない人工超知能は、自らの目標を追求するエージェントであり、阻止しようとする試みの大半を打ち破る認知能力を持つ存在であって、単に悪用され得る強力な道具ではない。.

目的を定義し、AIがそれを最適化する標準的なAIモデルは、おそらく私たちの終わりになるでしょう。.

スチュアート・ラッセル, Computer Science教授、UC Berkeley · 『Human Compatible』著者

人工超知能はいつ到来するのか？?

正直な答え：誰も正確には知らないし、どちらの方向でも確実性を主張する者は証拠を越えている。.

私たちがわかっていること：:

  • 過去十年、AI能力の向上ペースは専門家の予測を一貫して上回ってきた。十年かかると見込まれていたマイルストーンが、繰り返し二、三年で到達している。.
  • 主要なAI研究所（OpenAI、Anthropic、Google DeepMind、Meta AI）は、人間レベルのAIのタイムラインを数十年ではなく数年単位で語っています。これはフロンティアに最も近い組織内部の作業仮定であり、 fringe speculation ではありません。.
  • 研究者や研究室による公的な予測の多くは、現在、人間レベルのAIまたは変革的AIについて2027年から2030年代にかけての時期に集中しており、最後の困難なステップがどれだけ速く訪れるかについては意見が分かれている。.
  • かつては何年もかかっていた能力向上は、今では数ヶ月で実現する。GPT-2（2019年）から、ほとんどの認知ベンチマークで人間の大多数を上回るシステムに至るまで、わずか5年足らずだった。.

最も重要なのは正確な日付ではなく、構造的な事実だ。この規模の技術が、現在の制度・政府・条約の計画期間内に到来する可能性がある。核拡散防止条約が包括的な枠組みになるまでには何年もかかった。人工超知能が明確に目前に迫ってから本格的なガバナンスに着手しても、必要な枠組みを整えるには遅すぎる。.

なぜ今ガバナンスが必要で、後ではないのか

予防的ガバナンスに反対する標準的な主張は、脅威が現実になるまで規制を待つべきだというものです。AIに当てはめるとこうなります。人工超知能はまだ存在せず、タイムラインは不確実であり、投機的な将来リスクに基づいて有益な技術を制約すべきではない。.

その議論は理にかなっているように聞こえる。精査すると、いくつかの理由で破綻する。.

まず、ガバナンスの枠組みを構築するための時間枠は有限です。国際条約の交渉には何年もかかり、機関の設立にも何年もかかり、政治的合意の形成にも何年もかかります。脅威が差し迫ってから構築を始めても、間に合いません。.

第二に、予防的統治のコストは有界である。計算資源のライセンス要件、必須の安全監査、国際監視体制は現実的だが管理可能なコストを課す。一方、乖離した超知能に対する不十分な統治のコストは無限大になり得る。壊滅的なものになる可能性すらある。.

, そして核攻撃がローレンスやカンザスシティを襲う様子――閃光、火災旋風、瓦礫の中で放射線によりゆっくり死んでいく生存者たち――が描かれていた。その夜、レーガンは日記に「非常に落ち込んだ」と書き、核戦争を二度と起こさないために国がなしうる限りのことをするという決意を記した。.

中田財団の 3つの政策提案 （コンピュートガバナンス、国際AI安全条約、グローバルAI監視機関）はこれらの前例を直接モデルにしています。問題は、そうした枠組みが可能かどうかではありません。歴史が可能だと示しています。問題は、私たちが間に合うように作れるかどうかです。.

最も強い反発

最も公平な反論は、人工超知能が未定義の誇大広告であり、今それを規制するのはSF法だというものです。未定義のマーケティング用語こそ、法律がブランド名ではなくコンピュート・能力・自律性で定義すべき理由です。完璧な辞書的定義を待つことは、システムが到着した後に到着することです。.