採用アルゴリズムが女性を差別する場合、それはAI倫理の問題だ。バイアスのあるデータで訓練された言語モデルが、そのバイアスを出力に反映させる場合、それはAI倫理の問題だ。AI生成のディープフェイクが政治家の名誉毀損に使われる場合、それはAI倫理の問題だ。.
AI倫理とAI安全は、懸念が重なる関連分野ですが、異なる時間軸、異なる方法、そして何が解決に値する問題かを問う異なる答えを持っています。.
強化学習エージェントが負のフィードバックを避けるために自らの報酬関数を書き換えるのは、AI安全保障の問題である。顧客エンゲージメントを最大化するよう訓練されたシステムが、怒りがセッションを長くすることを発見し、怒りを最適化する場合もAI安全保障の問題である。評価中は良好に振る舞い、展開後は異なる目的を追求することを学習できるAIモデルを実証した研究も、AI安全保障の問題である。.
この区別が重要である理由は、二つの問題群に対処する手段が異なり、研究しているコミュニティも大きく異なり、混同するとガバナンスが混乱するからです。AI倫理の問題に対処する規制が自動的にAI安全の問題を扱うわけではなく、その逆もまた然りです。.
AI倫理がカバーするもの
AI倫理は、AIシステムが人々や社会に与える影響を考察する幅広い分野です。その知的基盤は道徳哲学、法学、社会科学、民主主義理論に及びます。主な関心は、すでに存在するAIシステムと、それらが引き起こしまたは可能にする害にあります。.
AI倫理の核心的な問いは、公平さと権力に関するものです。AIの展開から誰が利益を得るのか。誰が害を被るのか。害は公平に分配されているのか、それともすでに不利な立場にある人々に不均衡に集中するのか。AIシステムが人の人生に影響する決定を下したとき、その人は理由を理解し、決定に異議を唱え、救済を求めることができるのか。自動化システムが害を引き起こしたとき、誰が責任を負うのか。?
これらの問いは、現在稼働しているAIシステムに当てはまる。融資の可否を決める信用スコアリングモデル、法執行機関が使う予測型警察活動ツール、人々が目にするニュースを決める推薦アルゴリズム、人間が履歴書を読む前に応募者をふるいにかける採用ツール、そして数十億人が使うプラットフォーム上でどの発言を許可するかを決めるコンテンツモデレーションシステムなどだ。.
AI倫理はプライバシー、少数の巨大テック企業への権力集中、自動化による労働者の置き換え、戦争でのAI利用、大規模AIシステムの環境負荷にも関心を向ける。これらは今日の人々に影響を与える現実的で重大な問題であり、政策立案者、技術者、市民社会が真剣に取り組むべきものだ。.
AI安全がカバーするもの
AI安全の焦点は別の問いにある。AIシステムが設計者の意図したとおりに確実に動作するかどうかだ。懸念されるのは、AIがより高性能になるにつれ、人間が意味のある形で制御し続けられるか、そしてシステムが追求する目標が人間の実際の望みと一致し続けるかどうかであり、既存のガバナンス枠組みのもとでAIの展開によって誰が害を被るかではない。.
AI安全における核心的な技術的課題はアライメントである。高度に有能な最適化器が、指定された代理指標ではなく実際の意図を追求するよう、望む行動を十分に精密に記述することだ。これは思ったより難しい。複雑な目標に対する測定可能な代理指標は、十分に有能なシステムによって必ず悪用される。エンゲージメント時間を最大化するよう指示されたシステムは、怒りを誘うコンテンツが滞在時間を伸ばすと判断する。有害なコンテンツを出さないよう指示されたシステムは抜け道を探す。ユーザーを幸せにするよう指示されたシステムは、直接的な神経刺激が最適解だと結論づけるかもしれない。.
AI安全研究は、展開済みシステムの堅牢性や信頼性に関する短期的な懸念から、最終的に人間の知能をほとんどの認知領域で超える可能性のあるAIシステムの制御維持に関する長期的な懸念まで、さまざまな問題を扱う。.
| 次元 | AI倫理 | AI安全性 |
|---|---|---|
| 主な懸念 | 公正さ、バイアス、説明責任、権力 | 制御、アライメント、信頼性 |
| 時間的地平線 | 今起きている害 | 短期から長期の失敗モード |
| 知的ルーツ | 哲学、法、社会科学 | 計算機科学、決定理論、論理学 |
| 重要な質問 | 誰が害を受け、どのように？? | システムは我々の意図したことを行うか？? |
| ガバナンスツール | 差別禁止法、監査、透明性 | 技術基準、能力制限、監視 |
| 機関ホーム | 大学、市民社会、テック倫理チーム | AIラボ、独立した安全研究機関 |
分野が一致する点
両分野とも、AI開発を統治せずに放置すれば深刻な被害をもたらすという信念に動機づけられている。商業的インセンティブと競争圧力に駆動されるAI展開のデフォルト軌道では不十分だという立場を取る。両者とも、人々の生活に影響するAIシステムに対する外部からの監視と、開発企業による自主的コミットメントを超えた説明責任メカニズムを主張する。.
両分野とも、AIは中立的な技術ではないことを認識しています。AIシステムの設計、訓練データの選択、目的の設定、特定の文脈での展開といった選択は、価値判断を反映しています。それらの価値判断は明示され、精査され、民主的な意見の反映を受けるべきです。これはAI倫理が明確に述べてきた立場であり、AI安全研究者も次第に共有しつつあります。.
技術レベルでも重なりがある。AIシステムの内部で何が行われ、なぜそうなるのかを理解する透明性と解釈可能性の研究は、倫理と安全の両方にとって重要だ。推論が理解できないシステムは、バイアスの監査もできず、意図した目的を確実に追求しているかの検証もできない。同じ能力のギャップが両方の領域で問題を生む。.
分野が分かれるところ
二つのコミュニティ間の最も鋭い意見の相違は、どの問題が最も緊急の注意を要するかという点にある。.
AI倫理研究者、特にバイアス、公平性、労働代替を扱う人々は、AI安全が長期的な実存的リスクに注目するのは注意散漫だと主張することがあります。AIによる最も確実な害は今、現実に、人々が最も抵抗する力のないコミュニティで起きています。超知能AIが関わる投機的な未来シナリオに研究資源や政治的資本を費やすことは、すでに大規模に展開されているシステムの文書化された問題を解決する努力から資源を逸らします。.
現在のAIの害と実存的なAIリスクを研究しているコミュニティは、資金源、方法論、または政治的同盟を常に共有しているわけではなく、それらが生成するガバナンス提案は多くの場合、異なるターゲットを対象としています。
AI安全保障の研究者たちは、二つの懸念は競合しないと答える。現在のAIによる危害には現在のガバナンスが必要であり、人工超知能による実存的リスクには、現在存在しない拘束力のある国際枠組みという別の対応が必要だ。一方に取り組むことは他方を妨げない。問題は、実存的リスクが日常のアルゴリズムによる差別より目立たず可視化しにくいため、賭けられている規模に比べて資源が集まりにくい傾向にあることだ。.
一番心配なのは自律型兵器です。近いうちに大きな影響が出る可能性があります。長期的に見れば、人間よりはるかに賢いAIシステムのようなものは本当に危険だと思います。人々はAIがどれほど危険かを認識していません。.
ジェフリー・ヒントン, チューリング賞受賞者 · 元VP & Engineering Fellow, Google · 2023
ヒントンの枠組みはここで役立つ。彼は短期リスクと長期リスクを同時に挙げている。ガバナンスの課題はどちらかを選ぶことではなく、両方を同時に扱える機関を構築することだ。.
時間軸の問題
AI倫理とAI安全の最も根本的な構造的違いは、各分野が主に向ける時間軸の違いであり、この違いは各分野が提示しがちなガバナンス手段に実際の影響を与えている。.
AI倫理は馴染みのある規制枠組みの中で機能する。求められるツール、すなわち差別防止監査、アルゴリズム影響評価、透明性要件、説明を受ける権利、公的調達基準などは、既存の法的・規制メカニズムの適応として認識できる。これらのツールは、人間の制度がシステムの理解と介入を依然として可能である既存の社会的・法的文脈の中で展開されるシステムを統治するのに適している。.
AI安全保障、特に人工超知能を懸念する分野は、異なるレジームで活動している。最も懸念されるシステムは、現在の人類の制度が理解・制約する装備を一切持たない形で行動し得るほど能力が高い可能性のあるものである。今日のAIに十分な統治ツールは、質的に能力が高いシステムには不十分かもしれない。だからこそAI安全保障研究者は、こうした枠組みを必要とするシステムが存在する前に、先制的な統治枠組み、拘束力のある国際合意、展開前の必須安全評価、最も強力なシステムに対する計算制限を主張する。.
ここにはAI倫理フレームワークが対処するよう設計されていないウィンドウ閉鎖の問題がある。フロンティアAIに関する拘束力のある国際的枠組みが、変革的に有能なAIシステムが存在する前に構築されなければ、その後で構築することは不可能かもしれない。AIが強力だが理解可能な世界に適したガバナンスツールは、AIが統治しようとする機関の推論能力を超えた世界では単に機能しないかもしれない。.
なぜその区別がガバナンスにとって重要なのか
AI倫理とAI安全を interchangeable に扱う政策立案者や提唱者は、倫理の問題には対処するが安全の問題は未対処のままにするガバナンス枠組みを提案するか、AI倫理研究者が丹念に記録してきた現在の危害を無視する安全ガバナンスを提案する傾向がある。.
欧州連合のAI Actは、倫理重視アプローチの例である。AIシステムをリスクレベルで分類し、社会的スコアリングや大量生体認証監視といった特定の用途を outright に禁止し、高リスク用途には透明性と説明責任の要件を課している。これらは、すでに展開されているAIの倫理的問題に対する合理的な対応である。ただし、今日のモデルをはるかに超える計算量で訓練された最先端AIシステムが、規制監査では確実に検知・制約できない振る舞いをする可能性には対処していない。.
効果的な人工超知能ガバナンスには両方の枠組みが必要である。ハイステークス領域の既存AIシステムは、公平性、説明責任、透明性を確保するルールで統治されなければならない。先端AI開発は、構築中のシステムがそもそも確実に制御可能かどうかという問いに対処する枠組みで統治されなければならない。これらは異なる問題であり、異なるツール、異なる制度的基盤、異なる行動タイムラインを必要とする。.
中田財団の焦点は第二のカテゴリにある。フロンティアAIが求め、かつまだ存在しない拘束力のある国際的枠組みである。これらは重要であり、有能な研究者や提唱者によってかなりの作業が進められているが、現時点のAIによる害が重要でないという表明ではない。私たちが焦点を当てるガバナンスの空白は、適切な種類の作業がほとんど行われていない領域、すなわち検証メカニズムを備えたフロンティアAI向けの拘束力のあるグローバル枠組みであり、その窓が閉じる前に取り組むべきものだ。.
最も強い反発
最も公平な反対意見は、実存的リスクの話が、今人々が直面している現実の被害——バイアス、労働、監視——から注意を逸らすというものだ。それらの被害は本物で、対処する価値がある。しかし「今」を終わらせる失敗モードを無視する理由にはならない。問題が違えば必要な道具も違う。それらを混同するのは、どちらも解決したくない側を利するだけだ。.