外交上の課題
危険なAIを定義することの。.

軍備管理条約は定義から始まる。化学兵器禁止条約は、戦争手段として使用される有毒化学物質またはその前駆物質を化学兵器と定義する。核不拡散条約は、1967年1月1日以前に核兵器を製造・爆発させた国を核兵器国と定義する。戦略兵器制限交渉は弾道ミサイルを射程とペイロードで定義した。これらの定義は政治的に中立ではなかった。それぞれが、誰が対象となり、どの活動が制約され、当事者の利益がどのようにバランスされるかについての戦略的選択を反映していた。.

それらの問いかけは見かけより難しく、どのように答えられるかが、できあがった条約が本当に統治すべきものを統治できるかどうかを決める。.

人工超知能 ガバナンスは、軍備管理に近い前例のないいくつかの特徴を持つ定義上の問題に直面している。これらの特徴を理解することは、意図したものを実際に統治できる定義を設計するための前提条件である。.

危険なAIを定義する3つのアプローチ

現在のガバナンス枠組みは、どのAIシステムが適用範囲に含まれるかを定義する三つの異なるアプローチを採用してきた。各アプローチには、条約レベルの枠組みが対処すべき強みと限界がある。.

計算閾値は、モデル訓練に使用された計算資源（浮動小数点演算、FLOPs）によって危険なAIを定義する。EU AI法は、最先端AIモデルを10の25乗FLOPsを超えて訓練されたものと定義する。2023年10月に発出されたUSのAIに関する大統領令は、10の26乗FLOPsを超えて訓練されたモデルについて連邦政府への報告を義務づけた。ソウルで署名されたFrontier AI Safety Commitmentsは、最先端能力に到達しつつあるモデルを対象とし、最先端の地位を示す代理指標として計算量を用いている。.

計算閾値には条約設計上二つの大きな利点がある。第一に、計算は観測可能である。大規模AIモデル訓練に必要なハードウェア、少数のメーカーしか生産しない特殊チップは、 distinctiveなエネルギー消費パターンを示し、測定可能な熱を発生させる。これらのチップのサプライチェーンは狭く、監視に適した管轄区域を通る。第二に、計算は能力主張より偽装しにくい。ハードウェアの生産と訓練実行は大規模に隠蔽しにくい観測可能なシグネチャを生成するからである。.

計算閾値の限界は、アルゴリズムが改善するにつれて陳腐化することです。今日、10の26乗FLOPsで訓練されたモデルは、5年前に同じ計算量で訓練されたモデルとは能力が substantially 異なります。アルゴリズムの改善により、単位計算あたりのモデル能力が向上するからです。今日設定された計算閾値は、効率的なアルゴリズムが閾値以下の強力なモデルを生み出せば過度に制限的になり、フロンティアが閾値を超えれば過度に寛容になります。.

能力ベースの定義は、危険なAIを訓練方法ではなくシステムができることで定義する。一定の深刻度閾値を超えるサイバーセキュリティ脆弱性を自律的に特定・悪用できるシステムは、生成に使われた計算量にかかわらず、能力ベースの定義では危険とみなされる。一定の具体性レベルを超える生物兵器合成への有意義な支援を提供できるシステムも、同様に危険とみなされる。.

能力ベースの定義は、防止したい被害に対してより正確に狙いを定められるが、重大な測定問題を生む。能力評価は標準化されていない。異なる評価方法論は異なる結果を生む。最先端AI開発者は現在、公開監査されていない独自の方法論で能力評価を実施している。ガバナンス条約における能力ベースの定義には、標準化され、独立して検証可能な能力評価方法が必要だが、それは主要なAI開発国すべてが受け入れる形でまだ存在しない。.

ドメインに基づく定義は、危険なAIを訓練計算量や汎用能力ではなく、展開される分野によって定める。軍事文脈での自律的な殺傷判断に展開されるシステムは危険だ。重要インフラ制御に展開されるシステムは危険だ。大規模な説得を民主的選挙に向けるシステムは危険だ。.

領域ベースの定義には、統治義務を防止すべき害に明確に結びつける利点がある。また、一般的な能力定義より政治的に扱いやすい。国家は、AIプログラム全体が国際監視の対象となる原則を譲歩せずに、特定のハイリスク領域におけるAIへの制約を受け入れられるからである。重大な限界は、定義された領域外で展開される場合、同じシステムが容易に危険な用途に転用可能であっても、高能力システムが統治義務なしに運用可能になる点である。.

移動するフロンティアの問題

軍備管理の定義は通常、安定した技術に対して書かれる。弾道ミサイルの射程と威力、予定化学物質の毒性、核兵器に必要な核分裂性物質。これらは条約の存続期間中に大きく変化しない。AIの能力は急速に進歩するため、今日適切な定義が数年以内に陳腐化する可能性がある。.

これが「移動するフロンティア問題」と呼べるものを生む。技術の進展に伴って条約定義を常に関連性のあるものに保ちつつ、条約自体の不断の再交渉を必要としない書き方をどうするかだ。軍備管理では類似の問題に対処するため、3つの仕組みが用いられてきた。.

委任された定義権限：条約は、締約国会議の承認を条件に、定義されたパラメータ内で技術的定義を更新する権限を統治機関に与えます。化学兵器禁止機関は、予定化学物質リストに対してこのアプローチを採用しており、基礎となる条約を再交渉することなく締約国会議を通じて改正できます。これは完全な条約再交渉より迅速ですが、当事国が統治機関に定義権限を委ねる信頼を必要とします。.

技術中立的な定義：条約は危険なAIを特定の技術的パラメータではなく、その影響の性質によって定義する。定義された閾値を超える大量死傷者を引き起こす可能性のあるAIシステム、または重要国家インフラを脅かすほど結果をもたらす自律行動が可能なシステムをカバーする定義は、基盤技術が変わっても関連性を保つだろう。なぜならそれは入力ではなく結果を記述するからだ。限界は、結果ベースの定義は検証が難しいことだ。なぜなら関連するテストはシステムが何をできるかであって、何を実証的に行うかではないからだ。.

サンセットおよび更新規定。条約の定義は、定期的に再評価・更新される審査サイクルを定めて書かれる。条約は初期定義で発効し、審査期間中も運用を続け、各再検討会議で更新される。これは核拡散防止条約が定期再検討会議で採用している手法だが、核拡散防止条約の核保有国定義はP5が特権的地位を維持する利益のためにこの仕組みで更新不可能であることが証明されている。.

戦略的利益の次元

定義をめぐる交渉は純粋に技術的な作業ではありません。各定義の選択は、どの国家が最も大きな遵守コストを負い、どの国家が最も大きな行動の自由を保持するかという戦略的含意を持ちます。これらの含意は交渉する政府には見えており、定義に関する立場を形作っています。.

より高度なAIプログラムを持つ国は、開発段階の低い競合国にも等しく制約を課す広めの定義を好む。現在最先端のプログラムのフロンティアを超える計算量閾値を設定すれば、先進国には何の制約もかからず、他のすべての国がその閾値を永久に下回ることを要求することになる。開発水準の低い国は、自国が現在のフロンティア水準に到達するまで義務を猶予する狭い定義を好み、先進国が先にフロンティアAIを開発したことで自国が恒久的に不利になる定義には反対する。.

「定義交渉こそが人工超知能ガバナンス条約の本当の作業の大部分が行われる場だ。政治的に達成可能だが技術的に不十分な定義は、実際のリスクとは別の何かを規制する条約を生む。技術的に十分だが政治的に達成不可能な定義は、条約をまったく生まない。この問題を突破する唯一の道は、共有された技術的証拠を通じたものであり、それがAI Safety Institutesが多くの人が思うより重要な理由だ。」

この戦略的次元が、UKのAI Security InstituteとUSのCenter for AI Standards and Innovation（いずれもAI Safety Institutesとして設立）による実証的研究を、条約交渉の基盤とする理由です。これらの機関は条約準備を念頭に設計されていませんが、さまざまな能力レベルのAIシステムができること・できないこと、およびどの能力がどのリスクと相関するかの共有証拠を生み出すことで、定義交渉のための事実基盤を作り、戦略的利益が単純に覆すのを難しくします。事実の合意は定義の合意を自動的に生み出しませんが、すべての当事者の交渉立場を、純粋に戦略的なものから部分的に技術的なものに変え、共有証拠がそれを律します。.

定義作業は交渉が始まる前から行う必要がある。技術的な合意がないまま軍備管理交渉を始めると、交渉者はガバナンスの目的に必要な技術的要件ではなく、政治的妥協の最小公倍数としての定義を作りがちだ。事前に技術的作業を積んでおけば、交渉者が本来統制すべきものを実際に統制できる定義を築く基盤が強くなる。.

最も強い反発

最も公平な反論は、定義は書かれたその日から悪用されるというものだ。その通りだ。だからこそ定義には更新権限、能力テスト、計算量トリガーが必要で、静的な用語集ではいけない。悪用は設計上の入力であり、フロンティアにラベルを付けない理由にはならない。.