予防原則は環境法から生まれ、現在では国際文書に組み込まれている。最もよく知られた定式化は1992年のリオ宣言原則15である。深刻または不可逆的な損害の脅威がある場合、完全な科学的確実性の欠如を、被害を防ぐための費用対効果の高い措置を先送りする理由として用いてはならない。変種は欧州連合法や気候、生物多様性、有害物質に関する条約に現れる。この原則は、証明を待つことが長すぎる待機を意味する状況のために存在する。.
予防原則とは、深刻または不可逆的な危害をもたらすおそれのある活動について、完全な科学的確実性が欠如していることを理由に保護措置を先送りしてはならないとするものだ。この規則は、AIリスクについて破局が証明される前に措置を講じるための最も強力な法的基盤である。
なぜAIにぴったり合うのか
AIリスクの主張には厄介な特徴がある。最も深刻なシナリオはまだ起きていないし、実験を実際に走らせずに事前に実証することもできない。批評家はこれを理由に懸念を退ける。証拠がないなら問題もない、と。予防原則はそれに対する直接の答えである。それは、深刻で潜在的に不可逆だがまだ確実ではない脅威のために作られたもので、負担を逆転させる。問われるのは、破局が証明されたかどうかではなく、賭けられているものを考えればその可能性が保護措置を正当化するほど深刻かどうかである。.
フロンティアAIの二つの特徴が、この原則にほぼ教科書的な事例に近づけている。潜在的危害は深刻度の最高水準にあり、壊滅的かつ不可逆である可能性が高い。そして科学は genuinely 不確実で、信頼できる専門家が意味のある確率をloss-of-controlシナリオに割り当て、それを排除する信頼できる方法はない。重大で、不可逆で、不確実——これこそが予防原則が対処するために書かれたプロファイルだ。.
予防策が実際に必要とするもの
- 立証責任の転換。. 最も能力の高いシステムの開発者は、展開前に安全性を証明する責任を負うべきであり、社会が危険性を事後に証明する負担を負うべきではない。これは医薬品や原子力発電所ですでに採用されているモデルだ。.
- 確実性を得る前の行動。. ガバナンスは、拘束力のある制限を正当化するために実証済みの大惨事を待つべきではない。不可逆的なリスクの場合、実証はすなわち災害だからだ。.
- 賭けの大きさに比例して。. 予防措置の規模は潜在的な害の規模に一致すべきであり、最も深刻なリスクには最も強力な措置が正当化される。.
- 優先事項としての可逆性。. 可能な限り選択肢を残し、将来の修正を不可能にする行動を避ける。これは自らを固定化しかねない技術に直接当てはまる原則です。.
異議
予防原則には本物の批判者がおり、正直な擁護は彼らと向き合います。最も強い異論は、極端にまで推し進めると予防が麻痺を招くというものです。ほとんどあらゆる活動が何らかの破滅的リスクをはらんでおり、「証明されていない重大な脅威にはすべて反対せよ」という原則は、推測に基づく根拠で有益なイノベーションを阻害することを正当化しかねません。批判者はまた、予防にはそれ自体のコスト（見送られた利益、AI自体が他の惨事の回避に役立つ可能性を含む）があり、それらを計算に含めるべきだと指摘します。.
これらの指摘は原則を否定するものではなく、その適用を慎重にするためのものです。答えは、予防原則とは、深刻で信頼できる根拠のある脅威に対して、行動のコストと不作為のコストを比較衡量した上で比例した措置を講じることであり、「起こり得るすべての悪を禁止する」ことではない、ということです。フロンティアAIが該当するのは、誰かが悪い結果を想像できるからではなく、信頼できる専門家が制御不能による壊滅的で不可逆的な損失に現実的な確率を割り当てているからです。この原則が求めるのは、その特定で十分に裏付けられたリスクに比例した措置であって、技術全体を一律に停止させることではありません。.
不可逆的なリスクに対して「証拠を待つ」ことは、慎重さではなくその逆だ。予防原則は、惨事に見舞われて初めてそれを防ぐ権利を得る、という事態を避けるために存在する。.
今行動するための基盤
予防原則が人工超知能ガバナンスにとって重要なのは、遅延の最も一般的な主張——リスクが証明されるまで規制すべきではない——を解体するからだ。法と倫理において、その主張はAIがもたらす脅威のまさにその類型に対して成立しない。深刻で不可逆的かつ不確実な危害は、確実性が得られる前に措置を講じるべき典型例であり、リスクを生み出す側にそれが封じ込められていることを示す負担を負わせる。これは具体的な措置を決めるものではない。それは条約設計、検証、閾値の仕事である。しかし、不確実性の下で行動することが正当であるかどうかという先行的問いには決着をつける。それは正当であり、原則はその理由を説明する。.