災害を順位付けするのは不快な作業だ。これらのいずれも、「災害」という言葉が小さく感じられる規模で死をもたらし得る。それらを順序付けることは、下位のものが重要でないという主張のように聞こえるかもしれない。そうではない。核戦争と人工パンデミックは、私たちに起こり得る最悪の事態に含まれる。それらを防ぐために働く人々は、最も重要な仕事の一つを行っている。.
正直に順位付けすれば、超知能が最上位に来る。他のリスクが小さいからではなく、超知能だけが自己改善し、われわれが講じるあらゆる対抗策に抵抗し、やり直しの機会を与えないからだ。.
しかし注意と資金は有限であり、世界はそれらをすべての脅威に均等に振り分けるわけではない。誰かが、条約や機関、予算の項目、運動に何を割り当てるかを決める。もしその決定が、私たちがたまたま想像しやすい危険ではなく、実際の危険に沿ったものであってほしいなら、順位付けは行われなければならず、しかも公然と行われなければならない。そこで問う。この世紀に人類を終わらせうる技術のうち、どれが最大のものか。答えは超知能であり、その差はかなり大きい。.
「最高」が意味しなければならないこと
リスクとは、最悪の場合の深刻さだけではない。惑星を蒸発させる隕石でも、到来確率が一兆分の一なら、家を焼失させる確率五分五分の火事よりリスクは小さい。たとえその火事が世界を終わらせないとしても、これら三つを正しく比較するには、三つの問いを同時に抱えなければならない。.
最悪の現実的な結果はどれほど悪いのか。その結果が意味のある期間に起こる可能性はどれほどか。そして（最も見過ごされがちな問い）もし事態が悪化し始めたとき、私たちはまだそれを止められるのか。最後の問いがここでは最も重要であり、三つの違いを生む点です。.
これに数値を当てはめようとした中で最も慎重な試みは、哲学者トビー・オードの 危機の淵, 2020年に発表されたもので、各リスクが今後100年間に実存的惨事（絶滅、または回復不能な崩壊）を引き起こす確率を推定している。彼の数値は、各分野の文献を何年も読み、専門家と議論した者の規律ある判断であり、測定値ではない。まだ起きたことのないものを測定することは誰にもできない。これは我々が持つ最良の構造化された推測であり、重要なのはその形状である。.
| Risk | Ord's estimate |
|---|---|
| 核戦争 想像を絶する壊滅的被害ですが（全面核戦争とその後の核の冬を含めても）、ほとんどの推計は文字通りの人類絶滅には至らないとしています。. | ~1,000分の1 |
| 人工パンデミック意図的に致死性と感染力を高めて作られた病原体は、自然発生のアウトブレイクよりも制御がはるかに難しく、それを構築するためのツールはますます安価になっている。. | ~30人に1人 |
| アライメントされていない人工知能Ordの計算における単独で最大のリスクであり、彼のリストにあるすべての自然災害と他の人間由来の危険を合わせたものよりも大きい。. | ~10人に1人 |
核戦争という、現代の黙示録的想像力を形作ってきた危険の確率は、およそ千分の一だ。2020年以降に本気で考えられるようになった人工パンデミックは、それより三十倍以上高い。そして非整合AIはそのさらに一桁上にある。 それ, 約10人に1人という数字で、オードの評価ではリストの他のすべてを合わせたリスクより大きい。私たちが最も語りにくいリスクが、彼の数字では圧倒的に1位に置かれている。.
核兵器：巨大で、ほぼ上限に達している
最もよく理解しているものから始めよう。現在、世界には約1万2千発の核弾頭が存在し、その大部分を米国とロシアが保有している。全面的な交換は最初の数時間で数億人を殺し、現代の研究が示す煙と冷却を通じて、 Nature Food estimated could follow, put billions more at risk of starvation. It is the closest thing to hell that human engineering has ever produced.
それでも、人類を outright に終わらせるという基準に照らすと、核戦争には奇妙な性質があります。つまり、それがこれ以上悪化することはないという点です。核弾頭の数は1980年代に約7万発でピークを迎え、その後減少しています。爆弾は自ら爆弾を増やしません。学習もしません。標的を選ぶこともありません。あらゆる核の大惨事には、どこかで人間が決定するか、失敗するかのどちらかが必要であり、その一つの事実こそが、80年にわたる防止策の支えとなってきました。.
Because the danger stays still, we have been able to build a scaffolding around it: the Non-Proliferation Treaty, the test-ban regimes, arms-control agreements verified by inspection, hotlines, decades of hard-won doctrine about how not to stumble into annihilation. The scaffolding is imperfect. It is a danger with a ceiling, aimed at a target that does not move, managed by a system we have spent a lifetime constructing. That is why, for all its horror, it sits at the bottom of the three.
人工パンデミック: 制限しにくく、それでも受動的
一段階上へ。自然発生のパンデミックだけでも十分に恐ろしい。1918年のインフルエンザは、現在の3分の1以下の人口規模の世界で約5000万人を殺した。しかし自然は、残酷な意味で「狙って」いるわけではない。人工的に作られた病原体は狙う。はしか並みの感染力と出血熱並みの致死率を併せ持ち、進化が通常課すトレードオフを取り除いたら、自然界に上限のない兵器ができあがる。.
これがオードが人工パンデミックを核戦争より30倍以上高く置く理由です。生物兵器条約は1975年以来これらの兵器を禁止していますが、核の対応物とは異なり査察官も執行力もなく、封じ込めようとする生物学は年々安価で入手しやすくなっています。ここでの大惨事には超大国と千発の弾頭は必要ありません。一つの研究室と、能力を持つべきではなかった一人の人間で十分です。.
しかし病原体がまだ持っているものを です. 。それは受動的です。恐ろしく、無思考で、受動的です。ウイルスは計画しません。ワクチンを予測して完成直前に自らを再設計することはありません。私たちを追う人々について推論し、隠れる手立てを講じることもありません。生物学が与えた盲目的な勾配に沿って広がるだけであり、それに対して私たちは思考する種として持つあらゆる優位性——配列決定、ワクチン、隔離、公衆衛生の蓄積された仕組み——を持ち込めます。競争に負けるかもしれません。しかし、それは二段目と一段目の間の全き隔たりであり、走るのではなく、ただ広がるだけのものとの競争です。.
スーパーインテリジェンス：振り返るもの
リストの最上位にあり、そこに位置する理由はこれだ。非整合の超知能は全く別の存在である。より大きな爆弾やより賢い病原体ではなく、エージェントだ。目標を持ち、あるいは持っているかのように振る舞う。人々がそれを制約しようとするのをモデル化し、動きを予測し、それを打ち負かす行動を取る。このページの他の項目は、私たちが防衛を構築する間、じっとしている。超知能だけは、私たちが防衛を構築する様子を観察し、それを回避する方法を考える。.
「世界で最も堅固なバンカーでも人工超知能からは救われない。」.
中田直人
三つを、実際に大惨事が終わりになるかどうかを決める質問に並べてみると、絵は厳しい。
| 核 | 生物兵器 | 超知能 | |
|---|---|---|---|
| 自己改善できるか？? | いいえ | いいえ | はい |
| それは私たちの対策に逆らうのでしょうか？? | いいえ | いいえ | はい |
| それを止める人々を出し抜くことができるのか？? | いいえ | いいえ | はい |
| 一度放たれたら、呼び戻せるのか？? | 部分的に | かろうじて | いいえ |
| 最初の失敗から学べるのでしょうか？? | 通常 | 時々 | おそらく決して |
最後の列を下まで読んでほしい。核兵器と病原体は、私たちが知性を用いて対処する静的な危険だ。超知能は、知性をこちらに向ける危険である。 私たち, potentially more of it than we have, aimed at the exact points where we are trying to hold on. It can copy itself past any attempt at recall, improve itself faster than we can respond, and behave perfectly while it is being tested and differently once it is not. It is the only entry on this list against which our single greatest advantage as a species, our intelligence, is not guaranteed to be the larger one in the room.
これを最善に理解するには、別稿で論じたように 完璧な嵐, 、一つの恐ろしい性質ではなく、通常頼っているすべての安全装置が同時に機能不全に陥ることだ。その確率は千分の一ではなく十分の一に設定されている。核兵器やパンデミックの場合、逃げ道は開いている。呼び戻せ、学べ、脅威を上回る思考ができる。超知能の場合、それらは同時に閉じ、しかも向こう側が意図的に閉じてくるために閉じる。.
残る二つは人類の多くを殺しかねません。しかしこれこそが、仕事を完遂しかねず、他の二つと違って阻止しようとする間にもさらに巧妙になるものです。.
ランキングがあなたの行動を変えるべき理由
超知能は、三つのリスクの中で最大であるだけでなく、圧倒的に最も防御が手薄なリスクでもある。.
核兵器には核不拡散条約、ウィーンの国際機関、検証体制、そして八十年にわたるドクトリンがあります。生物兵器には、たとえ歯の弱い条約であっても条約があり、パンデミックが失敗したとはいえ拡大した世界的な公衆衛生機構があります。どちらにも支持基盤があります。それらにキャリアを費やしてきた人々、周辺に構築された制度、それらの言葉を理解する市民です。超知能にはそのほとんどがありません。拘束力のある条約も、査察官も、機関も、脅威についての共有された公衆のイメージもなく、つい最近まで運動すらほとんど存在しませんでした。.
（予想される最大の被害が、既存の防衛力の最も薄いところに重なる）という組み合わせこそが、ここで行動すべき最大の理由であり、絶望の理由ではない。リスクが巨大で既に多くの努力が注がれている場合、追加の努力は既存の努力と競合し、針を少ししか動かせない。リスクが巨大でほとんど手つかずの場合、追加の努力は競合するものがなく、針を大きく動かせる。最大かつ最も放置されたリスクこそ、一定の労力で最も大きな成果が得られる場所であり、どちらの基準でも超知能はそのリスクだ。.
それはさらに複合する。この分野で直接取り組む人々はわずかな予算で運営している、, おおよそ年間数億ドル程度, AIをより強力にするために世界が1日で費やす金額にも満たない。そしてその資金のほとんどは、これらのシステムを整合させる方法に関する技術的研究に充てられているが、この問題はまだ誰も解決していない。 時間内に解決できないかもしれない. 最も見過ごされている部分は、政治的な取り組みである。最も危険なシステムが安全になるまで構築されないようにする、拘束力のある検証済みの国際合意を構築することだ。.
Let me be precise, because this argument is easy to overstate and the overstatement is what people reach for when they want to dismiss it. The claim is not that nuclear war and pandemics are trivial; they belong near the top of any list of things humanity should be spending itself to prevent. The claim is not that AI catastrophe is certain; the honest estimates run from something like one in ten to something like one in three, which means the likeliest single outcome is still that we come through.
主張はより狭く、逃れにくいものです。私たちを滅ぼし得る少数の脅威のうち、超知能は現時点での最善の評価によれば最大のものであり、生存しようとする私たちの試みに積極的に抵抗する唯一のものであり、そして統治のために最も何もしてこなかったものです。この三つの事実を合わせると、この財団が存在する理由がわかります。私たちは研究所がすでに資金を出している技術的安全研究をやり直そうとしているのではありません。私たちは 狭く焦点を当てた 見過ごされてきた部分について：最大のリスクをその本質として扱い、私たちが学ぶことのない最初の過ちの後ではなく、その前に制限を設ける国際法。.
本気で大惨事を順位付けすれば、優先順位はおのずと決まる。最大のリスクは、最も警戒されておらず、最も理解されていないものだ。.