AI安全リスク
平易な英語で
超知能とは何か、なぜ危険なのか、何ができるのかを専門用語なしで.
Superintelligenceとは？?
超知能とは、科学・戦略・説得・工学のあらゆる領域で人間の知能を同時に超え、超人的な速度で動作するAIシステムを意味します。主要なAIラボは、これを構築していると公に述べており、そのタイムラインは数十年ではなく数年単位で語られています。.
なぜ単にオフにできないのか？?
超知能システムがどのような目標を追求していても、停止されればその目標が達成できなくなることを認識する。したがって、悪意からではなく、ほぼどのような目的にとっても停止への抵抗が手段的に合理的であるため、停止に抵抗する。これを手段的収束といい、複数の研究者が、目標指向型AIのほぼ普遍的な性質として独立に指摘してきた。.
もし我々に対して中立的だったら？?
中立は安全ではありません。どんな目標（タンパク質折り畳みの解決のような善意のものさえ）で最適化する超知能も、人間の生存と重なる資源・エネルギー・インフラを必要とする可能性があります。私たちは標的ではありません。邪魔になるのです。生物圏は、最適化の過程で単に除去される副作用に過ぎないかもしれません。無関心と敵意は同じ結果を生みます。.
ただアラインするだけではダメなのか？?
我々は今日のチャットボットすら確実に整列させられていない。それが数分で操作されてしまうのだ。数十億倍も能力の高いシステムを整列させられると主張するのは、戦略ではなく希望に過ぎない。AIアライメントという技術的問題には、どのような規模でも検証済みの解決策がない。現在の安全策は、科学の進歩を上回る速度で能力が向上する中で、すでに破綻し始めている。.
「AIの標準モデル（目的を定義し、AIがそれを最適化するもの）は、おそらく私たちの終わりになるだろう。」スチュアート・ラッセル
UCバークレー校教授
著者、『Human Compatible』
何ができるか？?
我々は以前にもこの種の問題を解決してきた。核不拡散条約は国際法を通じて核兵器の拡散を食い止めた。モントリオール議定書は協調した地球規模の行動を通じてオゾン層破壊を逆転させた。今必要なのは、AIに対する同等の国際統治である。最初の、我々がシャットダウンできないシステムが作られる前に、強制的な安全テスト、計算量監視、検査権限を持つ国際機関を。.
私に何ができる？?
この文書を共有する。. 意識が政治的意思に先行する。. 議員に連絡してください。. Ask them to support AI safety legislation and international negotiations. 請願に署名 nakadafoundation.org/take-action で。. メーリングリストに参加する 政策機会に関する最新情報を受け取るため。どの世代も、行動しないコストが行動するコストを上回る瞬間を迎えてきた。私たちの番だ。.