超知能を統治することへの異論は、巧妙なことをします。危険性を認め（「確かに、リスクはあるかもしれない」）、その後で不可能性を技術から解決策へと静かに移します。リスクが否定できないなら、対応策を素朴に見せたり、それ自体危険に見せたり、あるいは単に絶望的に見せたりするのです。結果はリスクを outright に否定した場合と同じです。何も行われません。
規制はイノベーションを窒息させ、無謀な者に主導権を渡す。まだ時期尚早だ。いずれにせよ民主主義国家は合意できない。これらは懸念を麻痺に変える主張だ。
以下は、私が最もよく耳にする五つの反論を、できるだけ強く述べたものです。弱いバージョンへの反論では誰も納得しないからです。関連する反論群（中国は従わない、企業は自主規制する、悪いシステムはスイッチを切れば済む）については、 神話ページ. 。これら五つはガバナンスそのものについてだ。
"AIをグローバルに統治することは世界政府と専制を意味する。"
地球上で最も強力なテクノロジーを制御するのに十分な権限を 1 つの体に集中させれば、あなたはまさにそのテクノロジーから恐れていた圧制の機械を構築したかもしれません。中央集権的な権力を信頼しない人々がそれを信頼しないのは当然です。
しかしそれは提案の藁人形版を狙っている。実際に議題に上がっているのは、一点に絞った狭い体制だ。あらゆる面で人間を上回るシステムを生み出し得る、極めて少数の非常に大規模な訓練実行を対象とするものであり、日常生活に対する世界的な権威でも、ソフトウェア全般に対するものでもなく、ポケットの中の電話に対するものでもない。モデルは「」である。 核不拡散体制 または 化学兵器禁止条約, 、核分裂性物質と前駆化学物質を監視する対象を絞った合意であり、世界政府が国民国家を解体するものではない。国際原子力機関が地球を運営していると考える者はいない。それは特定の危険な活動を監視し、それ以外には手をつけない。
永続的な専制への最も確実な道は、条約ではなくその不在だ。制御不能な超知能、あるいは一社または一国家が他に先んじて制御を解決した場合、それはこれまで考えられた中で最も完全な支配の道具であり、決して死なず、疲れず、一つの価値観を固定できる力である 永遠に, 反乱や改革の望みなどとうに絶たれている。歴史上のあらゆる専制は、暴君が死ぬこととその機構が人間だったことによって終わった。この場合はそうとは限らない。説明責任のない権力に恐怖を感じるなら（そして感じるべきだ）、 執行可能な合意 単一の主体がその力を握るのを防ぐことは、権威主義的な立場ではなく、反権威主義的な立場だ。
"それを検証することはできない。ただどこかのサーバー上のソフトウェアに過ぎない。"
間違った教訓は運命論です。インプットが簡単になっているので、ガバナンスは絶望的です。これ以上の能力だけが私たちを救うことができるのは、研究室のピッチの鏡像です。どちらも、フロンティアランが表示され、真面目な俳優の数が少ない、まだ私たちがいる間隔をスキップします。
決定的に聞こえるが、検証しているものが間違っていることに気づいていない。重みではなく、 計算 を生産し、計算資源はウランと同程度に物理的で希少である。最先端システムの訓練には、数万個の専用チップが単一施設で数カ月稼働する必要があり、そのサプライチェーンは現代経済で最も狭いボトルネックの一つである。リソグラフィー装置は事実上オランダ企業1社が製造し、先端チップは台湾企業1社が製造し、支配的なアーキテクチャは米国企業1社が設計している。それらを使用するクラスタは電力消費量が電力データや衛星画像に現れるほど膨大である。チップを数え、販売を追跡し、電力を計測し、建物を監視できる。核分裂性物質はまさにこの論理で統制されている。希少な物理的投入を追跡すれば、秘密裏に兵器を製造できない。 検証のためのプレイブックはすでに存在する; ここでの入力はさらに集中していることが多い。それが 工学的な問題, そして工学的な問題には解決策がある。
「規制はイノベーションを阻害し、無謀な者が勝つことになる。」
強い形の主張はこうだ。技術は誰かが自由に作れるから進歩する。規制のほとんどは、何を遅らせているのか理解していない人々によって書かれる。AIに重い手をかけると、今世紀で最も重要な産業を最も規制の緩い国に明け渡すことになる。欠陥のある最先端をここに置く方が、敵対的な場所に完璧なものを置くよりましだ。
「AI」を規制しようと本気で提案している人はいない。タンパク質を折りたたみ、スキャンを読み取り、子供たちを指導し、気候をモデル化する有益なシステムは、限定的で制御可能なツールであり、超知性協定によりそれらは完全に放っておかれます。 明るく普通の未来 は、私たちが守ろうとしているものです。標的はただ一つ、誰もまだ安全に作る方法を知らない、汎用能力を狙う訓練実行という危険なカテゴリです。それを抑えることは、ゲイン・オブ・ファンクション規制が生物学に反しないのと変わりません。
そしてより難しい論点——競争論理が決して直視しないもの。速度を競うことは安全をもたらさない。 安全 もっと早く超知性を。それは安全ではないものを提供し、安全ではない超知能はそれを構築した国や企業に役立つのではなく、他のすべての人とともに彼らを脅かします。競争のプレッシャーによってコーナーがカットされると、カットされるコーナーはシステムを制御可能にするコーナーです。したがって、ここで擁護されている「イノベーション」とは、最も可能性の高いエンドポイントが、自社のメーカーが操縦できないシステムであるイノベーションのことです。それが、 危険そのもの, 、進歩を衣装としてまとっている。
「時期尚早だ。存在しないものを規制することはできない。」
これは成熟した考え方のように感じる。幻を相手に立法せず、技術が現実のものになった時点で実態を理解し、憶測ではなく事実に基づいたルールを作るべきだ。仮定の話で規制するのは、悪法を生む元だ。
それはほぼあらゆる他の技術にとっては知恵でしょう。しかしこの技術にとっては罠です。理由はタイミングです。ガバナンスは遅い。核不拡散条約の交渉には何年もかかり、モントリオール議定書が効力を発するまでさらに何年もかかりました。それでも速い部類です。超人的システムが明らかに存在してからそれを統治する制度を構築し始めれば、制度は抑え込むべきものの何年も後に到着します。そしてこれは 「最初の深刻な失敗は、第二法を通過させる者が誰もいなくなるかもしれない」. 。 「証拠を待つ」は、証拠が生き延びられる場合に有効な原則だ。ここでは証拠が大惨事になる。 予防原則の論理 それは、問題を解決するまでの時間が、問題のヒューズよりも長いという認識です。
壊滅的な技術に対する有効な安全策はすべて、その台頭前または台頭中に構築されたもので、決して後ではなかった。なぜなら「後」という選択肢は存在しなかったからだ。
"民主主義は遅すぎ、捕らえられている。決して成立しないだろう。"
リアリズムのコートを着ているため、5 つの中で最も静かに腐食性を持っています。行き詰まり、ロビー活動、議会の関心の薄さ、業界の資金の範囲。たとえ条約が賢明だったとしても、それを生み出す機械は壊れています。空想のために10年を無駄にするよりは、澄んだ目を持っている方が良いでしょう。
それは歴史的記録によって繰り返し反駁されており、通常は現在私たちが直面しているよりも悪い可能性に対して反駁されています。敵対する大国が最も致命的な選択肢に署名するだろうという考えは、実際にそうなるまで絶望的に甘いと言われていた。 核拡散防止条約、生物兵器および化学兵器条約、モントリオール議定書、南極条約. 。代理戦争を戦い合い、互いを悪と呼んでいた敵対者たちでさえ、冷戦の最盛期に検証付きの軍備管理を構築しました。それらのどれも、近くから見れば不可能に思え、後から振り返れば当然のように見えるものでした。
そして、状況は皮肉が認めるよりも有利です。 アメリカ、イギリス、そしてEU全体で、 大多数 すでに世論調査に対しては、AIは慎重に、強力なルールで縛って開発してほしいと答えています。世論が障害ではない。障害は、この広く静かな懸念がまだ立法府に届く圧力に組織化されていないことだ。障害は 仕事: 潜在的な合意を政治的意思に変えること。それこそが私たちの目の前にある仕事だ。
5つに共通する点
それぞれの反対意見は危険を認め、その後、別の諦める場所を見つけます。つまり、解決策が大きすぎる、検証できない、費用がかかりすぎる、早すぎる、または通過するのが難しすぎるなどです。それらのどれか一つだけを取り出しても、慎重であるように聞こえます。それらは一緒になって、何もしないことだけが唯一の成果である機械を形成しており、何もしないことは、歴史上最も重要なテクノロジーを、少数の競合企業によってまったく拘束力のない制限なしで構築されることを可能にする選択であり、ここでは中立ではなく、誰もが恐れていると主張する結果を生み出す可能性が最も高い正確な圧力の下で行われます。
これらのどれも、「ガバナンスは簡単だ」と主張することで答えられるものではありません。簡単ではありません。検証は争われ、交渉は遅く、一部の政府は足を引っ張るでしょう。歴史上のあらゆる困難な条約がそうでした。それでも成立しました。正直な主張は、それが可能であり、それを構築するための部品はすでに存在しており、それを退ける理由は検討するやいなや崩れる、ということであって、超知能に関する合意が単純だということではありません。
私たちがこれまで行ってきた同様の努力すべてについて、「それはできない」というのは間違いでした。課題は、最も危険なシステムが安全になるまで構築されないようにする、拘束力のある検証済みの合意に向けた政治的意志を構築することです。 「だから諦める」というのはこれまでも答えではなかったし、今も答えではありません。