超知能を統治することへの異論は、巧妙なことをします。危険性を認め（「確かに、リスクはあるかもしれない」）、その後で不可能性を技術から解決策へと静かに移します。リスクが否定できないなら、対応策を素朴に見せたり、それ自体危険に見せたり、あるいは単に絶望的に見せたりするのです。結果はリスクを outright に否定した場合と同じです。何も行われません。.
規制はイノベーションを窒息させ、無謀な者に主導権を渡す。まだ時期尚早だ。いずれにせよ民主主義国家は合意できない。これらは懸念を麻痺に変える主張だ。.
以下は、私が最もよく耳にする五つの反論を、できるだけ強く述べたものです。弱いバージョンへの反論では誰も納得しないからです。関連する反論群（中国は従わない、企業は自主規制する、悪いシステムはスイッチを切れば済む）については、 神話ページ. 。これら五つはガバナンスそのものについてだ。.
"AIをグローバルに統治することは世界政府と専制を意味する。"
ここでの懸念は名誉あるもので、私はそれを戯画化するつもりはない。地球上で最も強力な技術を制御するため一つの組織に十分な権限を集中させれば、技術から恐れていたまさにその専制の仕組みを作り上げてしまうかもしれない。中央集権的権力を疑う人々がそれを疑うのは正しい。本能は健全だ。.
しかしそれは提案の藁人形版を狙っている。実際に議題に上がっているのは、一点に絞った狭い体制だ。あらゆる面で人間を上回るシステムを生み出し得る、極めて少数の非常に大規模な訓練実行を対象とするものであり、日常生活に対する世界的な権威でも、ソフトウェア全般に対するものでもなく、ポケットの中の電話に対するものでもない。モデルは「」である。 核不拡散体制 または 化学兵器禁止条約, 、核分裂性物質と前駆化学物質を監視する対象を絞った合意であり、世界政府が国民国家を解体するものではない。国際原子力機関が地球を運営していると考える者はいない。それは特定の危険な活動を監視し、それ以外には手をつけない。.
永続的な専制への最も確実な道は、条約ではなくその不在だ。制御不能な超知能、あるいは一社または一国家が他に先んじて制御を解決した場合、それはこれまで考えられた中で最も完全な支配の道具であり、決して死なず、疲れず、一つの価値観を固定できる力である 永遠に, 反乱や改革の望みなどとうに絶たれている。歴史上のあらゆる専制は、暴君が死ぬこととその機構が人間だったことによって終わった。この場合はそうとは限らない。説明責任のない権力に恐怖を感じるなら（そして感じるべきだ）、 執行可能な合意 単一の主体がその力を握るのを防ぐことは、権威主義的な立場ではなく、反権威主義的な立場だ。.
"それを検証することはできない。ただどこかのサーバー上のソフトウェアに過ぎない。"
核兵器条約は機能する、という主張がある。弾頭を数えられ、濃縮を検知できるからだ。ウランは物理的で希少だ。しかしモデルはただの数字に過ぎない。ファイルを検査することはできない。どんな合意も執行不能な見せ物となり、正直な者だけを縛り、欺く者には何の効果もない。.
決定的に聞こえるが、検証しているものが間違っていることに気づいていない。重みではなく、 計算 を生産し、計算資源はウランと同程度に物理的で希少である。最先端システムの訓練には、数万個の専用チップが単一施設で数カ月稼働する必要があり、そのサプライチェーンは現代経済で最も狭いボトルネックの一つである。リソグラフィー装置は事実上オランダ企業1社が製造し、先端チップは台湾企業1社が製造し、支配的なアーキテクチャは米国企業1社が設計している。それらを使用するクラスタは電力消費量が電力データや衛星画像に現れるほど膨大である。チップを数え、販売を追跡し、電力を計測し、建物を監視できる。核分裂性物質はまさにこの論理で統制されている。希少な物理的投入を追跡すれば、秘密裏に兵器を製造できない。. 検証のためのプレイブックはすでに存在する; ここでの入力はさらに集中していることが多い。それが 工学的な問題, そして工学的な問題には解決策がある。.
「規制はイノベーションを阻害し、無謀な者が勝つことになる。」
強い形の主張はこうだ。技術は誰かが自由に作れるから進歩する。規制のほとんどは、何を遅らせているのか理解していない人々によって書かれる。AIに重い手をかけると、今世紀で最も重要な産業を最も規制の緩い国に明け渡すことになる。欠陥のある最先端をここに置く方が、敵対的な場所に完璧なものを置くよりましだ。.
反論が消し去っている区別から始めましょう。本気で「AI」を規制しようとしている人は誰もいません。タンパク質を折り畳み、画像を読み、子供に教え、気候をモデル化する有益なシステムは、狭く制御可能な道具であり、超知能に関する合意はそれらを完全に untouched のままにします。 明るく普通の未来 は、私たちが守ろうとしているものです。標的はただ一つ、誰もまだ安全に作る方法を知らない、汎用能力を狙う訓練実行という危険なカテゴリです。それを抑えることは、ゲイン・オブ・ファンクション規制が生物学に反しないのと変わりません。.
そしてより難しい論点——競争論理が決して直視しないもの。速度を競うことは安全をもたらさない。 安全 superintelligence sooner. It delivers an unsafe one, and an unsafe superintelligence does not serve the country or company that built it, it threatens them along with everyone else. When corners get cut under competitive pressure, the corner that gets cut is the one that would have made the system controllable. So the "innovation" being defended here is innovation whose likeliest endpoint is a system its own makers can't steer. That isn't progress that governance would spoil. It's the 危険そのもの, 、進歩を衣装としてまとっている。.
「時期尚早だ。存在しないものを規制することはできない。」
これは成熟した考え方のように感じる。幻を相手に立法せず、技術が現実のものになった時点で実態を理解し、憶測ではなく事実に基づいたルールを作るべきだ。仮定の話で規制するのは、悪法を生む元だ。.
それはほぼあらゆる他の技術にとっては知恵でしょう。しかしこの技術にとっては罠です。理由はタイミングです。ガバナンスは遅い。核不拡散条約の交渉には何年もかかり、モントリオール議定書が効力を発するまでさらに何年もかかりました。それでも速い部類です。超人的システムが明らかに存在してからそれを統治する制度を構築し始めれば、制度は抑え込むべきものの何年も後に到着します。そしてこれは 「最初の深刻な失敗は、第二法を通過させる者が誰もいなくなるかもしれない」. 。 「証拠を待つ」は、証拠が生き延びられる場合に有効な原則だ。ここでは証拠が大惨事になる。 予防原則の論理 は臆病さではない。それは治療法の準備期間が問題の導火線より長いという認識だ。.
壊滅的な技術に対する有効な安全策はすべて、その台頭前または台頭中に構築されたもので、決して後ではなかった。なぜなら「後」という選択肢は存在しなかったからだ。.
"民主主義は遅すぎ、捕らえられている。決して成立しないだろう。"
五つのうち最も静かに腐食的なもの。現実主義の衣をまとっているからだ。膠着状態、ロビイング、議会の短い関心、業界の金の影響力を見る。条約が賢明でも、それを作る仕組みは壊れている。幻想に10年を費やすより、冷静に見つめた方がいい。.
その背後にある疲弊感は理解できる。しかしそれは歴史の記録によって繰り返し反駁されてきたし、現在の私たちよりはるかに厳しい状況下でもそうだった。敵対国が自らの最も危険な選択肢を放棄することなど絶望的に非現実的だと呼ばれていた考えが、実際に実現した例は枚挙にいとまがない。 核拡散防止条約、生物兵器および化学兵器条約、モントリオール議定書、南極条約. 。代理戦争を戦い合い、互いを悪と呼んでいた敵対者たちでさえ、冷戦の最盛期に検証付きの軍備管理を構築しました。それらのどれも、近くから見れば不可能に思え、後から振り返れば当然のように見えるものでした。.
And the ground is more favorable than the cynicism admits. Across the United States, the United Kingdom, and the EU, 大多数 すでに世論調査に対しては、AIは慎重に、強力なルールで縛って開発してほしいと答えています。世論が障害ではない。障害は、この広く静かな懸念がまだ立法府に届く圧力に組織化されていないことだ。障害は 仕事: 潜在的な合意を政治的意思に変えること。それこそが私たちの目の前にある仕事だ。.
5つに共通する点
並べてみればパターンは明らかです。どの反対意見も危険性を認めつつ、別の場所で諦めを見つけます。解決策が大きすぎる、検証不能、費用がかかりすぎる、時期尚早、成立しにくい。どれか一つだけを取り上げれば、慎重さのように聞こえます。しかしそれらを合わせると、唯一の出力が不作為である装置が出来上がり、不作為とは、歴史上最も影響力の大きい技術を、誰もが恐れている結果を生み出しやすい圧力の下で、わずかな競合企業に拘束なく作らせることを選択することです。ここに中立はありません。.
これらのどれも、「ガバナンスは簡単だ」と主張することで答えられるものではありません。簡単ではありません。検証は争われ、交渉は遅く、一部の政府は足を引っ張るでしょう。歴史上のあらゆる困難な条約がそうでした。それでも成立しました。正直な主張は、それが可能であり、それを構築するための部品はすでに存在しており、それを退ける理由は検討するやいなや崩れる、ということであって、超知能に関する合意が単純だということではありません。.
この仕事は容易ではない。それでもやる価値があり、「できない」とされてきたこれまでのあらゆる類似の試みは、結局できてきた。最も危険なシステムが安全になるまで作られないように、拘束力と検証を備えた合意に向けた政治的意思を築くことだ。異論は本物だ。しかし「だから諦めろ」はこれまで一度も答えにならず、今も答えではない。.