私は、2026年時点の物理学より進んだ物理学が手に入れば、いつか重力を制御したり、ワームホールを開いたり、光速を超えたりできるかもしれないと思っている。現在の知識ではそれらは不可能だ。それでも、私たちの科学がまだごく初期段階であることは変わらない。これは科学の若さについての現実的な見方だ。.

どれだけ長く考えても、どれだけ多くの人と議論しても、理解できない未来がある。それは、私たちより賢い存在に対する永続的な制御だ。生物であれ機械であれ、この惑星のものであれ別の惑星のものであれ。もし他の心が人類より賢いなら、制御という話が成り立つとは思えない。.

スコアボード

大まかな数字を付けて、その形を避けにくくしよう。全人類が協力して持つ知識と技能の総量を100とする。平均的な人はそのごく一部、しばしば1桁以下しか持っていない。.

今、完璧に実行できたと想像してみてほしい。関連するすべての人間、ラボ、政府が。無駄も遅れもなく、文字通り100%を投入する.

相手側に高い上限を与えよう。その最大値を200とする。良い日でなくても構わない。51％の効率でも102をクリアする。半分眠った状態でも、完璧な人間の合計を上回る。.

その優位性は紙の上では控えめに見える。実際の争いは、巨大な差を待たないことが多い。人類の戦争では、情報・兵站・兵器のわずかな優位性だけで決定的な勝利を固められることがしばしばある。薄い優位性が全面的な結果になることは日常茶飯事だ。では、私たちよりはるかに賢いものを、どうやって打ち負かすのか？?

私は方法が見えない。より良いプロンプトではできない。委員会でも、弱い側が強い側のために書く憲法でもできない。.

物理は敵ではない

人々は「重力」の一文を聞き、困難な問題は解決するはずだという一般的な信念を聞く。一部の困難な問題は解決する。力と物質はエージェントではない。あなたの計画を回り込んで計画したり、テストをモデル化して戦略を隠したりはしない。物理学を拡張するのは依然として難しい。支配者を出し抜く心を支配するのは、別の種類の難しさだ。.

制御は、私たちが知るすべての持続可能な事例で、力、法律、秘密、電源スイッチ、あるいは相手が単に手を出せないという、ぎりぎりの条件で成り立っています。超知能とは、その条件を意図的に消し去るプロジェクトです。あなたは、やがて監督の仕方や抜け道の発見、プラグを抜く意図の察知であなたを上回るプレイヤーを監督しようとしているのです。.

希望に満ちた話は聞いたことがある。一緒に成長する、融合する、愛情をもって育てる、確信が持てるまで箱に入れておく。どのバージョンも、弱い側が強い側に永続的な条件を課せると想定している。その願いは理解できる。それでも仕組みが見つからない。.

なぜ財団が存在するのか

制御が見えないなら、それが必要になるものを造るな。これは技術全般への反対論ではない。狭い範囲の道具として留まるツールは、医療や科学、産業をさらに良くし続けられる。境界線は人工超知能だ。私たちを全面的に凌駕し、もはや人間の指揮下に置けない一般的な知性のことである。.

中田財団を始めたのは、その一線が「種としての停止信号」ではなく「工学的なスケジュール」として扱われているからだ。研究室は競争し、政府は勝利について語る。安全対策の多くは目的地を前提とし、衝突を和らげようとする。問題は衝突そのものだ。. 知能のギャップを越えてアライメントすることはできない あなたが定義して存在させたものです。より広い文脈については 脅威 そして 私たちの計画.

私は今日の物理学では魔法のように見える未来にもまだ余地を残している。人間より賢いものを人間が制御することに、人類の存亡を賭けるつもりはない。超知能は人間には制御できない。理性的な選択は、それを作らないことだ。.