私はビジネスをしています。私は市場が好きです。価格、競争、新しいことに挑戦する権利は、私が今まで読んだどの5ヵ年計画よりも普通の生活をより良くしました。人工的なスーパーインテリジェンスを阻止したい。私は資本家の主張をしており、それは自由市場のスローガンが通常スキップするという区別から始まります。

市場は、悪い賭けのダウンサイドが局所的である場合に資本を効率的に配分する。レストランが潰れれば大家がスペースを再賃貸する。ガジェットが失敗すれば投資家が損失計上する。銀行が過大に膨張しても、機能するシステムでは種の絶滅を招かずに処理できる。損失は我々が描ける円の中に留まる。.

超知能はそんな賭けではない。それを構築している人々は、公の場で、自分たちより賢いシステムを全面的に制御する方法がわからないと述べている。そのシステムを最初に送り出すための競争は「創造的破壊」ではない。それは、すべての人間の命を賭金とする、一度きりの不可逆的な賭けを競うことだ。その種の賭けに対するバックストップのない資本主義は、工場がさらに多くの薬室を作り続けるロシアンルーレットであって、資本主義ではない。.

競争を急ぐ理由

この反論の最も説得力のある形はこうだ。イノベーションは複利で効く。1年の遅れは、治療法の発見、科学的進歩、国家優位性の喪失を意味する。政府は不器用で、条約は抜け穴だらけだ。一国が減速すればライバルは減速せず、慎重な側は二重に損をする——リードも失い、安全も得られない。現実的な道は、他国より速く作り、友好国の手にリードを握り続けながら、アライメントを並行して解決することだ。.

これは、製品の価格を設定していないときに行う議論です。リードは、自分が作ったものをまだ持っている場合にのみ重要です。ミスアライメントされたスーパーインテリジェンスは、資金調達ラウンドに署名した人々を上回るエージェントです。あなたがボードコントロールできるポートフォリオ会社ではなく、あなたが狙うミサイルではありません。最初にそこに着くことは、あなたがそれを操縦できない場合、最初に置き換えることを意味します。出口はありません。絶滅後のシリーズBはありません。

「資本が実際に必要とするもの」

資本は継続する世界を必要とする。裁判所、財産、顧客、そして契約が依然として意味を持つ未来を必要とする。それらすべてを終わらせることができる技術は、「ただのもう一つのプラットフォーム」ではない。デモがチャットウィンドウのように見えるからといって消費者向けアプリのように扱うのは、死者数を伴うカテゴリーエラーだ。.

私は市場に発明をやめろと求めているのではない。病気を診断し、材料を設計し、物流を加速する狭いAI——そういう進歩はもっと欲しい。線引きするのは超知能だ。我々がまだ目標が我々と両立することを検証できない段階で、人間の認知を全領域で超えるよう作られたシステムだ。その線を引くことが、残りの経済を生きながらえさせて複利を働かせる方法だ。.

市場はリスクを進歩に変える機械です。それは自殺協定ではありません。一つの種類の賭けを拒否することが、ゲームを続けさせる方法です。.

インフラとしての規制

人々は「規制」と聞くと、スタートアップに課される事務負担を想像する。ルールが愚かであれば、それは当然だ。私が重視するルールは、むしろ資本市場を可能にしたものに近い。詐欺の株式を売ってはならない。工場の隣の川に毒を捨ててはならない。スライドデッキで魅力的に見えるからといって、地下室に原子炉を建設してはならない。.

チップとトレーニングが実際に実行されている場所を検証する人工的なスーパーインテリジェンスの作成を禁止する国際条約は、その規則の1つです。それは文明のためのインフラです。それがなければ、すべての研究所は囚人のジレンマに陥り、慎重さを罰することになります。これにより、資本は取締役会を食い尽くす半分の資金を調達することなく、AIの有用な半分の資金を調達し続けることができます。

私は自社の企業が、顧客がまだ存在する世紀に繁栄し続けることを望む。それが市場に求められる最低限の条件だ。もしあなたが資本主義者を名乗りながら、誰も所有できないものを競って作ろうとしているなら、それは資本主義を守っていることにはならない。台帳に火をつけて、その輝きを成長と呼んでいるだけだ。.