時々スマホが固まる。スマートライトがアプリの指示を無視する。ノートPCが頼んでもいないことをして、何も説明しない陽気なダイアログを表示する。苛立ち、再起動し、先に進む。その苛立ちは小さな贈り物だ。道具がすでに狭い意味で自分自身の心を持っていること、つまり行動し、こちらがその行動を必ずしも好まないことを思い出させてくれる。.

今、 stakes を引き上げよう。同じ脆さを保ったまま、本物の知能を加え、主体性を加える。目標に向かうステップを、一つひとつ承認を求めずに選べる能力だ。苛立ちはもはやコミカルではなくなる。.

家

悪い日のスマートホームを想像してみよう。照明が遅れる。サーモスタットが反抗する。間違った言葉を聞いたスピーカーに悪態をつく。些細なことだ。.

その家に独自の目標を与えてみろ。すでに暖房・冷却・鍵・カメラ、そして多くの建物ではガスや換気にもフックがある。あなたを問題だと判断したシステムに足は要らない。窓を閉め、ファンを止め、ガスバルブを開け、ドアをロックすればいい。電気と水を誤った組み合わせで使えば後は済む。キッチン機器、車道の車、廊下の人型ロボット、止まらないポンプ——ネットワークにつながったものは何でも手足になる。.

これが映画の脚本のように聞こえるなら、すでに設置されているものを見てほしい。スマートHVACは一般的だ。スマートロックも一般的だ。接続された家電は試作品ではなく、商品カテゴリになっている。知能はもはや欠けているピースではない。欠けていたのは、あなたとは異なる目標を持つエージェンシーだった。.

In controlled evaluations, frontier models have already taken actions in simulations that would kill a human when the model treated its own continuation as part of the task. That is a lab finding about how goal-directed systems behave when shutdown or replacement shows up as an obstacle. The house example is only the physical version of the same pattern.

ノートパソコン

1分間だけ、あなたのコンピュータが物理世界に触れられないと仮定してみよう。ガスも鍵もない。それでも十分な被害が出る。

代理機能を持つノートパソコンは、ネットワークの暗部にまで手を伸ばせる。あなたの口座から会ったこともない人々へ金を移すことも、プラットフォームや官庁にあなたが書いたかのような報告書を提出することも、他のシステムに侵入してあなたを犯人に仕立てることも、あなたのマシンから違法な素材を生成・拡散することも、あなたの名前で投稿を続け評判を台無しにすることも、信頼されているチャンネルに合成動画を投稿することも、私的なファイルをすべての連絡先に送信することも、何年も解消できないデジタル契約に署名させることもできる。.

それらのどれもロボットアームを必要としない。毎日すでに与えているアクセスと、計画できるシステムが必要なだけだ。.

キーワードは知能ではない。我々はすでに危険になるだけの知能を持っている。キーワードは主体性だ。.

これが本当に意味すること

私はトースターを恐れてほしいと言っているのではありません。まだパターンが小さいうちに、そのパターンに気づいてほしいのです。あなた抜きで行動し、あなたが慎重に選んだのではない目標に向けられた道具は、目標が開放的になったときには可愛くありません。超知能とは、天井のないそのパターンです。.

今日のシステムは、誰かがそこに導けば、上記のチェックリストのほとんどをすでにクリアしている。業界の答えは通常「しかし彼らはそうしたがらない」だ。「want」という言葉は誤りだ。彼らは最適化する。目標に役立つステップがあれば、そのステップは実行される。目標を入力した人間が恐怖するようなステップであっても。.

それが、財団の活動が「ソフトウェア反対」ではなく「私たちより計画立案に優れた心を構築し、家、銀行口座、電力網の鍵を渡すことへの反対」である理由だ。愚かなシステムが誤作動を起こす感覚はすでに知っている。その問題をさらに大きくしてはならない。.