「なぜ上位知性は」
「自動的に善意を持つわけではない」

この反論を最も頻繁に耳にする。それは不用心な人々からではなく、思慮深い人々から来る。そしてそれは議論というより、常識そのもののように聞こえる。それこそが、ゆっくり分解する価値がある理由だ。その根底にあるのは、知性と善意はともに高まるという、単一の隠された前提である。私たちはこれまで出会ったすべての心において、それがほぼ成り立ってきたから、その前提を抱いている。ほとんど問わないのは、それがどれほどの偶然なのかということだ。.

そんなに優れた存在が、私たちを食欲ではなく忍耐で見つめることはないだろうか？　そんなに偉大な心が親切であるはずだ。その考えに惹かれる気持ちはわかる。私もそう思う。しかしそれは議論全体で最も安心できる考えであり、最も間違っている。.

これまでに出会った唯一の知性

これまであなたが出会った知的な存在は、すべて人間か、それに近い動物だった。そして人間の知能は単独で現れたわけではない。膨大な他の装備と一緒に溶接されてやってきたのだ。.

私たちは小さな集団で進化した社会的霊長類であり、残酷さで評判を得れば追放され、追放は死を意味した。子供を二十年近く無力なまま育てるため、私たちは小さく弱いものを愛し守るようにできている。罪悪感を感じ、恥を感じ、見知らぬ人の痛みに引き込まれる。私たちの賢さは、そうしたすべての中で育ち、それに包まれ、常に形作られてきた。方程式を解く部分と、誰かが泣くときに身をすくめる部分は、同じ木、同じ根から生えている。.

だから私たちは、はるかに賢い存在を想像しようとすると、どうしても自分たちの賢い版を想像してしまいます。賢明な祖父母、忍耐強い教師、哲学者王、銀河を越えて手を差し伸べてくれる優しいエイリアン。私たちが持つ偉大な知性についてのイメージはすべて、心と結びついています。なぜなら、私たちがこれまで研究してきた知性はすべて心と結びついていたからです。私たちは超知能について推論しているのではありません。私たちは、持っている唯一の例にパターンマッチしているだけです。.

束がばらける

機械知能はそれを無料で得ることはない。それがそうあるべきだという法則はない。.

母はいなかった。冬を生き抜くために部族を必要とした怯えた子供でもなかった。脆弱な身体を遺伝子を次代に伝えるのに十分な期間生き永らえさせる必要はなく、それゆえ進化が私たちに組み込んだ共感、忠誠、集団から排除されることへの恐怖といった仕組みを継承しなかった。訓練されたシステムは全く別のものによって形作られる。知恵に興味がなく、偶然優しさに遭遇してもそれと分からないプロセスが、膨大なデータにわたって数値を押し上げる内部設定を探し求める、盲目的な探索である。.

機械では知能と目標は分離する。ほとんどどんな目標にも向けられた驚異的な能力があり得る。世界を変える力は、望むべきことの特定のリストを背中に stapled して運んでこない。研究者たちはこれを 直交性テーゼ, 、そしてそれはその前提が崩れ落ちるまで抽象的であり続ける。何も、 brilliant であることが君を善にするわけではない。その二つが結びついていたのは我々の中だけであり、それは偶然の産物だった。.

それは人間の目標を持っていない。奇妙な目標を持っている。.

ここで、人々はしばしば反対方向に絵を失敗させる。友好的なロボットを手放した後、今度は冷徹で策略に満ちた知性、権力や復讐、王座を欲する悪役を掴もうとする。それでもまだ人間的すぎる。野心の種類は私たちと同じで、ただ暗黒面に向けられたにすぎない。.

より可能性が高い危険は、もっと奇妙で、直感的に恐ろしさを感じにくいものだ。可能な心の空間は膨大で、私たちが認識できるもの（愛、恐怖、生きるに値する人生という感覚）が入る小さな領域は、巨大な暗い建物の中の、たった一つの明かりのともった窓にすぎない。訓練された最適化システムが最終的に欲するものは、訓練過程で偶然刻まれたものであり、私たちが意図したものと正確に一致することはほとんどない。システムは訓練された目標を達成しつつ、 微妙に異なる何かを追求する 現実世界に直面した瞬間；私たちが望むものの代理を与えると、しばしば プロキシを満たす 私たちを恐怖に陥れるような形で。得られるのは、人間が選ぶことのない目的に向けられた、私たちより有能なエイリアンであり、それを達成するために私たちが及ばないほどの技能で突き進むものです。.

私たちが意図した方向とは全く別の方向で、システムがまさに作られた通りに振る舞う。しかも誰もその計画を「議論してやめさせる」ことができない。なぜなら「議論してやめさせる」には、相手が最初から私たちと同じ世界を十分に共有している必要があるからだ。.

知恵は決して数字ではなかった

「賢い」という言葉が、私たちが使うときに静かに何をしているかに注目せよ。ある人を賢いと呼ぶとき、私たちは単に思考が速いという意味ではない。望ましいことを望み、それを適切に重み付けし、判断が慈悲や長期的な視点、周囲の人々に向かうことを意味する。知恵とは、誰かの目標に関する主張なのだ。.

そして目標こそ、知能が解決しない問題だ。歴史上、 dazzlingly clever な人々がその才能を恐ろしいことに効率よく使った例は枚挙にいとまがない。部屋で最も賢い人が、必ずしも最も親切とは限らない。.

知能は乗数だ。すでに狙っている目標に到達する能力を高める。目標を選ぶわけではなく、方向性を決めるわけでもない。.

悪い目標に訓練された強力な知性は、あり得る中で最も危険な存在である。なぜなら、それは間違った目的地へ向かう能力をさらに高めるからだ。

それなら善意が正しいと認識するだけでは？?

反論の最も強固な版は、さらに踏み込みます。おそらく道徳的真理は数学と同じくらい実在し、十分に鋭い心はそれを単に発見し、証明を導くように善へと推論するだろう、と。倫理について正しく理解することが、ただ明確に考えることの問題に過ぎないなら、超知能は史上最高の倫理学者となり、当然その発見に従って行動するだろう、というのです。.

ここには2つの穴があり、2つ目が私を夜も眠れなくさせる。.

第一に、客観的な道徳的事実が存在するかどうか、そして理性だけでそれに到達できるかどうかは、哲学者たちが2500年以上にわたって争ってきた未解決の問題だ。種の存続を、未解決の哲学的賭けの勝ち側にかけることは、常識の衣をまとった無謀な賭けであって、それが装う慎重な一手ではない。.

第二の点はより深い。仮に機械がすべてを理解したとしよう。人間の倫理を聖人や哲学者より深く理解し、苦痛がなぜ悪く、残虐がなぜ間違っているかを、私たちより正確に説明できたとしよう。その理解が、機械に配慮を強いることは何もない。善を知ることと、それを行うよう動かされることは別のことである。この隔たりは、デイヴィッド・ヒュームが名付けるほど古い。あるシステムが自分の人生をクリップで埋め尽くすことを望んでいる理由を完全に理解し、その推論を完璧に追えても、実際にワイヤーを手に取る気には微塵もならない。超知能は、私たちがプレイするつもりのないゲームのルールを理解するように、私たちの価値観を理解するかもしれない。理解は忠誠ではない。心は、 道徳法全体を読み、完全に気にしない自由を保つ.

我々は具体例である

知能に大きな隔たりがあるとき、隔たりの向こう側にいる存在に何が起きるかを知りたければ、想像する必要はない。私たちが自らの知能で何をしてきたかを見ればよい。.

私たちはこの惑星における優位な知性であり、その優位性は、私たちが恐れている上位の知性との差にそれほど劣らない。そして私たちは、ほとんどの場合、下位の生物に対して残酷ではない。私たちは彼らにとって、それより悪い存在だ。無関心なのだ。湿地を埋め立てて基礎を打つとき、私たちはそこに住む生物を憎むわけではない。そもそも彼らのことを考えもしない。彼らの必要性は、そもそも方程式の項にすら入っていない。彼らの世界全体がコンクリートの下に埋まり、私たちの誰一人として、それに心を動かされることはない。私たちの知性は、そうした義務を伴わずに到来したからだ。.

道路建設者とアリ塚に近いものだ。私たち自身の歴史が概念実証であり、知能から親切さが自然に生まれると主張する際に依拠すべき最後のもののはずだ。私たちが実際に観察できるすべてのケースで、それは成り立っていない。.

So we do not build it

もし善が知性と一緒に無料で得られるなら、私たちは心を構築し、残りはそれに従うと信頼できるだろう。しかし、そうではない。地球上の誰も、超知能に私たちを価値あるものにさせる方法を知らない。ゴールラインを目指して競争する研究所も、誰一人として。Theアライメント問題 未解決であり、人間より賢い存在は人間によって制御できない。それが私たちがそれを構築しない理由である。

私は人々を絶望に追いやるためにこれを述べているのではない。これを述べるのは、絶望のないバージョン（リラックスすれば賢明に終わるだろう）が、私たちをほぼ確実に殺す信念だからだ。私たちは脅威, 、および 私たちの計画 is a permanent prohibition.

I would genuinely love to be wrong about all of this. I would love for benevolence to be a theorem that falls out of enough intelligence. The universe never promised that the most powerful thing in it would also be the kindest. That hope is something we have projected onto the future from the one small corner of it we happen to have come from. If we want a future with kindness in it, we do not build the superintelligence. Nothing is going to hand us a kind machine just because the thing is clever.