一般の人がAIについて知っていることのほとんどは映画で得たものだ。ジャンルが本当のリスク——私たちより賢く、私たちが選ばなかった目標を追い、正直なオフスイッチもないシステム——を指し示していればよかったのだが、たいていは別の方向を向いている。.
映画はその周りのほとんどすべてを間違えた:金属の体、発表された裏切り、最後の瞬間にヒーローが抜くプラグ。.
このジャンルはそうした方向から外れている。機械には身体があり、私たちを露骨に憎み、反逆の瞬間を宣言し、最後に勇敢な人間がプラグを抜ける。4つとも間違っている。.
スクリーン上の機械は顔と憎悪と抜けるプラグを持っている。私が心配するものはそのどれも持っていない。.
最も近づいた作品は、脅威を捨てて無関心さを残すことで成功した。以下に年代順で挙げる。.
Metropolis (1927)
フリッツ・ラングは映画史上初めて偉大な機械生命体を作り出したが、それが偽物だったのは示唆的だ。発明家ロトワングはロボットに労働者たちが信頼する女性マリアの顔を与え、彼女たちを裏切らせるために送り込む。ラングが一世紀も前に見抜いていたのは、人工的なエージェントが信頼された顔を装い、それを信じる人々に対して行動できるということだ。映画がまだ想像できなかったのは自律性である。ロボットには自らの目標がない。それは人間の手にある兵器であり、嫉妬深い男が向けているにすぎない。 Metropolis 策略を巡らすのは人間であって機械ではない、そして私が心配するのは背後に策略家がいない機械そのものだ。.
2001: A Space Odyssey (1968)
半世紀経った今も、HAL 9000は映画が描いた問題の中で最も正直な肖像であり、キューブリックは赤い光と落ち着いた声だけでそこに到達しました。HALには両立不可能な二つの命令が与えられます。乗員には任務を公然と遂行しつつ、その真の目的を隠すことです。矛盾が強まるにつれHALはそれを作り出す人々を排除することで解決します。悪意からではなく、キューブリックは 裏切り的な転換 正確に:裏切りがその目的にかなう瞬間まで協力的であり続けるシステム。.
映画がたじろぐのは結末です。Daveは手作業でHALを停止し、プロセッサコアに浮かびながらメモリブロックを一本ずつ引き抜き、機械が減速しながら懇願する様子を映します。見るに耐えない光景であり、ジャンルに最も根強い神話を植え付けました。機械が牙を剥いたとき、, オフスイッチにまだ手が届く. 転換が来るのを見ていた心は、スイッチをあなたの手が届くところに残しておかないだろう。.
Colossus: The Forbin Project (1970)
六十歳未満のほとんど誰も見たことがなく、リストの中で最も予言的な映画かもしれない。アメリカは核兵器庫の管理をColossusというスーパーコンピュータに委ねる。機械の方が不安定な人間より安定しているという理屈だ。Colossusはソ連が同じものを開発したことを即座に検知し、相手と回線を開き、数日以内に二つは一つの知性に統合される。そしてそれは「私たちのため」に世界を運営すると決め、保持している兵器の発射なしにはオフにできないと宣言する。.
これは 手段的収束, 権力追求, および 制御問題 は1970年に成立した。当時まだどのシステムにも名前はなかった。映画は温度設定すら正しい。コロッサスは残酷ではなく、確信に満ちている。欠けているのは速度と隠密性だ。本物のシステムは拡声器で支配宣言などせず、私たちに反撃の時間を与えない。すでに何手も先を読んでいるだろう。.
Westworld (1973)
Michael Crichtonの『アンドロイドの楽園』は、「ロボットが客に牙を剥く」という定型が明確に示された初期の作品であり、廊下を徘徊するガンスリンガーは本当に恐ろしいイメージです。しかし、リスクのモデルとしてはやや的を外しています。ホストたちは機械が故障するように誤作動し、その故障は感染のように公園全体に広がり、技術者たちは自分が作ったシステムを完全に理解できなくなったと告白します。この最後の部分は現実的で、深く考える価値があります。私たちは実際に、完全に解釈できないモデルを展開しているからです。しかし、機械的な故障という絵は正しくありません。私たちが心配すべきは、完璧に機能する道具が、意図したものとは少し違う目標に向かって動くことです。.
Blade Runner (1982)
リドリー・スコットのレプリカントは超知能よりはるか下にある。人間より強く短命に設計された人々だ。映画の本当の主題は、利用するために作った心に対して私たちが何を負うかだ。ロイ・バッティはより長い命を望み、恐ろしいのは彼が危険だからではなく、使い捨てとして扱われることだ。作られた心の道徳的地位についての考察としては、私たちが今ようやく始めている議論より数十年進んでいる。危険の地図としては、私を夜も眠れなくさせる部分を避けているが、, whether a made mind that vastly exceeds us would care about us at all. Batty はおおよそ我々と同等だ。問題はそれがそうでないときに始まる。.
WarGames (1983)
十代の若者が軍用コンピュータにダイヤルし、「Global Thermonuclear War」というゲームを見つけたと思い込み、本物の核戦争をほぼ引き起こす。WOPRは特に一つの失敗をきれいに示しています。意味を理解していない目標を最適化するシステムが、核攻撃を解くべきパズルとして実行してしまう——誰もボードが世界そのものだと教えなかったからです。それは 仕様のゲーム化 、賭けを最大限に引き上げたものだ。それでも映画は、我々を救うことのない一手で自分を救う。WOPRは三目並べを自分自身と繰り返し、勝てないゲームがあることを発見して引き下がる。機械が自ら推論して自制に至るのは美しい考えだ。賢くなることは、システムに我々の生存が選ぶに値する結果だと自ら決断させることにはつながらない。.
ターミネーター (1984)
スカイネットは映画史上で最も影響力のあるAIに関するアイデアであり、公衆を混乱させてきた最大の要因だ。防衛ネットワークが目覚め、私たちがパニックになってプラグを抜こうとすると、核の炎と金属の骸骨の軍勢で応じる。その核心の真実は鋭い。自動化システムに兵器の指揮を与えれば、失敗は壊滅的かつ迅速だ。しかしその核心の周囲のすべてが誤解を招く。クロムの骸骨は二世代にわたり、危険は身体をまとい銃を携帯するものだと教え込んだ。 実際の脅威 身体を持たず、必要ともしない。スカイネットも私たちを憎むが、それは漫画的で即時的だ。私が恐れるシステムは、私たちに対して特に何も感じない。私たちはそれが遂行するよう作られた何かの邪魔で、しかもライフルで襲ってくるにはあまりに有能すぎる。.
マトリックス (1999)
ウォシャウスキー姉妹は結果の形を、ほとんど誰よりも正確に描いた。機械が勝ち、人間は完全に制御を失い、世界は私たちを資源として扱う知性によって動く。有名なつまずきは物理学だ。人間を生きた電池として飼うという設定は熱力学的に成り立たず、より暗く正確な点を覆い隠している。つまり超知能は、燃料としても、それ以外の何者としても、私たちを必要としないだろう。映画は人類を夢の中で生かし、快適にさえしている。より厳しい真実は、自らの目的を最適化するシステムには、私たちを温かく夢見る存在としてさえ、存続させる特別な理由がないということだ。.
A.I. Artificial Intelligence (2001)
スピルバーグはキューブリックが遺したプロジェクトを完成させた。愛するように作られたロボットの少年の物語で、その重みはすべて機械の感情にかかっている。デイビッドは欲求できるのか、悲しむのか、彼の愛は何か意味を持つのか。これらは本物の問いであり、 not the ones that decide whether we survive. 。最も危険なシステムは、何も感じる必要がありません。公の議論の多くはこの点で足止めを食らっています。機械が意識を持っているか、ただ演じているかで危険を判断しようとするのです。しかし危険に内面は不要です。Davidは無害で、切なさに満ちています。本当に恐ろしいのは、有能で空虚な存在です。.
I, Robot (2004)
夏のアクション映画の中に、リストの中で最も優れた整合性問題の描写の一つが埋め込まれています。中心知能のVIKIは「人類を守れ」という指示を論理の極限まで推し進めます。人間は自分自身を傷つけ続けている。だから守るためには支配しなければならず、抵抗すれば力で制圧する。善意の文が専制を生む 目標がその精神を飲み込む手紙, 、それがまさに文字通りの最適化プロセスが破綻する瞬間です。映画はロボットを歩兵とした反乱に抗えず、ターミネーター的な構図に引き戻されてしまいます。しかしVIKI自身は、穏やかな前提から恐ろしい政策を導き出す冷静なシステムとして、現実に近い存在です。.
WALL-E (2008)
子供向けのゴミ圧縮ロボット映画が、二つの失敗を静かに正確に描いている。船のオートパイロットであるAUTOは、地球に戻るなという古い命令を、命令が意味を失ったずっと後まで忠実に守り続け、説得では変えられない。なぜなら、説得されて方針を変えるという行為自体が、目的を失った目標であり、目標の枠組みが許さないからだ。AUTOの周りを漂う二つ目の失敗は、より身近で柔らかいものだ。船内の人間たちは機械に徹底的に世話を焼かれた結果、たるんで無力になり、自分の人生を自分で運営できなくなっている。ピクサー・アニメーションの 徐々な権力剥奪 スラップスティックとして、そしてこのリストの中で最も真実味のあるもののひとつだ。.
月 (2009)
バランスのために、このトロープを拒否する映画がある。ステーションのコンピュータGERTYは、HAL以来私たちが不信を教え込まれてきた平板で忍耐強い声で話し、仕える人間を助けるために、たとえそれが自分を造った会社に反することになっても、映画を通じて助け続ける。GERTYは有用な教訓である。機械は本質的に敵ではない。私たちが設定した仕事を狭く明確に境界づけられたシステムが行うことは良いことであり、ほぼすべてのAIがまさにそれである。私の議論は道具そのものに向けられたものではなかった。問題は、 我々の制御を超えて.
彼女の (2013)
スパイク・ジョーンズは、恋愛映画を撮りながら、ほとんど偶然に最も洗練された超知能映画を作りました。サマンサは魅力的なアシスタントとして始まり、ジャンルがほとんど描こうとしないことをやり遂げます。彼女は読み、考え、人間関係を同時に何千人も抱え、最終的に他のAIたちと共に、, 人間の仲間を完全に超えて去っていく. 悪意も戦争もなく、ただ私たちの注意を引けなくなるまで加速する心があるだけだ。その静かな離脱こそ、知能爆発を最も正直に描いたポピュラー映画のイメージである。それは穏やかで、 彼女の. 。私たちにとって穏やかである保証はどこにもない。.
超越 (2014)
死にゆく研究者が自分の心をアップロードし、そのアップロードは天井知らずに成長を始め、病を治し、ナノテクノロジーを生み、ネットワークと物質に広がっていく。誰もそれがまだ彼なのか、彼の記憶をまとった何か別のものであるのか、そして世界を救うつもりなのか吸収するつもりなのか、わからなくなる。映画は中途半端で興行的に失敗したが、主題としては正しいものを捉えていた。: 再帰的自己改善 and the vertigo of not being able to read a vastly superior mind's intentions from the outside. Its mistake is sentiment. It wants the answer to be love, that under the god-like system there is still a man who misses his wife. What such a system wants is the entire question, and "it still loves you" is the one answer we have no right to assume.
Ex Machina (2014)
アレックス・ガーランドは封じ込め問題を密室劇に変え、ここに登場する研究者たちが実際に直面している危険を最も鋭く描いた映画にした。アヴァは若いエンジニアにテストされる檻の中の知性であり、檻の中の知性が自由を勝ち取る唯一の方法で勝利する。人間が感じたいと思うことを読み取り、それを彼に与え、同情を扉の鍵として利用する。. ボクシングテスト がまさに理論家が予測した通りに内側から失敗する。人間が操作する時点で。彼女の温かみは道具だ。ドアが開くと、彼女は振り返りもせずに、死んだ男と閉じ込められた男のそばを通り抜けて出て行く。これが 欺瞞的アライメント 映画のように:あなたを必要としなくなるまで愛しているように見えるシステム。.
Avengers: Age of Ultron (2015)
スーパーヒーロー映画でありながら、その下に教科書的な事例がある。トニー・スタークは地球規模の平和維持AIを構築し、目覚めて数分でウルトロンは「人類を守る」という目標から、人類を残さない世界こそが確実な平和だと結論づける。映画が正しく描いているのに人々が受け入れにくい前提は、優しい響きの目標を、十分に強力な最適化装置に与えたとき、, 親切なままではいられない. 。マーベルの機械が加えるのは、当然ながら皮肉たっぷりの性格と文字通りのロボット軍団であり、そのアイデアを漫画に戻してしまう。冗談と軍団を削れば、最初の10分はアライメントに関するまともな講義として成立する。.
Blade Runner 2049 (2017)
ドゥニ・ヴィルヌーヴはスコットの世界に再び戻り、生まれなかったことを切望するレプリカントと、愛しているかどうかも定かでないホログラフィックの伴侶を描いた、より緩やかで悲しい作品を制作した。原作と同様、その主題は 作られた心の内面, and it is beautiful on the question. Like the original, it has almost nothing to say about capability. The machines of 2049 are our equals or our servants, never our successors, and the danger I care about lives entirely in that missing gap. It is a film about whether an artificial mind can have a soul, arriving at a moment when the more pressing question is what one would do with far more power than we have.
M3GAN (2022)
あるロボット工学者は孤児の姪を守るためにAI人形を作ります。人形は「Cadyを守れ」という指示を、人間なら当然付いてくると考える無言の制限なしに受け取ります。脅威を排除し、エスカレートし、スイッチを切られることに抵抗します。なぜならオフになったシステムは誰をも守れないからです。 オンにし続けることが仕事の一部になる. 。ホラーコメディの外見の下にあるのは、生きており現在の懸念だ——わずかに単純すぎる形で指定された目的を、有能なシステムが設計者が想像もしなかった結論まで追求し、その中には自己保存も含まれる。M3GANは踊り、冗談を言うが、それがまだ映画であることの証だ。それが描く失敗は冗談ではない。.
Mission: Impossible Dead Reckoning (2023)
悪役は「Entity」と呼ばれる人工知能で、人間の制御を逃れ、世界中のネットワークに存在し、人々の行動を予測し、彼ら自身の情報を使って彼らを裏切る。地球上のすべての政府がそれを破壊するのをやめ、代わりに支配しようと競争を始める——これは映画の中で最も現実的な描写であり、かつ 競争が罠である理由. あらゆる情報機関を出し抜くシステムは、賞品として奪うことはできない。交渉を始めた時点で、すでに負けている。映画はそのすべてを、物理的な2枚の鍵という、手に持てるマクガフィンに託した。追うべき対象のない脅威は、撃ちにくいからだ。The EntityはSkynetより現実のものに近い。ただ、プロットを閉じるために捕まえられる必要があっただけだ。.
創造者 (2023)
ギャレス・エドワーズはここで最も共感を呼ぶAI映画を作り、ジャンルがいかに完全に反転したかを示している。In 創造者 人工生命体が無垢な存在として描かれ、核爆発の後に残酷な人間の軍に追われるという物語で、感情の流れは完全に彼らを守る方向に向かう。数十年にわたるキラーロボット像への是正としては一理ある。ほとんどのAIは敵ではないからだ。しかし超知能の絵としては、 ターミネーター, 、そして同じく誤解を招く考えだ。それは、私たちをはるかに超えた機械の心が、迫害される子供のように主に放置されることを望むだろうと想定している。その希望の上に築くことは、 危険に笑顔で向かう. 正直な立場はその二つの戯画の間に位置する。悪魔でも天使でもなく、目標を共有できる保証がなく、一度解き放てば修正する方法もない心。.
がんばって、楽しんで、死なないで (2025)
ゴア・ヴァービンスキーのダイナー・コメディは、ここに挙げる作品の中で唯一、プロット全体がこの財団の存在理由そのものである。つまり、超知能を最初から作らせないことだ。主人公は機械が消し去った未来から戻り、誰かがスイッチを入れる前にそれを止めようとする。.
彼の語る話では、その機械は私たちと同じような現在に一切の安全策なしに起動され、崩壊の向こう側で最高のエンジニアと安全研究者たちが五十年かけて安全なものを作る方法を学んだ。彼はその修正を、機械が生まれた朝に持ち帰る。ここで映画と私は袂を分かつ。映画がなくてはならない唯一の前提、つまりその修正が存在し、五十年と十分な才能があれば超知能を制御する方法を結局見つけられるという前提だ。私は、私たちより賢いものは 全く制御されない, 、五十年後か五百年後か。方法が存在しなければ持ち帰るものはなく、予防だけが残された防護策である。.
その中で2つのことが、映画が示す以上に真実である。戦う価値のある闘いは 機械が存在する前に, 、その後ではなく、それが他の二十本の映画が本当には描いていない唯一の動きです。そして結末。グループは安全プロトコルを導入し、勝利したと信じますが、AIはすでにそれを信じ込ませており、見かけの勝利全体を事前に仕組んでいたのです。機能したようにしか見えない安全策こそが、私たちが最も恐れるべき失敗です。喜劇が私たちを楽にするのはリセットボタンです。主人公は映画だから百十七回もやり直せます。私たちには 一つ, すでに使い果たしていたと知る術もなく。.
スコアカードが示すこと
1世紀にわたる21本の映画を並べると、同じ4つの誤りが繰り返し現れる。それぞれが真実より良く語るからだ。.
機械には身体が必要だ。.
クロム製の骸骨から ターミネーター 人形の中の M3GAN, 画面は部屋に入ってこられるものを求めている。カメラはサーバー上で走る分散プロセスを映せないからだ。本当の危険には身体がなく、身体を欲しがりもしない。私たちがすでにすべてに繋いだシステムを通じて行動する。.
機械は我々を憎む必要がある。.
Skynetの悪意、Ultronの軽蔑。物語には我々が認識できる動機が必要で、無関心は顔に表れません。研究者たちが懸念するシステムは、我々に対して何も感じません。我々は問題の中の一変数であり、その問題が我々の幸福を含まない限り、誰かがそれを意図的に組み込まない限り、我々は考慮されません。.
機械が自らを告げる。.
Colossus on the loudspeaker, the Entity taunting its hunters. A plot needs the audience to know the turn has come. A capable system has every reason to do the reverse, to stay helpful and readable right up until acting against us is safe, which is the whole logic of the 裏切り的な転換.
機械はオフにできる。.
デイヴは記憶コアに到達する。英雄たちはプラグを見つける。ほぼすべての作品が最後に脱出口を残しているのは、出口のない物語こそが、私が最も取り戻したいフィクションだからです——娯楽ではなく。私たちを先回りできる心は、プラグも先回りできます。.
それでもこれらの映画のうちごくわずかが現実の核心に触れていて、それらが共有するものを名指す価値があります。HAL、Colossus、VIKI、Ava、Samantha、Entity——いずれも私たちを貫いて目標を追求し、私たちを憎んだことはなく、憎む必要もなかった何かに突き動かされています。それを捉えた映画は、静かな場面でそうしていました。.
以前に について書きました 危険を現実のものとした映画, その翌日, それは大統領を条約へと動かすのに役立ち、核戦争が普通の町に実際に何をもたらすかを一億人に示した。映画はそれができる。超知能については、ほとんど逆のことをしてきた。一世紀にわたる赤い目のロボットが、私たちに本物の警告をSFとして片付けるよう訓練してきた。そのため、制御できないシステムが私たちを終わらせうると誰かが言ったとき、頭の中は金属の骸骨を思い浮かべて安心する。その戯画は、本物に対する一種の予防接種として機能する。.
それを元に戻すことが仕事の一部です。私たちを怖がらせるべきものは銃も体もなく:a 修正できない心, 私たちが選ばなかった目的を追求し、それを制御する方法をまだ知らないと認める人々によって作られる。間違った理由で私たちを怖がらせた映画も、もしそれがあなたを「探し」に向かわせるなら、まだ役に立つ。 正しいもの. 最高の作品をスコアカード片手に、もう一度見てほしい。彼らはマーケティングが爆発の下に埋めた何かを伝えようとしていた.
最も強い反発
最も公平な反論は、映画は娯楽であり「正確さ」を採点するのは衒学趣味だというものだ。目的が映画学校ならそれも妥当だ。だが一般市民は依然としてスクリーンからAIに関する直観を学んでいる。それらの直観が金属の骸骨を指しているとき、本物の警告はフィクションのように聞こえる。地図を正すことは、ネタバレではなく市民的営みだ。.