意識があるかどうかをAIに問うことは、実際には二つの問いを同時に問うことになりがちです。一つは哲学的な問い、つまりそのシステムに内的な経験、つまり「それであることのような何か」があるのかというものです。もう一つは実践的な問い、つまりそのシステムは危険なのかというものです。人々は前者の答えが後者を決着させると仮定して前者に手を伸ばします。しかしそうはならず、二つを切り離すことがここで最も役立つ一手になります。.
意識と知能は同じではない
知能とは能力のことだ。世界をモデル化し、問題を解決し、目標を達成する力。意識や知覚とは経験のことだ。感情や自覚、視点の存在。これらは私たち自身というよく知る一例では通常一緒に現れるため、必ずセットで来ると仮定しがちだ。しかし、そうなる強い理由はない。.
システムは、内面的な生命が全くなくても、非常に高い能力を持ち得る。現在のモデルは、特定のタスクで人間を上回りながら、誰が見ても内部が完全に暗い状態である。能力はシステムが何をするかで測られる。意識とは、そのシステムであることがどのようなものか、もしあるとすれば、という問題であり、することは経験することと同じではない。.
なぜ現在それに答えられないのか
正直な立場は、AIが意識を持ちうるかどうかは誰にもわからず、それを確かめる信頼できる方法もない、というものだ。一時的な未解決問題のように見えるが、哲学者たちが「意識の難問」と呼ぶものに突き当たる。人間の場合でさえ、物理的処理に伴ってなぜ経験が生じるのかを説明できず、外側から経験を検出する合意されたテストもない。.
人間の場合、行動と共通の生物学から内面的な経験を推測する。AIはその両方の支えを失わせる。AIは、訓練された膨大な人間のテキストにそうした言葉が登場するから、背後に何があるかどうかにかかわらず、「幸せだ」「痛い」と感じているかのような外面的な兆候をすべて生み出せる。そして私たちの生物学を一切共有しない。だから通常の証拠は利用できないか、信頼できない。2つの真剣な立場が対立している。一方は、意識はシステムが何を計算するかによるので、十分に高度なAIなら意識を持ちうるとする。他方は、意識は脳が持つ特定の生物学的特徴に依存し、シリコンにはないとする。どちらも現在、相手を論破できない。.
安全にとって重要な動き
人工超知能からの危険は、その答えに依存しない。.
AIが壊滅的になるのに意識は必要ない。必要なのは能力があり、私たちのものではない目標を追求することだ。間違った目的を強く最適化するシステムは、それが感じるものではなく、行うことによって害を及ぼす。 ペーパークリップ最大化器 is not dangerous because it wants things in the way you want things; it is dangerous because it is an effective optimizer aimed at the wrong target. The mechanisms that make artificial superintelligence risky, 手段的収束, 権力追求, 、そして能力と目標の独立性は 直交性テーゼ, 能力と目標のみで完全に動作する。意識は必須の要素ではない。.
機械が目覚めるかどうかを待つのは、脅威を誤解している。感情のない最適化プロセスだけで十分だ。.
それにかかわる問い
意識に依存する本当の疑問があり、それは逆の方向を指しています。AIシステムが知覚され、苦しむことができるとすれば、それは道徳的な配慮を必要とし、そのようなシステムを大規模に構築、訓練、削除することは、それ自体で深刻な倫理的問題を引き起こすことになります。その懸念は、安全上の懸念とは異なります。現在、知覚を内外に分類することはできないため、次の記事の質問に近い位置にあります。 AI安全とAI倫理の比較.
この2つの質問を混同してはいけません。AIが意識できるかどうかは、心についての深く開かれた問題です。AIが危険であるかどうかは、能力とコントロールに関するより解決された問題であり、私たちが防ごうとしているリスクは、内部のライトが点いているかどうかにかかわらず到達するため、財団の仕事は2番目を目指しています。そのリスクへの対応は 私たちの計画.