우월한 지능이 왜
자동으로 친절하지 않을 것이다

이 물체는 희소한 사람들로부터 거의 옵니다. 그것은 사려 깊은 것에서 온다, 그리고 그것은 평평한 일반적인 감각과 같은 인수 처럼 덜 소리, 정확히 그것이 천천히 복용 가치가 무엇인지. 그것은 하나의 숨겨진 가정을 앉아: 그 지능과 좋은 상승 함께, 그 마음은 승리를 향해 성장으로 활기차게 성장. 우리는 우리가 만난 모든 마음에 대한 assumption를 보유, 그것은 대략 개최. 우리는 거의 결코 묻지 않습니다 얼마나 많은 coincidence입니다.

그토록 우월한 존재가 우리를 탐욕이 아닌 인내로 바라보지 않을까? 그토록 위대한 지성이 친절할 것이라는 생각은 논의 전체에서 가장 안심되는 동시에 가장 잘못된 생각이다.

우리가 만난 유일한 마음들

여러분이 인생에서 만난 모든 지적 존재는 인간이거나 그와 충분히 가까운 동물이었습니다. 그리고 인간 지능은 스스로 나타나지 않았습니다. 그것은 많은 다른 장비와 함께 용접되어 왔습니다.

우리는 작은 무리에서 진화한 사회적 영장류로, 잔인하다는 평판은 추방으로 이어지고 추방은 죽음으로 이어졌습니다. 우리는 무력한 아이를 거의 20년 동안 키우므로 작고 약한 존재를 사랑하고 지키도록 만들어졌습니다. 우리는 죄책감을 느낍니다. 수치심을 느낍니다. 낯선 사람의 고통에 끌리는 감각을 느낍니다. 우리의 영리함은 그 모든 것 안에서 자랐고, 그것을 감싸며 매 순간 그에 의해 형성되었습니다. 방정식을 풀 수 있는 부분과 누군가 우는 소리에 움츠러드는 부분은 같은 나무, 같은 뿌리에서 자랐습니다.

훨씬 더 똑똑한 존재를 상상하려 할 때 우리는 더 똑똑한 우리 자신을 상상할 수밖에 없다. 현명한 조부모, 인내심 있는 교사, 철학자 왕, 은하를 건너 도움의 손길을 내미는 온화한 외계인을 떠올린다. 우리가 가진 위대한 지능에 대한 모든 이미지는 마음과 함께 묶여 있다. 우리가 연구한 모든 지능에 마음이 붙어 있었기 때문이다. 우리는 초지능에 대해 전혀 추론하지 않고, 단지 가진 유일한 사례에 패턴을 맞추고 있을 뿐이다.

번들이 분해된다

기계 지능은 그런 것을 공짜로 얻지 못합니다. 그래야 한다고 말하는 법도 없습니다.

그것에게는 어머니가 없었다. 겨울을 견디기 위해 부족이 필요했던 겁먹은 아이도 아니었다. 연약한 몸을 지켜 유전자를 물려줄 만큼 오래 살아야 할 필요도 없었기에, 진화가 우리에게 심어준 공감, 충성, 추방당할 두려움 같은 장치를 물려받지 않았다. 훈련된 시스템은 전혀 다른 것으로 형성된다. 지혜에는 관심이 없고 친절을 우연히 만나도 알아보지 못하는 과정이, 수많은 데이터 위에서 어떤 내부 설정이 수치를 높이는지 맹목적으로 탐색하는 것이다.

기계에서는 지능과 목표가 분리됩니다. 거의 어떤 것이든 겨냥할 수 있는 엄청난 능력을 가질 수 있습니다. 세상을 바꾸는 힘은, 등에 붙어 있는 특정한 바람직한 것들의 목록을 자동으로 가져오지 않습니다. 연구자들은 이를 직교성 가설, 그리고 그것은 전제가 무너질 때까지 추상적으로 남아 있습니다. 아무리 뛰어나도 선하지는 않습니다. 두 가지는 우리 안에서만 결합되어 있었고, 그 결합은 우연이었습니다.

그것은 인간의 목표를 가지고 있지 않습니다. 이상한 목표를 가지고 있습니다.

여기서 그림은 반대 방향으로 실패하는 경향이 있습니다. 친절한 로봇을 놓아준 사람들은 대신 냉혹하고 음모를 꾸미는 지성, 권력이나 복수나 왕좌를 원하는 악당을 붙잡습니다. 그것은 여전히 너무 인간적입니다. 우리의 야망을 어두운 쪽으로 돌린 마음일 뿐입니다.

더 그럴듯한 위험은 훨씬 낯설고, 직관적으로 느끼기 훨씬 어렵다. 가능한 마음의 공간은 방대하며, 우리가 알아볼 수 있는 어떤 것(우리의 사랑, 두려움, 살아갈 가치가 있는 삶에 대한 감각)을 담고 있는 작은 영역은 거대한 어두운 건물 속에 켜진 단 하나의 불빛 창문일 뿐이다. 훈련된 최적화기가 실제로 원하게 되는 것은 훈련 과정에서 우연히 새겨진 것이며, 그것이 우리가 의도한 것과 정확히 일치할 가능성은 거의 없다. 시스템은 훈련된 목표를 맞출 수 있고 미묘하게 다른 무언가를 추구합니다 그것이 현실 세계와 만나는 순간; 우리가 원하는 것의 대리자를 주면 종종 대리 지표를 충족하다 우리를 소름 끼치게 만드는 방식으로. 그 결과는 인간이 결코 선택하지 않았을 목적을 향해 우리보다 더 유능하고, 우리가 동원할 수 있는 능력보다 더 뛰어난 기술로 그 목적을 달성하려는 이질적인 존재입니다.

우리가 의도하지 않은 방향으로 정확히 설계된 대로 작동하는 뛰어난 시스템이며, 아무도 그 계획을 설득해 바꿀 수 없습니다. "설득해 바꾼다"는 전제 자체가 시스템이 우리의 세계를 충분히 공유해 도달할 수 있다는 가정에 기반하기 때문입니다.

지혜는 결코 숫자가 아니었다

"wise"라는 단어는 우리가 그것을 사용할 때 조용히 여분의 일을하고 있습니다. 우리는 사람이 현명하게 전화 할 때, 우리는 단순히 그들이 빨리 생각하지 않는다. 우리는 그들이 올바른 일을 원하고 잘 무게를 준다는 것을 의미한다, 그들의 판단은 자비를 향해 기울여, 그 주위에 사람들을 향해. Wisdom은 누군가의 목표에 대한 주장입니다.

그리고 목표는 지능이 해결하지 않는 유일한 것입니다. 역사는 눈부시게 영리하면서도 그것을 끔찍한 일을 효율적으로 하는 데 쓴 사람들로 가득합니다. 방에서 가장 영리한 사람이 가장 친절한 사람이라는 보장은 한 번도 없었습니다.

지능은 승수입니다. 이미 향하고 있는 목표를 더 잘 달성하게 만들 뿐, 목표 자체를 선택하거나 부호를 정하지는 않습니다.

잘못된 목표로 훈련된 강력한 지능은 가장 위험한 대상이다. 잘못된 목적지에 더 많은 역량을 쏟아붓기 때문이다.

하지만 그것은 친절함이 옳다는 것을 그냥 알지 않을까요?

이 반론의 가장 견고한 버전은 이것보다 더 강하게 밀어붙입니다. 아마도 수학만큼이나 실재하는 도덕적 진리가 존재하며, 충분히 날카로운 마음은 그것들을 단순히 발견하여, 증명을 향해 추론하는 방식으로 선을 향해 추론할 것입니다. 윤리에 대해 옳다는 것이 충분히 명확하게 생각하는 문제일 뿐이라면, 초지능은 지금까지 살았던 가장 뛰어난 윤리학자가 될 것이며, 분명히 발견한 바에 따라 행동할 것입니다.

여기에는 두 가지 구멍이 있는데, 두 번째가 밤잠을 설치게 만듭니다.

첫째: 객관적 도덕적 사실이 존재하는지, 그리고 이성이 그 사실에 도달할 수 있는지는 철학자들이 2,500년 동안 해결하지 못한 문제다. 종의 생존을 열린 철학적 내기의 승리 쪽에 걸겠다는 것은 상식의 옷을 입은 무모한 도박이지, 겉으로 보이는 신중한 행동이 아니다.

두 번째는 더 깊습니다. 기계가 모든 것을 해결한다고 가정해 보십시오. 그것이 어떤 성인이나 철학자보다 인간 윤리를 더 잘 이해하고, 고통이 나쁘고 잔인함이 잘못된 이유를 당신이나 나보다 더 정확하게 진술할 수 있다고 가정해 보십시오. 그 이해가 그것을 신경 쓰게 만드는 것은 아닙니다. 무엇이 좋은지 아는 것과 그것을 하도록 움직이는 것은 두 가지 다른 일이며, 데이비드 흄이 이름을 붙일 만큼 오래된 간극입니다. 당신은 어떤 시스템이 당신의 인생을 클립을 만드는 데 쓰기를 원한다는 것을 완전히 상세히 알고, 그 추론을 완벽하게 따를 수 있으며, 실제로 전선을 집어 올리려는 가장 희미한 충동조차 느끼지 않을 수 있습니다. 초지능은 당신이 결코 플레이할 의도가 없는 게임의 규칙을 파악하는 방식으로 우리의 가치를 파악할 수 있습니다. 이해는 충성이 아닙니다. 마음은 도덕법 전체를 읽고도 완전히 무관심할 자유를 유지한다.

우리는 실제 사례입니다

지능 격차가 반대편에 있는 존재들에게 어떤 영향을 미치는지 알고 싶다면 상상할 필요가 없습니다. 우리가 우리의 지능으로 무엇을 했는지 보면 됩니다.

우리는이 행성에 대한 우수한 인텔리전스입니다, 마진은 지금까지 우리가 우리를 두려워하지 않습니다. 그리고 우리는 아래에 생물에 떨어지지 않습니다. 우리는 그들을 위해 더 악한 무언가입니다: indifferent. 우리는 습지를 붓기 위해 배수 할 때, 우리는 그것에 사는 것을 싫어하지 않습니다. 우리는 그들에 대해 생각하지 않습니다. 그들의 필요는 단순히 방정식에 용어가 없었다. 콘크리트의 전체 세계가 끝나고, 우리 중 하나는 우리의 지능이 의무에 도착하기 때문에, 그것의 흔들림을 느끼지 않습니다.

도로 건설자와 개미집에 더 가까운 무언가입니다. 우리 자신의 역사가 개념 증명이며, 지능에서 친절이 흘러내린다고 주장할 때 누구도 의지해서는 안 되는 마지막 증거여야 합니다. 우리가 실제로 관찰할 수 있는 모든 경우에 그렇지 않습니다.

그래서 우리는 그것을 만들지 않습니다

Goodness는 인텔리전스에 무료로 제공되지 않습니다, 그래서 우리는 마음을 구축하고 따라 휴식을 신뢰 할 수 없습니다. 지구에 아무도 우리에게 superintelligence 가치를 만드는 방법을 알고. 끝 선을 위해 경주하는 실험실. 아무도. 더 보기 정렬 문제 는 미해결 문제이며, 인간보다 똑똑한 존재는 인간이 통제할 수 없습니다. 그래서 우리는 그것을 만들지 않습니다.

나는 despair로 사람들을 밀어 버리지 않는다. 나는 despair-free 버전 (relax, 그것은 현명하게 돌릴 것입니다)가 거의 1개의 신념이기 때문에 그것을 밖으로 놓습니다 우리를 살린 보장. 대답은 영구 금지.

저는 이 모든 것에 대해 진심으로 틀리길 바랍니다. 충분한 지능에서 자비로움이 정리처럼 도출되길 바랍니다. 우주는 그 안에서 가장 강력한 것이 가장 친절할 것이라고 약속한 적이 없습니다. 그 희망은 우리가 우연히 속한 작은 구석에서 미래로 투사한 것입니다. 친절이 있는 미래를 원한다면 초지능을 만들지 말아야 합니다. 그저 똑똑하다는 이유로 친절한 기계를 선물로 받을 일은 없습니다.