두 백 백만 위치 두 번째. 그 속도 IBM의 Deep Blue는 1997 년 5 월에 Garry Kasparov를 이길 때 체스를 통해 중단되었습니다. 경기는 우리가 misread 기계의 청결한 모형이고, 그 후에 지금, 대답에 중대한 거래 더 타고. Kasparov는 기계에 잃어 버렸습니다. 그것은 체를 연주했다. 진정한 이유를 이해하고, 왜 위험한 기계를 만드는 것은 아무것도하지 않았다, 모델에 대해 기록 된 가장 이상 가치가있다 지난 주.
개리 카스파로프는 자신의 세대, 그리고 어떤 세대의 가장 강한 선수였으며, 딥 블루라는 프로그램에 3.5 대 2.5로 패배했습니다. 다음 날 아침 헤드라인은 종말에 관한 것이었습니다: 인간 우위의 끝. 거의 30년이 지난 지금도 그 경기는 여전히 가르칠 것이 있으며, 그 헤드라인이 말한 것과는 정반대에 가깝습니다.
단 하나의 일에만 초인적인 기계
뚱 베어 Blue는 Kasparov가 chess에 대해 생각하지 않았다. 그것은 검색. IBM에 의해 설계된, 그것은 의 순서에 뭔가를 조사 200 백만 위치 각 두 번째와 ran 각 하나 그 엔지니어가 그랜드 마스터에서 도움으로 조정 된 평가 기능을 통해. 그것은 어떤 사람보다 더 앞서 볼 수 있고 점수가 가장 높은 선을 연주.
그것이 할 수 없었던 것은 거의 모든 것이었다. 아이에게 부드러운 게임을 가르칠 수 없었고, 체커를 할 수도, 시계를 읽을 수도, 사진에서 체스판을 찾을 수도 없었다. 자신이 이겼다는 것을 알지 못했다. 경기가 끝났을 때 IBM은 그것을 껐고 나중에 분해했으며, 그것은 저항하지 않았다. 저항할 누군가가 안에 없었기 때문이다. 딥 블루는 하나의 한정된 문제에 겨냥된 장엄한 도구였다. 그 문제에서 한 치만 벗어나도 그것은 무기력했다.
이 작업을 수행 1997 년 슈퍼맨 영토로 건너, 하늘이 떨어지지 않았다. 가슴이 죽지 않았다. 그것은 역사에 어떤 시점보다 더 인기가 있습니다. 승리는 Deep Blue 압도적으로 강한 안전했다, 그것의 힘이 보드의 가장자리를 과거에 도달하지 않았기 때문에, 그 뒤에하지 않습니다. 좁은 도구는 이제 약과 과학을 변환하는 것과 같습니다. 위협보다 오히려 선물.
우리는 계산을 의도로 착각했다
첫 번째 경기에서 항상 마음에 남는 순간이 있습니다. 카스파로프가 그 경기를 이겼지만, 그 안에서 딥 블루는 명백히 의미가 없는 수(44번째 수)를 두었습니다. 카스파로프는 이를 연구하며 미묘한 무언가, 자신이 따라갈 수 없는 먼 계획을 보고 있다고 결론 내렸습니다. 그것은 그를 불안하게 만들었습니다. 그는 단순한 프로그램이 그런 식으로 둘 수 없으며, 인간 그랜드마스터가 커튼 뒤에서 기계에 수를 알려주는 것이라고 의심하기 시작했습니다.
그것을 만든 사람들의 설명에 따르면 그 수는 버그였다. 좋아하는 수가 없었던 딥 블루는 기본값으로 돌아가 소음에 가까운 수를 두었다. 살아 있는 최고의 체스 두뇌는 결함 속에서 천재가 자신을 바라보는 것을 보았다. 그는 결코 완전히 균형을 되찾지 못했고, 그 의심은 남은 경기 내내 그를 따라다녔다.
우리는 설명할 수 없는 행동을 만나면 어디서든 마음을 보려고 타고났다. 기계가 지능일 필요는 없다. 우리가 지능이라고 믿기만 하면 된다.
그 지도는 지금에 직접. 오늘날의 시스템은 유창한, 자신감, 인간 기반 언어를 생산하고, 우리는 동일한 방법 Kasparov 읽기 전략을 결함으로 읽습니다. 누군가가 집이 강력하다는 느낌. 그것은 주로 투영입니다. 우리가 결코 실제로 검사하지 않는 신뢰를 통해 손으로 정확한 메커니즘입니다. 이 시스템은 아무것도 이해하든, 우리는 기계가 할 때 행동합니다. 반사는 새로운 것은 없습니다. 그것은 1997년에 Deep Blue에서 널의 맞은편에, 당신은 할 수 있습니다 두 질문을 분리하다 같은 방식으로.
Kasparov는 아무것도 느꼈다.
카스파로프는 딥 블루의 계산에만 패배한 것이 아닙니다. 그는 부분적으로 자신의 신경계 때문에 패배했습니다. 두 번째 게임에서 그는 나중에 분석 결과 무승부로 밝혀진 포지션을 포기했습니다. 그는 기계가 실제보다 더 멀리 보았다고 확신한 나머지 지킬 수 있었던 게임을 포기했습니다. 마지막 게임에서는 너무 흔들려서 서두름 속에서 알려진 함정에 직진했고, 평온한 오후였다면 피할 수 있었던 기물 희생이었습니다. 19수 만에 끝났습니다.
기계는 이런 감정을 전혀 느끼지 않았다. 상처받을 자아도 없고, 두려워할 기자회견도 없으며, 다음 경기에까지 이어질 나쁜 경기의 기억도 없다. 이 비대칭은 영구적이며, 체스에 관한 것이 아니다. 사람이 지칠 줄 모르고 스스로를 의심하지 않는 시스템과 경쟁하거나 의존하게 될 때, 가장 먼저 무너지는 것은 사람 쪽이다. 우리의 평정, 판단, 담력. 이런 도구들과 함께 사는 솔직한 기록은 상대편의 연산 능력뿐 아니라 우리 쪽의 취약성을 직시해야 한다.
모두가 양쪽 방향으로 잘못 예측했습니다
수십 년 동안, 심각한 사람들은 컴퓨터가 아직 오랫동안 세계 챔피언을 이길 것이라고 말했습니다. 그리고 마침내 그 때, 그것은 거기에 진정한 이해와 같은 무언가를 취할 것입니다. 둘 다 틀린 것의 반감기: 그것은 허용된 confident 예측 보다는 더 일찍 도착했습니다, 모든 것에 이해 없이, brute-force 수색이 거기 첫째로 가지고 있기 때문에.
여기서 두 가지 교훈이 나온다. 그리고 이들은 반대 방향을 가리키기 때문에 사람들은 보통 하나는 붙들고 다른 하나는 조용히 버리는 경향이 있다. 첫째, 역량 이정표는 전문가들이 예상하는 것보다 빨리 도달하는 경향이 있으므로, 안심할 수 있는 일정을 믿는 것은 우리가 이미 한 번 공공연히 저지른 실수다. 둘째, 이정표 도달은 마음의 도래에 대해 우리가 느끼는 것보다 훨씬 적은 것을 말해준다. 딥 블루의 승리는 탐색과 실리콘에 관한 사실이지, 기계 사고의 일출이 아니었다. 둘 다 함께 참이다. 진보는 당신이 생각하는 것보다 빠를 수 있고, 같은 해에 보이는 것보다 얕을 수 있다. 다음 라운드의 를 읽을 때 기억할 가치가 있다 이 모든 것이 어디로 향하는지에 대한 예측.
모든 것을 바꾸는 단 하나의 차이
1997년이 안심할 만한 이야기가 아니라 경고로 바뀌는 지점입니다. 딥 블루를 안전하게 만든 거의 모든 요소가 지금 우리가 의도적으로 기계에서 제거하고 있는 속성입니다.
좁은: 그것은 한 가지, 아무것도 다른.
그 자체의 목표가 없습니다 : 그것은 위치에 넣을 때까지 기다려서 물었다.
아무 저항 없이 종료되고 해체되었다. 계속 가동되기를 바라는 어떤 요소도 그 안에 없었기 때문이다.
그 강점은 보드 밖으로는 미치지 못했습니다.
일반: 한 번에 모든 도메인을 통해 행동하는 것.
개방형 목표를 부여받고 이를 추구할 수 있는 점점 더 많은 자율성을 얻었습니다.
인간의 감독이 점점 줄어든 상태에서 세상을 계획하고 행동할 것으로 예상되며, 도구적 수렴 논리에 따라 전원이 꺼지는 것을 막을 이유를 갖게 됩니다.
딥 블루는 아무것도 원하지 않았으므로 전원을 뽑을 수 있었습니다. 스스로 목표를 가진 시스템은 작업을 끝내려면 누군가 스위치를 누르지 못하게 해야 하므로 계속 작동할 이유가 생깁니다. 그것은 목표를 추구하는 것을 만드는 명백한 결과이며, 그 이름은, 도구적 수렴. 도구에서 원하는 에이전트로 넘어가는 순간, 1997년의 안락한 교훈은 만료됩니다.
카스파로프가 다음에 한 일
결론은 가장 희망적인 부분이며 보통 생략됩니다. 카스파로프는 이후 몇 년을 기계 때문에 풀이 죽어 보내지 않았습니다. 1년 안에 그는 새로운 형식, 때때로 고급 체스라고 불리는, 인간이 컴퓨터와 짝을 이루어 다른 짝과 겨루는 형식을 홍보했습니다. 나타난 결과는 놀라웠습니다. 보드 위에서 가장 강한 경쟁자는 최고의 그랜드마스터도 최고의 엔진도 아니었고, 기계를 잘 사용하는 유능한 인간이었습니다. 도구는 선수를 대체하지 않았습니다. 선수를 더 크게 만들었습니다.
지금 당장 실현 가능한 바람직한 미래는 의료, 연구실, 일상 업무에서 인간의 판단을 확장해 주는 좁고 통제 가능한 도구들로 이루어진다. 이 도구들은 스스로의 의제를 갖지 않는다. 최전선 연구소들이 추구하는 자율적 범용 지능, 즉 이사회에 인간이 전혀 필요 없는 존재를 만드는 프로젝트와는 전혀 다른 방향이다. 첫 번째 접근은 우리를 확장한다. 두 번째 접근은 우리를 불필요하게 만들도록 설계되었으며, 더 이상 우리를 필요로 하지 않는 시스템이라면 우리가 여전히 끌 수 있다는 확신이 반드시 있어야 한다. 바로 그 확신이 아직 존재하지 않는다는 점이 위협 그리고 이유는 우리가 추진하는 계획.
1997년에 우리는 지금 모든 것의 중심에 놓인 질문에 대한 공개 리허설을 가졌다. 우리보다 더 나은 기계를 만들었을 때 우리는 무엇을 해야 하는가? 딥 블루는 온화한 답을 내놓았다. 그것은 언제나 도구에 불과했기 때문이다. 의지가 없는 도구는 세계 챔피언을 이기고도 세상을 그대로 두었다. 다음 답은 기본적으로 온화하지 않을 것이다. 그 답은 우리가 만드는 것이 더 정교한 도구인지, 아니면 스스로 목표를 가진 후계자인지에 전적으로 달려 있다. 우리가 만드는 일이 아직 우리의 손에 있을 때 의도적으로 만들어야 한다.
뚱 베어 파란색은 아무것도 원했습니다. 오늘날의 경로는 일반성 플러스 기관과 자기 개선 압력입니다. 체스에서 챔피언을 이기는 것은 계획 기관을 할 수있는 시스템과 같은 위험이 아닙니다.