초지능 거버넌스에 대한 반대는 영리한 일을 합니다. 위험을 인정하고("물론, 어쩌면 위험할 수 있지") 조용히 불가능성을 기술에서 해결책으로 옮깁니다. 위험을 부정할 수 없다면, 대응 자체를 순진하거나, 그 자체로 위험하거나, 단순히 희망이 없어 보이게 만들 수 있습니다. 그 효과는 위험을 outright 부정하는 것과 같습니다. 아무것도 이루어지지 않습니다.
규제는 혁신을 질식시키고 무모한 쪽에 주도권을 넘겨줄 것이다. 아직 너무 이르다. 민주주의 국가들이 합의할 리도 없다. 이런 주장이 우려를 마비로 바꾼다.
다음은 내가 가장 많이 듣는 다섯 가지 반론을, 가능한 한 강하게 진술한 것입니다. 약한 버전에 대한 반박은 아무도 설득하지 못하기 때문입니다. 관련된 반론 가족(중국이 준수하지 않을 것이라는 점, 기업이 스스로 규제할 것이라는 점, 나쁜 시스템을 그냥 끌 수 있다는 점)은 신화 페이지. 이 다섯 가지는 거버넌스 자체에 관한 것입니다.
"전 세계적으로 인공지능을 통치하는 것은 세계 정부와 폭정을 의미합니다."
지구에 가장 강력한 기술을 제어하기 위해 한 몸에 충분한 권위를 집중하고 기술에서 두려워하는 tyranny의 기계를 구축 할 수 있습니다. 중앙 출력을 위탁하는 사람들은 그것을 위탁하는 권리입니다.
그러나 이는 제안의 허수아비 버전을 겨냥한 것입니다. 실제로 논의되는 것은 하나의 특정한 것만을 겨냥한 좁은 체제입니다: 전반적으로 어떤 인간보다 강력한 시스템을 생산할 수 있는 극히 소수의 엄청나게 큰 훈련 실행이지, 일상생활에 대한 세계적 권한이나 소프트웨어 전반에 대한 권한, 또는 주머니 속 전화기에 대한 권한이 아닙니다. 모델은 핵 비확산 체제 또는 화학무기금지협약, 핵분열 물질과 전구 물질을 감시하는 표적 협정이지, 국민국가를 해체한 세계 정부가 아니다. 국제원자력기구가 지구를 운영한다고 생각하는 사람은 없다. 그것은 특정하고 위험한 활동을 감시하고 나머지는 그대로 둔다.
영구적인 폭정으로 가는 가장 확실한 길은 조약이 아니라 조약의 부재입니다. 통제 불가능한 초지능, 또는 다른 누구보다 먼저 통제를 해결한 단일 기업이나 국가에 포획된 초지능은 지금까지 상상할 수 있는 가장 완전한 지배 도구이며, 결코 죽지 않고, 결코 지치지 않으며, 하나의 가치 집합을 고정시킬 수 있는 힘입니다 영원히, 반란이나 개혁의 희망을 넘어선 상태입니다. 역사상 모든 독재는 독재자가 죽고 그 기계가 인간이었기 때문에 끝났습니다. 이번에는 그럴 필요가 없습니다. 책임지지 않는 권력을 두려워한다면(그리고 두려워해야 합니다) 강제 가능한 합의 어떤 단일 행위자가 그 권력을 장악하지 못하게 하는 것이 반권위주의적 입장이지, 권위주의적 입장이 아닙니다.
"검증할 수 없습니다. 그냥 서버 어딘가의 소프트웨어일 뿐입니다."
핵 치료 작업, 치료 골격은 말한다, 당신은 전신을 계산하고 풍부를 감지 할 수 있기 때문에; 우라늄은 물리적과 드물다. 그러나 모델은 단지 숫자입니다. 파일을 검사할 수 없습니다. 어떤 계약은 강화되지 않는 극장, 정직하고 속임수에 대해 아무것도하지 않는다.
결정적으로 들리지만, 잘못된 것을 검증하고 있다는 점을 눈치채지 못할 뿐이다. 가중치를 감시하는 것이 아니라 연산 그것을 생산하는 데 필요한 것이며, 연산은 우라늄만큼 물리적이고 희소하다. 최전선 시스템을 훈련하려면 수만 개의 특수 칩이 단일 시설에서 수개월 동안 가동되어야 하며, 이 공급망은 현대 경제에서 가장 좁은 병목 중 하나다. 사실상 네덜란드 기업 하나가 리소그래피 장비를 만들고, 대만 기업 하나가 선단 칩을 제조하며, 미국 기업 하나가 지배적인 아키텍처를 설계한다. 이를 사용하는 클러스터는 전력 소비량이 전력 데이터와 위성 영상에 드러날 정도로 크다. 칩을 세고, 판매 경로를 추적하며, 전력을 계측하고, 건물을 감시할 수 있다. 핵분열 물질은 정확히 이 논리로 관리된다. 희소한 물리적 투입물을 추적하면 무기를 비밀리에 만들 수 없다. 검증 playbook은 이미 존재한다; 여기서 입력은 훨씬 더 집중되어 있습니다. 이는 공학적 문제, 그리고 공학적 문제에는 해결책이 있습니다.
"규제는 혁신을 질식시키고 무모한 자들이 승리하게 할 것이다."
강한 형태: 기술은 누군가 자유롭게 만들 수 있기 때문에 발전하며, 대부분의 규제는 자신이 늦추는 것을 이해하지 못하는 사람들이 작성하고, 인공지능에 무거운 손을 대면 세기 최고의 산업을 가장 적게 규제하는 쪽에 넘겨줄 것입니다. 결함 있는 최전선이 여기 있는 편이 적대적인 곳의 완벽한 최전선보다 낫습니다.
진지한 누구도 "인공지능"을 규제하자고 제안하지 않습니다. 단백질을 접고 스캔을 읽고 아이를 가르치고 기후를 모델링하는 유익한 시스템은 좁고 통제 가능한 도구이며 초지능 협정은 그것들을 완전히 그대로 둡니다 밝고 평범한 미래 는 우리가 보호하려는 대상입니다. 목표는 단 하나의 위험한 부류입니다. 아직 아무도 안전하게 만드는 방법을 모르는, 우리의 능력을 넘어서는 범용 능력을 추구하는 훈련 실행입니다. 그것을 억제하는 것은 생물학에 대한 기능 획득 규칙이 반혁신적이지 않은 것과 마찬가지로 반혁신적이지 않습니다.
그 다음 더 어려운 점, 경쟁 논리가 결코 직면하지 않는 점. 서두르는 것이 안전 superintelligence 빨리. 그것은 안전하지 않는 것을 제공합니다, 그리고 안전하지 않는 superintelligence는 그것을 건설한 국가 또는 회사를 봉사하지 않습니다, 그것은 다른 사람과 함께 그들을 위협합니다. 코너가 경쟁력 있는 압력 하에서 절단을 얻을 때, 절단을 얻는 코너는 시스템 제어가 가능한 한 하나입니다. 그래서 "혁신"은 여기에 방어 된 혁신은 자신의 제작자가 스티어링 할 수없는 시스템입니다. 그것은 위험 자체, 진보를 가장한 채로.
"시기상조다. 존재하지 않는 것을 규제할 수 없다."
이것은 성숙함처럼 느껴집니다. 유령에 반대해 입법하지 말고 기술이 실제가 될 때까지 기다렸다가 다루는 대상을 이해한 뒤 추측이 아닌 사실에 맞춘 규칙을 작성하라는 것입니다. 가설을 규제하는 것은 나쁜 법을 만드는 길입니다.
거의 모든 다른 기술에는 지혜일 것이다. 이 기술에는 함정이며, 이유는 타이밍 때문이다. 거버넌스는 느리다. 핵확산금지조약은 협상하는 데 수년이 걸렸고, 몬트리올 의정서는 효력을 내는 데 더 오래 걸렸으며, 그나마도 빠른 사례였다. 초인간 시스템이 분명히 존재할 때까지 기다렸다가 이를 통제할 기관을 만들기 시작하면, 기관은 통제해야 할 대상보다 수년 늦게 도착하며, 이것이 바로 첫 번째 심각한 실패는 두 번째 법을 통과시킬 사람이 아무도 남지 않게 할 수 있습니다. "증거를 기다리라"는 증거가 생존 가능한 경우에 타당한 규칙이다. 여기서 증거는 재앙이다 예방 논리 치료를위한 리드 타임이 문제에서 신관보다 길다는 인식입니다.
파국적 기술에 대한 모든 실효성 있는 안전장치는 그 기술이 등장하기 전이나 등장하는 동안에 구축되었으며, 결코 그 이후가 아닙니다. 왜냐하면 "이후"는 결코 주어지지 않았기 때문입니다.
"민주주의는 너무 느리고 포획되어 있다. 절대 통과되지 않을 것이다."
5의 가장 조용한 부식성, 그것은 현실주의의 외투를 착용하기 때문에. gridlock, 로비, 다리의 짧은 관심, 산업의 돈의 도달. 치료가 현명한 경우, 그것을 생성하는 기계장치는 부서집니다. 판타지에 수십 년을 낭비하는 것보다 더 명확하게되었습니다.
역사적 기록은 이를 반복적으로 반박해 왔으며, 지금 우리가 직면한 것보다 훨씬 불리한 상황에서도 그랬습니다. 경쟁국들이 가장 치명적인 선택지를 포기하도록 설득하는 것은 절망적으로 순진한 생각이라고 불렸지만, 결국 그들은 그렇게 했습니다 핵확산금지조약, 생물무기협약 및 화학무기협약, 몬트리올 의정서, 남극 조약. 대리전을 치르고 서로를 악마로 부르던 적대국들도 냉전 절정기에 검증된 군비 통제를 구축했습니다. 그 각각은 가까운 쪽에서는 불가능해 보였고, hindsight에서만 필연적으로 보였습니다.
그리고 현실은 냉소가 인정하는 것보다 유리합니다. 미국, 영국, EU 전역에서, 대다수 이미 여론조사원에게 인공지능을 신중하게 개발하고 강력한 규칙으로 묶어야 한다고 말한다. 대중은 장애물이 아니다. 장애물은 이 광범위하고 조용한 우려가 아직 입법부가 느낄 수 있는 압력으로 조직되지 않았다는 점이다. 장애물은 직업: 잠재적 합의를 정치적 의지로 바꾸는 일. 바로 우리가 앞두고 있는 작업입니다.
다섯 가지가 공통으로 가진 것
각 반대 의견은 위험을 인정하면서도 포기할 다른 지점을 찾습니다. 해결책이 너무 크거나, 검증 불가능하거나, 비용이 너무 들거나, 너무 이르거나, 통과하기 너무 어렵다는 식입니다. 어느 하나만 보면 신중함처럼 들리지만, 함께 모이면 유일한 결과가 무관심인 기계가 되고, 무관심은 역사상 가장 중요한 기술을 구속력 있는 제한 없이 경쟁하는 소수 기업에 맡기는 선택입니다.
거버넌스가 쉬울 것이라고 주장하는 것으로는 이 질문들에 답할 수 없다. 쉽지 않을 것이다. 검증은 논쟁이 될 것이고, 협상은 느릴 것이며, 일부 정부는 발을 빼려 할 것이다. 역사상 모든 어려운 조약이 그런 과정을 겪었고 그래도 만들어졌다. 정직한 주장은 그것이 가능하며, 이미 그 조각들이 존재하고, 그것을 치워버리려는 이유들이 검토되는 순간 무너진다는 것이지, 초지능 협정이 단순하다는 것이 아니다.
"불가능하다"는 우리가 지금까지 해낸 모든 비슷한 노력에 대해 틀렸습니다. 과제는 가장 위험한 시스템을 안전하게 만들 수 있을 때까지 구축하지 못하도록 하는 구속력 있고 검증된 협정을 위한 정치적 의지를 만드는 것입니다. "그러니 포기하라"는 결코 답이 아니었고, 지금도 답이 아닙니다.