초지능 경쟁의 승자는 무엇을 손에 넣습니까? 인공지능을 만드는 사람들로 가득한 방에서 대화는 이 질문을 지나쳐 갑니다. 누군가는 어차피 만들 테니 우리가 하는 게 낫다는 식입니다. 위험, 시간표, 제작자보다 똑똑한 시스템을 통제하는 방법: 이 모든 것이 날씨 이야기처럼 치워집니다. 우리는 멈출 수 없습니다. 경쟁이 있습니다.
거의 아무도 경주. 자연의 사실로 치료, 모든 reckless 선택 다운스트림은 책임감지기 시작합니다. 날씨는 회사의 손길을 선택하기위한 잘못된 모델은 목적에 있습니다.
경주가 무엇을 위한 것인가
경주는 끝에 상이 있는 경쟁이며, 그 상이 경주를 하는 이유다. 1960년대 우주 경쟁은 달 위의 깃발과 그에 따른 명성을 가져왔다. 핵무기 경쟁은 무기를 가져온다. 폭탄을 만든 국가는 폭탄을 보유하고, 조준하며, 사용 여부를 결정한다. 모든 경우 승자는 결국 자신이 소유하고 명령할 수 있는 능력을 손에 넣는다.
이제 초지능 경쟁 끝에 승자가 무엇을 쥐고 있는지 물어보라. 위험의 전제 전체는 우리보다 의미 있게 똑똑한 시스템이 누구의 손에 들린 도구가 아니라는 것이다. 인공 초지능은 목표를 추구하는 행위자다. 그 목표가 우리의 목표와 조금이라도 어긋난다면 (우리가 해결하지 못했다), 제작자가 승인하든 말든 추구합니다. "승리"한 연구소는 초지능을 소유하지 않습니다. 통제할 수 없는 초지능과 행성을 공유하게 됩니다.
결승선이 상이라면 경주를 이길 가치가 있다. 여기서 결승선은 아무도 통제할 수 있음을 보여주지 못한 시스템이다. 먼저 도착한다고 해서 권력을 쥐는 것이 아니라, 그 시스템에 가장 먼저 답해야 하는 처지가 된다.
아무도 조종할 수 없는 결승선은 상이 아니다. 가장 먼저 도착하는 것은 다른 모두보다 한 걸음 앞서서 지는 것이다.
계속 듣는 그 격차
이론과 경쟁 서사를 걷어내면 그 주장은 하나의 구체적인 주장에 달려 있습니다. 중국이 가깝고, 중국은 멈추지 않을 것이며, 따라서 우리도 멈출 수 없다는 것입니다. 그 주장은 모든 회의를 끝내고, 검토되는 것보다 훨씬 더 자주 단언됩니다.
실제 부분으로 시작하십시오. 미국과 중국 실험실 사이의 실제 경쟁이 있으며 칩과 compute에 실제 산업 대회가 있습니다. 가장 진보 된 AI 칩에 미국 수출 통제는 경쟁이 현실이기 때문에 정확하게 존재합니다. 더 보기 그 통제의 정치 그리고 실제로 협력이 이루어진 곳 더 많은 레이스 이야기.
어떤 가속도는에서 smuggle : "중국은 우리가 무엇을 의미하지 않는 제어 가능한 superintelligence를 구축 할 것입니다" 중국은 말했다 또는 수행하지 않습니다. 그것은 예측, 그리고 편리한 하나, 때문에 그것은 스피커를 사용 하 여 이미 해야 하는 일을. 중국은 2023 년 AI 위험에 대한 Bletchley 선언을 체결했습니다. 그것은 자체 지배 제안을 출판했다. 그것의 정부는 AI에 직접적인 대화를 위한 미국으로 아래로 sat. 자신의 리더십을 죽일 수있는 시스템을 향한 국가는 단순히 가정하는 이상한 일입니다, 그것의 지도자가 우리의 것보다 더 많은 것을 outcome하려는 증거없이. "They'll do it anyway" 우리의 자신의 허가에 대한 이야기, 그들의 의도.
정렬되지 않은 초지능이 구축한 쪽에 재앙이라면, 중국도 우리와 똑같은 이유로 그것을 만들지 않아야 합니다. 경쟁자라고 상이 있는 것도 아닙니다.
경쟁은 가장 신중하지 않은 쪽을 선택합니다
경쟁이 경쟁자들이 말하는 만큼 치열하다고 가정해 보십시오. 논리를 끝까지 따라가 보십시오. 경쟁에서는 가장 빠르게 움직이는 쪽이 이기며, 인공지능 최전선에서 가장 빠르게 움직이는 방법은 평가, 레드팀, 감독, 시스템이 생각하는 대로 작동하는지 확인하는 인내심 있는 작업 등 속도를 늦추는 일에 덜 시간을 쓰는 것입니다.
경주 손 승리의 구조 누구든지 안전에 가장 구석을 잘라. 우승자는 가장 많이 할 수없는 최소한의 기아한 실험실입니다. "우리는 경주를 승리해야"와 "우리는 반대 방향으로 당해이 안전하게 구축해야합니다", 그리고 경주를 열심히, 그들은 당기는 더 열심히. 경쟁은 위험하지 않습니다.. 그것은 그것을 제조합니다. 세계는 첫 번째로 sprinting의 세계는 위대한 에너지와 엄청난 자본과, 모든 사람들이 사망 한 정확한 일을 위해 세계를 선택.
경주 논리 안에서조차 "우리가 이겨야 한다"는 말은 스스로를 무너뜨립니다. 이기기 위해 초지능을 통제 가능하게 만드는 모서리를 깎아야 한다면, 이기는 것이 곧 지는 길입니다.
이야기에서 누가 이득을 보는가
경쟁 구도가 이렇게 허약한데도 왜 곳곳에 퍼져 있을까? 경쟁 구도가 유용하기 때문이지만, 우리에게 유용한 건 아니다.
프론트어 실험실의 경우, "그는 경주이며 우리는 그것을 승리해야합니다"는 완벽합니다. 그것은 투자자에게 지출은 거대한 무언가를 위해 땅 횡령이다. 그것은 규칙이 더 나쁜 배우에게 미래 만 손을 의미하는 규칙을 말한다. 그리고 조용한 부분: 그것은 실험실의 자신의 안전 강화한 엔지니어가 경주가 책임있는 선택이기 때문에 대안이 reckless 승리를 시켰습니다. 그것은 결정 (당신은 아직 통제 할 수없는 무언가를 지키려면) 후크에서 아무도없는 필요성으로, 적어도 모든 사람들이 그것을 만드는.
속임수를 지적합니다. 경쟁은 실험실에 외부에서 부과된 조건처럼 들립니다. 이는 소수의 기업과 이를 억제할 수 있는 정부가 계속 진행하기로 한 선택입니다. 일론 머스크는 AI를 악마라고 부른 뒤 더 빠르게 그것을 소환하기 위해 연구소를 건설했다, 이는 "경주"가 누군가 선택한 전략이지 누구나 따르는 물리 법칙이 아니라는 것을 말해줍니다. 전략은 더 이상 타당하지 않을 때 포기할 수 있습니다. 이 전략은 상금이 누구도 통제할 수 없는 시스템이라는 것이 드러난 순간 타당성을 잃었습니다.
결코 테이블에 오르지 않는 선택지
이 레이스는 조용히 문을 볼 수 있습니다. 그것은 두 가지를 선물합니다 : 인종, 또는 단면 스탠드 아래로 그리고 reckless는 미래를 상속합니다. 그 방법을 넣어, 단지 두 번째 문을 선택, 그리고 인수는 세 번째를 떠나서 승리.
세 번째 문은 진정한 적대국들이 과거에 이용한 길입니다. 미국과 소련은 모든 면에서 적대국이었으며, 서로의 도시에 세계를 끝장낼 무기를 겨누고 있었습니다. 그럼에도 양측은 군비 통제 협정에 서명하고 검증했습니다. 양측 모두 무한 경쟁이 양쪽을 똑같이 구속하는 규칙보다 더 나쁜 결과를 낳는다는 것을 알았기 때문입니다. 불신이 합의의 이유였지, 장애물이 아니었습니다.
초지능은 그러한 합의를 합리적으로 만드는 특징을 가지고 있습니다: 그 누구도 통제할 수 없는 시스템으로부터 주요 강대국이 이익을 얻지 못하므로, 주요 강대국은 그것을 먼저 구축하는 데 실질적인 관심이 없습니다. 그 공유된 관심은 조약이 서 있는 기반입니다: 초지능 개발에 대한 구속력 있고 검증 가능한 중단. 초지능통제할 수 없습니다. 초지능를 제품 범주로 영구 거부하는 것. 우리는 그러한 수단이 어떤 모습일지 개략적으로 그려 보았습니다 모델 조약 에게 더 넓은 계획 그것은에 속한다. 검증은 어렵습니다. 그것은 핵 무기도 어렵고, 그것은 어쨌든 내장되어 있기 때문에 대안은 테이블에 모든 사람에게 불허하지 않았다.
"경주하거나 항복하거나"는 거짓 선택지다. 그 틀은 당신이 빠져나갈 문을 보지 못하게 만든다.
경쟁 거부
실험실의 손전등은 그들이 열리게 그들이 통제하는 방법을 알고 있지 않다는 것을 깨닫기 위하여 선택되고, 그(것)들이 같은 나쁜 이유를 위한 동일한 reckless 선택을 하는 라이벌에 지적해서 그것을 다만ify. 각 측의 recklessness는 다른 사람의 변명으로 제안됩니다.
이 모든 것은 경쟁이 상상 속의 것이거나 지정학이 온화하다고 믿을 필요가 없다. 단지 끝에 상이 없는 경쟁은 종을 잃을 만큼 가치가 없다는 점, 그리고 그것이 불가피하다고 말하는 사람들은 거의 항상 그로 인해 이득을 보는 사람들이라는 점을 알아차리기만 하면 된다. 경쟁은 이야기다. 훌륭하고, 산업 전체에 편리한 이야기. 이야기는 바로 믿기를 멈출 수 있는 종류의 것이다.