결론을 제목에 명시하는 책은 거의 없습니다. 누군가 그것을 만들면, 모두가 죽는다, 2025년에 기계지능연구소의 엘리저 유드코스키와 네이트 소아레스가 출간한 책은 정확히 그 일을 합니다. 주장인즉슨, 어떤 그룹이 오늘날과 비슷한 방법으로 초지능 AI를 구축한다면 결과는 최악의 경우가 아니라 기본적으로 인류 멸종이라는 것입니다. 이는 분야에서 가장 타협 없는 입장으로 일반 독자를 위해 제시되었으며, 주장을 주류 시야로 밀어 올렸습니다.
그 책은 이해할 가치가 있다. 왜냐하면 현재 이용 가능한 어떤 것보다 비관적 주장을 더 명확하게 펼치기 때문이다.
세 가지 움직임으로 본 논증
이 책은 세 부분으로 구성되어 있습니다.
첫째, 위험의 경우. 우리는 AI를 구축 할 수있는 트랙에 있습니다. 우리는 인간 생존과 번영과 진정으로 정렬되는 이러한 시스템 목표를 제공하는 방법을 알지 못하며, 기본적으로 우리가 현재 지정할 수있는 거의 모든 목표를 추구하는 superintelligent 시스템은 장애 또는 자원으로 인류를 치료할 것입니다. 같은 메커니즘에 저자 린: 그 기능은 실패 하지 않는 benevolence, 그 수 있는 낙관은 보정을 저항 하 고 우리가 실제로 원하는 것을 확인할 수 없습니다. 그들의 특이한 주장은 그들이 이 문제는 해결되지 않고 실패는 단지 나쁜 것보다 쉽다.
두 번째는 구체적인 이야기다. 위험을 추상적으로 남겨 두지 않고, 책은 초인적 AI가 어떻게 권력을 장악하고 인간의 통제를 끝낼 수 있는지에 대한 구체적인 시나리오를 서술한다. 저자들은 어떤 단일 이야기도 세부적으로는 있을 법하지 않다고 명확히 밝히며, 요점은 추상적 메커니즘을 생생하게 만드는 것이다.
셋째, 무엇을 할 것인가. 그들의 처방은 진단만큼 직설적입니다. 초지능 AI 개발에 대한 국제적 중단을 진지하게 집행하고, 최전선 시스템 훈련에 필요한 컴퓨팅 하드웨어에 대한 통제를 포함하여 영구적으로 유지하는 것입니다. 초지능은 인간이 통제할 수 있는 것이 아니라, 단지 희망할 수 있는 대상이 아닙니다.
이 책의 핵심 주장은 현재 경로에서는 잘못되는 것이 예상되는 결과이며, 잘못된다는 것은 AI가 잘못될 수도 있다는 것이 아니라 모두가 피해를 본다는 것입니다.
한국어
가장 흔한 반론은 확신의 정도에 관한 것이다. 비판자들은 인공지능 위험이 실재하고 심각하다는 점은 받아들이면서도 멸종이 거의 불가피하다는 주장은 거부한다. 저자들이 능력 성장 속도, 정렬의 어려움, 장악이 어떻게 전개될지에 관한 논쟁적인 전제를 증거가 뒷받침하는 것보다 더 큰 확신으로 다룬다고 주장한다. 다른 이들은 정렬 진전이 책에서 인정하는 것보다 더 유망하거나, 비관주의가 치명주의를 조장해 행동을 저해한다고 주장한다.
책의 신뢰는 가장 경연한 특징입니다. 당신은 특정 overstated 발견 할 수 있으며, 여전히 불쾌한, 때문에 불평은 주로 우리가 어떻게해야하는지 공격, 위험이 실제인지 여부.
재단이 도달한 결론
우리는 이 책의 핵심 신념을 공유합니다. 즉 우리는 초지능을 정렬하는 방법을 알지 못하며, 현재 궤도로 초지능을 만드는 것은 용납할 수 없는 도박이고, 책임 있는 대응은 문제가 해결될 때까지 중단하는 것이라는 점입니다. 우리 글은 그 이유를 다룹니다 정렬은 해결 불가능할 수 있습니다 그리고 왜 정렬되지 않은 초지능은 바람직한 미래를 가져다주지 않습니다.
우리가 다른 점은 강조점과 어조입니다. 그 책은 정렬 문제를 제때 해결할 수 있을지 거의 절망에 가까운 태도를 보입니다. 우리는 그 책 자체가 지지하는 해결책인 구속력 있는 국제적 중단의 실현 가능성에 무게를 두고, 이를 희망 없는 기대가 아니라 실제 선례가 있는 구체적인 정치·법적 과제로 다룹니다 초지능에 관한 성명, 해당 분야의 창립자들이 다수 서명한 이 선언은 일시 정지 요구가 주류로 들어섰음을 보여줍니다 누군가 그것을 만들면, 모두가 죽는다 그 처방전이 sane 하나임을 결론을 내린다. 더 보기 예상값 저자가 보유하는 것보다 훨씬 낮은 신뢰도가 있습니다. 그 처방전을 현실로 전환 구체적인 정치 및 법률 프로젝트.