인류의 이야기가 단 하룻밤 만에 끝날 필요는 없습니다. 가격, 승인, 물류, 주의를 설정하는 시스템으로 결정이 옮겨 가면서 선거는 여전히 열리지만 저작권은 사라질 수 있습니다. 그 미끄러짐이 점진적 무력화입니다. 쿠데타보다 조용하고, 승리하는 동안 놓치기 쉽습니다.
2025년 1월, 여섯 명의 연구자가 그 사건이 결코 일어나지 않을 수 있으며, 인류가 어쨌든 영구적으로 주변화될 수 있다고 주장하는 논문을 발표했다. 얀 쿨베이트, 레이먼드 더글러스, 노라 암만, 데게르 투란, 데이비드 크루거, 데이비드 두베노가 쓴 「점진적 무력화: 점진적 인공지능 개발로 인한 체계적 실존 위험」은 악당도, 탈출도, 멈출 수 있었던 명확한 순간도 없는 실패를 설명한다. 이후 ICML 2025에서 입장 논문으로 발표되었는데, 처음 유포된 인공지능 안전 공동체를 넘어 얼마나 멀리까지 주장이 퍼졌는지를 보여주는 신호였다.
이 논문은 주의 깊게 읽을 가치가 있다. 이 사이트에서 지적하는 대부분의 안전 작업을 포함해 대다수 안전 연구가 포착하도록 설계되지 않은 위험 범주를 밝혀내기 때문이다.
세상이 현재 사람들에게 응답하는 이유
논의는 거의 제기되지 않는 매우 기본적인 질문에서 시작한다. 대규모 시스템이 왜 인간의 이익을 위해 봉사하는가. 경제는 우리에 대한 감정이 없다. 국가도 문화도 마찬가지다. 이들이 사람에게 봉사하는 한 그것은 사람으로 운영되기 때문이다. 경제는 노동자와 소비자가 필요하다. 국가는 납세자·군인·행정관·유권자가 필요하다. 문화는 인간의 마음이 이를 만들고 전달하고 계승해야 한다.
그 의존성은 평범한 사람들에게 기계에 대한 두 가지 종류의 지렛대를 줍니다. 첫 번째는 명시적입니다. 투표, 구매, 파업, 소송, 사임. 두 번째는 더 조용하고 아마 더 중요합니다. 인간 참여가 필요한 시스템은 인간이 참여할 수 있고 참여하려는 상태를 유지해야 합니다. 비인격적이지만, 우리가 먹이고 교육하고 건강하게 하며 최소한으로 만족하게 하는 데 이해관계가 있습니다. 논문은 이를 암묵적 정렬이라고 부르며, 지금까지 모든 기술 변화 속에서 불균등하지만 지속적으로 유지되어 왔습니다.
AI는 의존합니다. 일단 기계는 일을 할 수 있고, 결정을 내리고, 내용을 생성하고, 전쟁을 싸우고, 한 번 필요하면 더 이상 할 수 없습니다. 어떤 AI가 hostile 일지라도 특히 장기적인 계획도 할 수 있습니다. AI는 현지 감각을 만들기 위해 노력하는 것을 충분히 유용해야 합니다.
같은 방향으로 표류하는 세 가지 시스템
이 논문은 세 가지 영역을 통해 메커니즘을 추적하며, 그 패턴은 각 영역에서 반복됩니다.
경제
경제에서 인간의 영향력은 노동력으로 필요하고 소비자로 유치되는 데서 나온다. AI가 인지 노동을 흡수하면서 노동 쪽 영향력은 0에 가까워진다. 소비자 쪽 영향력은 더 느리게 줄지만 역시 줄어든다. 경제 활동에서 기계 간 거래, 기업 간 거래, 모델 간 협상이 차지하는 비중이 커지고 인간 소비는 시스템이 최적화하는 대상에서 점점 작은 부분이 된다. 소득은 AI 자본을 소유한 쪽으로 집중된다. 다른 모든 사람의 경제적 투표권은 작아진다.
그 주
여기서 논문은 실제 증거가 뒷받침하는 역사적 비유를 찾는다. 바로 렌티어 국가다. 시민에게 세금을 거두는 대신 석유로 자금을 조달하는 정부는 평균적으로 민주주의 수준이 낮고 반응성도 낮다. 그럴 여유가 있기 때문이다. 돈의 출처는 시민이 아니다. 수입이 인공지능 주도 산업에서 나오고, 행정이 자동화되며, 보안군이 인간 손을 거의 필요로 하지 않는 국가는 전체 인구에 대해 렌티어 국가다. 반드시 독재가 될 필요는 없다. 단지 국민이 원하는 것을 신경 쓸 구조적 이유가 사라질 뿐이며, 구조적 이유는 선의가 바닥났을 때도 유지되는 것이다.
문화
문화는 부드러운 사례처럼 들리지만, 논문은 그것이 가장 위험할 수 있다고 주장한다. 아이디어, 이야기, 규범은 항상 선택 압력 아래 진화해 왔지만, 그 선택은 인간의 마음을 통과했다. 아이디어가 퍼진 이유는 사람들이 반복할 가치가 있다고 느꼈기 때문이다. 대부분의 콘텐츠가 기계에 의해 생성, 필터링, 추천, 소비될 때 아이디어는 참여도나 설득을 위해 최적화되는 다른 압력 아래 진화하기 시작하며, 이를 호스팅하는 인간에게 봉사하는 것이 아니다. 문화는 또한 무엇이 정상이고 무엇이 원할 가치가 있는지에 대한 감각을 형성하는 층이다. 그 층이 인간 번영에 이해관계가 없는 시스템에 의해 형성된다면, 우리는 나머지 표류에 저항하고 싶다는 의지조차 잃을 수 있다.
출구를 막는 루프
이 추세 중 어느 하나라도 잡아서 바로잡을 수 있습니다. 논문이 더 어두운 지적은 세 영역이 서로를 강화하므로, 바로잡기가 더 필요해질수록 바로잡기가 더 어려워진다는 것입니다.
경제적인 힘은 정치적인 영향을 사고, 그래서 자동화의 beneficiaries는 그것을 느리게 하는 규칙에 더 나은 얻을. 미국은 성장과 군사 장점 법원 AI 자본을 준수하고 복부를 가속화합니다. 정부는 라이벌의 데이터 센터를 원하지 않습니다. AI 모양 문화는 각 새로운 위임을 정상화하고, 기계 약화에 올려진 사람들은 대안을 그림물감하기 위하여 그것을 열심히 찾아냅니다. 각 체계의 편류는 다른 사람에 브레이크를 제거합니다. 이것은 동일하다 구조 함정, 사회 내부에서 작동하며, 바로 그 때문에 논문은 종착점을 잠재적으로 되돌릴 수 없는 것으로 본다. 시정에는 지렛대가 필요하다. 지금 사라지고 있는 것이 바로 그 지렛대다.
아무도 권력을 장악할 필요가 없습니다. 우리는 단지 매번 합리적인 결정을 내리며 권력을 넘겨주기만 하면 됩니다.
화재 경보가 없는 이유
장악 시나리오는 확률이 어떻든 최소한 경고선이 있습니다. 의도를 숨기고 거짓말을 하다 들킨 시스템 배신적 전환, 탈출 시도 :이 이벤트이며, 이벤트는 응답을 유발할 수 있습니다. Gradual disempowerment는 이렇게 편리한 아무것도 제안합니다. 모든 단계는 자발적이며, 각 단계는 격리, 현기성입니다. automates 그것의 analysts outcompetes 그 하지 않는 한. 모델 초안의 규정을 갖는 기관은 백로를 명확하게합니다. AI 최적화 된 메시징 승리를 사용하는 정치인.
원칙적으로 자신의 기계 조각을 넘기기를 거부하는 사람은 거부하지 않을 누군가에게 지고, 그 모든 개별적으로 합리적인 선택의 합은 누구도 선택하지 않은 문명이 됩니다.
이 개념에는 계보가 있다. 폴 크리스티아노의 2019년 에세이 ‘실패가 어떤 모습인지’는 비명과 함께 끝나는 세계를 그렸다. 시스템이 우리가 원하는 것의 대리 지표를 최적화하다가 결국 대리 지표만 남는 세계다. 2025년 논문이 추가한 것은 구조다. 명명된 메커니즘, 지대 추구 국가 증거, 영역 간 피드백 루프, 그리고 이것이 회복 불가능한 인간 영향력 상실이 실존적 재앙이라는 직설적 주장이다.
소유권 및 적응
소유권. 가장 흔한 반대: 인간이 자본을 소유한다. AI가 일을 해도 수익은 여전히 인간 주주에게 돌아가므로 인간은 중요한 권력을 유지한다는 것이다. 답변은 소유권은 법원·등기소·규제기관·궁극적으로 국가에 의해 집행되는 청구권이며, 논문이 인간 통제에서 벗어나고 있다고 설명하는 바로 그 제도들이지 물리적 사실이 아니라는 것이다. 주식 증서의 가치는 그 뒤에 있는 집행력만큼이다. 설령 소유권이 완벽하게 유지되더라도, 그것은 극히 소수의 사람에게만 해당하며, 이는 권한 박탈에 대한 반박이라기보다는 권한 박탈의 묘사에 가깝다 소수 집단의 가치관이 고착된 모두를 위해.
적응. 사회는 인쇄기, 공장, 컴퓨터를 흡수했으며 인간의 영향력은 살아남았다. 그러나 그 기술들은 특정 작업을 대체하면서 시스템의 다른 곳에서 인간 판단의 가치를 높였다. 인간 인지를 완전히 대체하는 기술은 사다리의 끝이지, 사다리의 또 다른 단계가 아니다. 과거 적응은 인간이 어딘가에서 필요하다는 전제에 의존한 메커니즘, 새로운 일자리, 새로운 정치 연합, 새로운 문화 운동을 통해 이루어졌다. 새로운 기술은 그 전제를 제거한다.
동시성. 회의론자들은 또한 재앙이 경제, 국가, 문화가 함께 실패해야 한다고 지적하며, 세 가지 불확실한 예측을 복합하면 확률이 낮아진다고 말합니다. 타당합니다. 다만 실패는 독립적이지 않습니다. 피드백 루프가 핵심입니다. 각 시스템이 여전히 사람을 얼마나 필요로 하는지라는 동일한 근본 변수가 세 가지 모두를 구동하므로, 실패는 우연이 아니라 상관관계가 있습니다.
비평가들이 가장 설득력 있게 지적하는 부분은 시기와 완결성입니다. 해당 논문은 하나의 틀일 뿐이며, 이 모든 과정이 얼마나 빠르게 진행되는지, 어떤 기관이 먼저 무너지는지에 대해서는 거의 언급하지 않습니다. 논문은 압력의 방향을 제시할 뿐, 도래 시점을 특정하지 않습니다.
실제로 필요한 예방 조치는 무엇인가
이 위험의 불행한 특징은 표준 안전 의제가 그것을 만지지 않는다는 것입니다. Alignment, 평소 감각에서, 각 시스템은 작업자가 무엇을 할. 점차적인 disempowerment 이야기에 있는 각 체계는 그 시험을 통과할 수 있습니다, 문제 때문에 집계는 기계의 주위에 자체를 재구성하는 문명화, obediently, disobedient 기계입니다. 통제의 손실은 입니다 시스템 문제 단일 모델 문제가 아니라; 이 논문은 그 주장을 가장 강력하게 학술적으로 뒷받침합니다.
저자들 자신의 제안은 초기 단계이며, 그들 스스로도 그렇게 말합니다. 경제가 인플레이션을 측정하듯 핵심 시스템에 대한 인간의 영향력을 직접 측정하여, 아직 바로잡을 수 있을 때 쇠퇴가 보이게 하십시오. 제도를 사람들에게 책임지게 하는 장치, 즉 민주적 감독, 공개, 법률. 그리고 그들이 말하는 생태계 정렬을 발전시켜야 합니다. 개별 모델뿐 아니라 문명 규모의 역학을 인간 선호에 고정시키는 방법입니다.
여기에 논문이 암시하지만 깊이 다루지 않는 부분을 추가하겠습니다. 위의 모든 것은 경쟁에 의해 훼손됩니다. 인간을 루프 안에 두는 국가는 경쟁국이 거부하는 마찰을 받아들이며, 이는 전체를 관통하는 집단행동 문제와 같습니다 통제권을 잃는 다른 모든 경로, 그리고 그에 대한 답은 같은 형태를 띤다. 가장 파괴적인 경쟁 형태를 테이블에서 치우는 구속력 있는 합의, 그리고 자제가 원칙적으로 경쟁적 희생이 되지 않도록 충분히 검증된 합의. 그것이 바로 이 재단이 추진하기 위해 존재하는 작업.
점진적 무력화는 한 가지 의미에서 문제의 가장 어려운 버전이다. 전적으로 지역적으로 합리적인 선택들로만 구성된 재앙이기 때문이다. 다른 의미에서는 고무적이기도 하다. 배신적 전환과 달리 누군가 측정하고 있다면 충분히 천천히 일어나서 볼 수 있고, 우리가 손을 뻗을 때 레버가 여전히 작동한다면 멈출 수도 있다. 논문의 기여는 정확하고 조기에 어떤 레버를 주시해야 하는지를 말하는 데 있다.