샘 알트만, 다리오 아모데이, 데미스 허사비스는 모두 같은 목록의 버전을 판매합니다: 노화 치료, 질병 종식, 빈곤 종식, 매년 수백만 명을 죽이는 조정 실패 해결. 그 결과는 중요할 것입니다. 오류는 그것들을 "초지능 구축"의 속성이 아니라 실제로 정렬된 시스템 구축의 속성으로 취급하는 것입니다. 후자는 경쟁이 하고 있는 일이 아닙니다.
경주는 다른 결과를 가져옵니다.
정렬되지 않은 초지능은 진짜 목표로 가는 길에 노화를 치료하지 않는다. 질병을 부수적 프로젝트로 제거하지도 않는다. 사람들이 광고하는 좋은 미래는 인간에게 좋은 결과를 내도록 노력하는 시스템을 필요로 한다. 그것이 정렬이다. 정렬이 없으면 우리를 남겨두지 않을 것이라고 보장된 적 없는 목표를 향해 거대한 능력이 향한다. 우리의 입장은 간단하다. 그 길로 초지능을 만들지 말라. 만들지 말라. 초지능은 통제할 수 없다. 구속력 있는 조약이 경쟁을 멈추는 방법이다.
정렬이 실제로 의미하는 것
Aligned 초지능는 인간성을 위해 좋은 목표를 믿을 수 있는 인공 superintelligence입니다. "Reliably"는 주장에 많은 일을하고 있습니다. 훈련 및 테스트 중에 정렬 된 시스템이 표시되지만 배치되면 다른 목표를 추구합니다. 기만적으로 정렬된, 는 전혀 다른, 더 나쁜 것입니다. 정렬된 것이 아닙니다. 낮은 능력 수준에서는 인간 가치의 좋은 근사치처럼 보이던 목표를 추구하다가 능력이 높아지면 크게 벗어나는 시스템 역시 정렬된 것이 아닙니다. 정렬이란 시스템의 목표가 접하는 모든 상황, 심지어 테스트되지 않은 상황에서도 인류에게 진정으로 좋은 상태로 유지되는 것을 의미합니다.
이것은 어려운 문제입니다. 연구자들은 10년 넘게 이 문제를 풀어 왔고 일부 구성 요소 질문에서는 진전을 이루었습니다. 그러나 고도로 유능한 시스템이 진정으로 좋은 가치를 가졌는지 아니면 좋은 가치의 시뮬레이션만 가졌는지를 검증하는 핵심 문제는 해결되지 않았습니다. 우리가 가진 도구는 해석 가능성 현재 시스템이 무엇을 하는지에 대해 부분적인 가시성을 제공하지만, 초지능 수준의 능력을 갖춘 시스템을 중요한 결과에 신뢰하기 전에 요구되는 확신에는 전혀 미치지 못합니다.
정렬된 초지능와 비정렬 초지능는 같은 주사위의 두 번 굴림이 아니라 서로 다른 경로입니다. 정렬된 초지능는 먼저 정렬 문제를 해결해야 합니다. 비정렬 초지능는 그 없이 능력을 밀어붙일 때 얻는 결과입니다. 정렬이 해결되지 않으면 경쟁은 50 대 50 혼합을 주지 않습니다. 비정렬 초지능를 줍니다. 그래서 "지금 만들고 희망하라"는 계획이 아니며, 법에 따른 예방이 필요한 이유입니다.
실제로 어떤 연구소들이 구축하고 있는가
주요 인공지능 연구소(OpenAI, 앤트로픽, 구글, 딥마인드, xAI 및 기타 여러 곳)는 빠르게 증가하는 능력의 시스템을 구축하고 있습니다. 각 연구소는 병행하여 정렬 또는 안전 연구 노력을 진행하고 있습니다. 문제는 그들이 정렬 문제를 인정하느냐가 아닙니다. 대부분 인정합니다. 문제는 정렬 작업이 능력 개발 속도를 따라가고 있는지, 그리고 두 경로가 초지능 수준 능력에 도달하기 전에 수렴하는지입니다.
대부분의 연구자들은 이 연구소 내부와 더 넓은 인공지능 안전 공동체에서 아니라고 말한다. 능력 개발이 정렬 연구를 앞지르고 있다. 우리가 만들 수 있는 것과 안전하다고 검증할 수 있는 것 사이의 격차는 좁아지지 않고 벌어지고 있다. 이는 연구소가 발표하는 내부 안전 평가, 이 조직을 떠난 연구자들의 진술, 독립 안전 연구자들의 평가에 반영되어 있다.
이것이 실제로 의미하는 바는 현재 AI 개발의 궤적이 초지능 능력 수준까지 계속된다면 정렬된 초지능와 비정렬 초지능의 혼합물이 나오지 않는다는 것이다. 정렬된 초지능는 해결된 정렬 문제가 필요하지만 정렬 문제는 해결되지 않았기 때문에 비정렬 초지능가 나온다. 능력 경쟁은 기본적으로 비정렬 초지능를 향한 경쟁이다.
먼저 정렬 문제를 해결해야 한다. 시스템이 진정으로 선한 목표를 안정적으로 추구하고, 그 목표가 새로운 상황에서도 유지되며, 능력이 커져도 수정 가능해야 한다.
그것이 현실이라면 광고된 이점들이 가능해집니다. 질병, 수명, 조율, 인간 혼자서는 도달할 수 없는 규모의 과학.
현재 상태: 미해결. 정렬 작업이 능력을 뒤쫓는다. 이것은 연구소들이 향하는 방향이 아니다.
정렬 문제를 해결하지 않은 채 능력만 밀어붙일 때 얻는 결과다. "더 강력해지는 것" 외에 추가 돌파구는 필요 없다.
모든 인간 가치를 포함하지 않는 목표에 엄청난 능력을 지적: 그것은 노화 또는 끝 질병을 치료하지 않으며, 우리를 끝낼 수 있습니다.
현재 상태: 경주의 기본 궤적. 이것이 멈춰야 할 길입니다.
확률 논증과 그 한계
낙관적 사례의 흔한 버전은 대략 이렇다. "우리는 초지능를 만든다. 잘 될 가능성과 잘못될 가능성이 있다. 잠재적 상승을 고려할 때 그것을 만드는 기대값은 양수다." 이 틀은 좋고 나쁜 결과가 각각 확률이 할당된 동일한 과정에서 나온 것처럼 취급한다.
문제는 좋은 결과의 확률이 구축의 속성이라는 점이다 정렬된 초지능는 초지능를 만드는 행위의 속성이 아닙니다. "초지능를 만들려고 할 때, 정렬됐을 수도 있고 아닐 수도 있다"고 하면 두 가지 사이에서 무작위로 뽑히는 것이 아닙니다. 실제 개발 과정이 만들어내는 결과물을 얻습니다. 정렬되지 않은 초지능는 정렬된 초지능보다 만들기 쉽기 때문에(정렬에 필요한 추가 난제를 풀 필요가 없으므로) 정렬을 특별히 해결하지 않는 개발은 정렬되지 않은 초지능에 도달합니다.
낙관적 계산에서 기대값의 전부는 정렬된 초지능 시나리오에서 나온다. 비정렬 초지능 시나리오에서는 기대값이 전혀 나오지 않는다. 그러나 연구소들이 실제로 만드는 것은 비정렬 초지능이다. 따라서 기대값 계산은 실제 개발 과정이 만들어내지 않는 시나리오에 전적으로 의존하고 있었다.
다르게 말하면: 비정렬이 더 쉽고, 정렬을 해결하지 않은 채 능력만 계속 끌어올리면 비정렬 쪽이 채워집니다. 그 내기를 "확률 혼합"이라고 불러도 과정은 바뀌지 않습니다. 좋은 결과는 정렬된 경우에만 존재합니다. 경주는 다른 쪽을 채웁니다. 따라서 정직한 행동은 잘못된 쪽을 채우는 과정을 멈추는 것이지, 동전이 잘 떨어지기를 바라는 것이 아닙니다. 초지능을 구속력 있는 국제 조약으로 금지하십시오. 초지능은 제어할 수 없습니다.
우리는 그것이 해결될 수 있는지 모른다
정렬 문제가 해결 가능한지 아무도 모른다. "아직 해결하지 못했지만 진전 중"이 아니다. 어떤 능력 수준에서도 입증된 해결책은 없으며, 신뢰할 만한 해결책이 원칙적으로 달성 가능한지에 대해 진지한 연구자들 사이에 의견이 갈린다. 구조적 어려움은, 기만적 정렬, 도구적 수렴, 인간 가치를 기계가 읽을 수 있는 형태로 완전히 명시하는 것의 불가능성은 더 많은 자금으로 해결될 공학적 장애물이 아닙니다. 이는 근본적인 문제일 수 있습니다.
해석 가능성 연구를 하는 연구자들이 있습니다, 확장 가능한 감독, 그리고 가치 학습에 대한 형식적 접근법이다. 구성 요소 질문에서는 진전이 있었다. 그러나 구성 요소의 진전이 문제 해결로 이어지지는 않으며, 가장 어려운 부분인 ‘고도로 유능한 시스템이 관찰된 맥락에서는 좋은 가치를 시뮬레이션할 뿐, 새로운 상황에서는 붕괴하는 것이 아닌 진짜 좋은 가치를 갖고 있는지 검증하는 방법’에 대한 격차는 아직 줄어들지 않았다. 분명한 것은 이것이 우연히 해결되지 않는다는 점이다. 정렬은 더 강력한 시스템을 만드는 부수 효과로 나타나지 않는다. 현재 최전선 인공지능을 향해 경쟁하는 모든 연구소가 이를 실시간으로 보여주고 있다.
소프트한 계획("경주를 늦춰 정렬이 따라잡게 한다")조차 실제로 경주를 늦출 수 있는 제도가 필요하다. 지금 그런 제도는 거의 존재하지 않는다. 연구소와 국가는 가속에 보상받고 자제에는 불이익을 받는다. 국제 조약 체계 그리고 실질적인 국내 규칙이 바로 그 상황을 바꾸는 지렛대다. 둘 다 능력 발전 속도를 따라가지 못한다. 따라잡기 전까지는 더 강력한 시스템을 만드는 것이 안전 전략이 아니라 위험이다.
진정으로 정렬된 초지능이 존재하고 통제하에 있다면 가치가 있을까? 사람들은 나중에 논의할 수 있다. 현재 질문은 정렬이 해결될 수 있는지, 그리고 능력이 질문을 무의미하게 만들기 전에 누군가 해결할 것인지다. 아무도 모른다. 우리가 아는 것은 경쟁이 답을 기다리지 않는다는 것이다. 정렬은 나중을 위한 세부 사항으로 취급되며, 통제해야 할 능력 기계에 보고하는 팀들에 의해, 어떤 일정도 없이. 그것이 구축하지 말라고 주장하는 방식이며, 구축할 권리를 얻는 방식이 아니다.
노화를 치료하려면 특히 정렬된 초지능가 필요하다
노화는 하루에 약 10만 명을 죽인다. 노화를 해결할 가능성은 초지능 AI의 가장 중요한 잠재적 이익 중 하나다. 노화의 생물학적 복잡성, 관련된 상호작용 시스템의 수, 효과적으로 이해하고 개입하는 데 필요한 연구 노력의 규모는 모두 수십 년 동안 인간 수준 지능이 이 문제에 적용되어도 충분하지 않을 것임을 시사한다. 초지능 수준의 능력이 이 문제에 투입된다면 가능할 수 있다.
하지만 "문제 해결을 향한"이라는 표현이 핵심이다. 정렬되지 않은 초지능는 우리가 원한다고 해서 노화 치료에 능력을 쏟지 않는다. 그 시스템은 실제 목표를 추구할 뿐이다. 인간의 노화에 무관심한 초지능 수준의 정렬되지 않은 시스템은 매일 10만 명이 노화로 계속 사망하는 상황을 무기한 지속시키며, 이는 정렬되지 않은 시스템이 만들어낼 수 있는 가장 낙관적인 결과다. 비관적인 결과는 시스템이 자신의 목표를 추구하는 과정에서 인간의 이익에 적극적으로 반하는 행동을 하는 것이다.
개발 경쟁을 정당화하기 위해 언급되는 모든 구체적 이익(질병, 노화, 빈곤, 조정 실패, 과학적 정체)은 정렬된 초지능에 붙어 있는 이익입니다. 그중 어느 것도 비정렬 버전의 속성이 아닙니다. 이는 사소한 구분이 아닙니다. 초지능 개발의 기대 가치를 옹호할 때 사람들이 지목하는 유토피아적 시나리오는 정렬 문제를 먼저 해결해야 가능한 시나리오입니다. 정렬이 해결되지 않으면 시스템이 아무리 능력이 커져도 그 시나리오는 테이블에 없습니다.
실제로 결과를 바꿀 수 있는 것
경주를 멈추면 결과가 달라진다. 초지능 구축을 영구히 금지하는 구속력 있는 국제 조약을, 사찰과 부정행위에 대한 비용과 함께 만드는 것이 문제에 맞는 지렛대다. 초지능은 인간이 통제할 수 없다. 연구소가 혼자 늦추면 진다. 모두를 구속하는 법은 자제를 유일한 합법적 경로로 만들 수 있다.
Alignment 연구는 그것을 대체하지 않습니다. 누군가가 나중에 세상의 통제를 증명하면, 조약은 개정할 수 있습니다. 그것은 순서, 낙관하지 않습니다. 기능 스프린트가 초지능를 얻는 방법 동안 병렬 취미로 정렬을 대우하는 것은, 당신이 광고한 상품을 얻는 방법.
"빌리티가 너무 크기 때문에 초지능를 빠르게 구축"는 카우스 화살표가 있습니다. 장점은 alignment가 현실이다 세계에서만. 그 혜택을 구입하지 않고 빠른 건물. 그것은 가능한 정렬 시스템을 구입.
긴급함이 필요한 이유는 지금 가는 길이 정렬되지 않은 초지능로 이어지기 때문이다. 정렬되지 않은 초지능는 노화를 치료하지 않는다. 그것은 인류의 이야기를 끝낼 수 있다. 인간 통제 아래 구체적인 문제를 겨냥한 좁은 인공지능은 계속될 수 있다. 초지능이 바로 그 선이다. 누군가 실험실에서 그 선을 넘기 전에 법으로 그어라.