매년 세계는 인공지능 시스템을 더 유능하게 만드는 데 거액을 쓰고, 최종 상태를 생존 가능하게 만드는 데는 푼돈을 씁니다. 그 푼돈 안에는 또 다른 실수가 있습니다. 안전 자금 대부분은 여전히 초지능이 만들어질 것이라고 가정하고, 그 결과가 "잘" 되도록 노력합니다.

대부분의 돈과 명성은 경주를 더 안전하게 만드는 데 쓰일 뿐, 초지능 경쟁을 끝내는 데 쓰이지는 않는다.

그것이 가정은 문제입니다. 인공 superintelligence가 우리가 통제할 수 없는 기술인 경우에, scarce 안전 자본의 합리적 사용은 창조되고, 동일한 인종의 우정 버전을 자금을 자금을 자금을 자금을 잃지 않습니다.

오늘 돈이 하는 일

인공지능 안전은 광범위하게 보면 대략 연 1억 9천만 달러. 능력 연구는 수백억 달러 규모로 진행된다. 안전 분야 안에서는 상당 부분이 기술적 정렬에 쓰인다. 더 나은 감독 기법, 더 나은 레드팀 훈련, 시험 조건에서 모델이 올바른 말을 하도록 훈련하는 더 나은 방법 등이다. 그중 일부는 현재 시스템에 유용하다. 그러나 시험하는 사람보다 더 똑똑한 시스템에 대한 입증된 해결책은 거의 없다.

연구계는 이를 알고 있다. 기만적 정렬, 목표 오지정, 평가 조작에 관한 논문은 비밀이 아니다. 연구소들은 모델이 압박 속에서 음모를 꾸미는 결과를 발표한다. 그에 대한 대응은 대개 ‘다음 훈련 실행을 더 안전하게 만들기 위해 정렬 예산을 더 달라’는 요청이다. 훈련 실행은 같은 일정으로 계속된다.

사후 정렬은 우리가 계속 만들 권리를 잃는 내기다

세계가 superintelligence에 경주를 동결하는 조약을 통과하면, 우리는 이미 존재하는 시스템을 얻을 수있는 모든 심각한 도구를 원합니다.

Superintelligence에 대한 실험실 규모가 고정 된 것과 같이 목적지를 다룹니다. 우리는 우리의 목적지를 선택할 수 있습니다. 핵 비소, 오존 화학, 그리고 인간 복제는 세계가 특정 끝 국가가 잔여 위험의 가치가 없다는 것을 결정했을 때 순간이 있었다. Superintelligence는 그 목록에 영구적으로 속합니다. Superintelligence는 통제될 수 없습니다.

대신 돈이 가야 할 곳

초지능 정렬 작업 더미를 비창조를 강제할 수 있는 작업으로 돌리세요:

  • 조약 설계, 검증, 국경을 넘어 검사할 수 있는 칩 수준 연산 거버넌스.
  • 목표를 명확히 유지하는 공론화: 모호한 "인공지능 완화"가 아니라 초지능 개발 중단.
  • 내부 고발자 지원, 사고 투명성, 조용한 역량 도약 비용을 높이는 독립 평가.
  • 입법자들이 연구소 로비스트뿐 아니라 유권자의 목소리를 듣도록 하는 정치적 조직 활동입니다.

그 목록은 새로운 훈련 기술보다 더 엄숙합니다. 실패 모드와 일치하는 유일한 목록입니다. 사운드 정렬에 약간 더 나은 superintelligence는 여전히 superintelligence입니다. 세계가 하나 건설을 거부하는 경우, 정렬 연구는 멸종에 끝나는 마감없이 계속 될 수 있습니다.

연구실 내부에서의 반대

"정렬을 풀지 않으면 다른 누군가가 안전하지 않게 만들 것이다." 공정하게 들으면, 최전선에 남아 있는 연구자들은 자신의 존재가 안전이라고 믿는 경우가 많다. 때로는 오늘날 모델 출시에 대해 옳을 수도 있다. 그러나 한계에서는 그 주장이 무너진다. 모든 팀이 다음 도약을 위한 안전 작업 자금을 마련하기 위해 또 한 번의 능력 도약이 필요한 경주는, 여전히 경주이며 안전 배지만 달고 있을 뿐이다.

자주 묻는 질문 회사 소개, 위험이 공유 될 때 사용되는 악기의 동일한 종류와 속임수에 대한 인센티브는 실제이었다. 1개의 실험실에 의하여 Unilateral 억제는 인종 intact를 나타냅니다. Alignment funding은 정치를 지원할 수 있습니다. 그것은 그것을 대체해서는 안됩니다.

조약 후에도 원한다면 계속하십시오

묶음 후에, superintelligence에 verifiable 금지, 이미 존재하는 체계에 연구는 수락가능한 실험적인 비용으로 인간적인 멸종을 대우하지 않는 규칙의 밑에 계속할 수 있습니다. Superintelligence는 인간에 의해 통제될 수 없습니다. 그 금지는 힘에 있기 전에, 레이스가 관리 할 수있는 모든 달러는 경주를 종료하지 않는 달러입니다.

예방, 법, 검증에 돈을 이동하십시오.