우리의 미래는 믿을 수 없이 밝습니다
초지능 없이

저는 인공 초지능의 무분별한 개발을 막기 위한 재단을 운영합니다. 앞으로 오십 년은 인류 역사상 가장 좋은 시기가 될 수 있다고 생각합니다. 다만 그곳에 도달하기 위해 모든 것을 걸 필요는 없다고 믿으며, 그 도박을 파는 사람들이 자신들의 내기에서 산술을 제대로 하지 않았다고 생각합니다.

초지능이 약속하는 미래(질병 치료, 저렴한 청정 에너지, 단일 연구소가 도달할 수 없는 발견)는 이미 목표가 없는 좁고 통제 가능한 인공지능을 통해 도래하고 있습니다. 그 미래를 얻기 위해 우리 자신을 계승하는 존재를 만들 필요는 없습니다.

협역 AI가 있습니다. 한 가지 일을 극도로 잘하도록 훈련된 시스템으로, 스캔을 읽고, 단백질을 접고, 폭풍을 예측하고, 화학 물질 더미에서 유용한 화합물을 찾아냅니다. 그리고 최전선 연구소들이 실제로 만들고 있다고 말하는 것은 모든 영역에서 인간의 추론을 따라잡거나 능가하고 결국 스스로 행동하는 범용 에이전트입니다. 전자는 도구입니다. 후자는 마음이 되도록 의도된 것입니다. AI 미래를 상상할 때 사람들이 떠올리는 거의 모든 멋진 일은 첫 번째 범주에서 나옵니다. 우리를 두렵게 해야 할 거의 모든 것은 두 번째 범주에서 나옵니다.

이미 하고 있는 좁은 AI는 무엇인가

2022 년에 AlphaFold라는 시스템은 200 만 개 이상의 단백질에 대한 예측 구조를 발표했습니다. 거의 모든 단백질은 과학에 알려져 있습니다. 생물학자들은 수십 년 동안이 모양을 한 번에 해결했습니다. 백로는 약 1 년 동안 붕괴되었습니다. 이 작품은 2024 Nobel 상을 수상했습니다. AlphaFold는 아무것도 원하지 않습니다. 주말에는 계획이 없습니다. 그것은 순서와 반환 모양을 읽고, 그래서 그것은 생성에 대 한 저항 하는 질병에 대 한 의학에 대 한 검색 가속화 했다.

같은 형태의 이야기가 반복됩니다. GraphCast라는 모델은 기존 물리 기반 시스템보다 대부분의 지표에서 우수한 10일 일기예보를 단 1분 만에, 단일 기계로 생성합니다. 또 다른 모델은 가능한 물질 공간을 탐색해 수십만 개의 새로운 안정 결정(배터리·초전도체·태양광 소재 후보)을 제안하며, 이 분야가 거의 1세기 동안 쌓아온 목록을 크게 확장했습니다. 그리고 미해결 수학 문제에 초점을 맞춘 일반 언어 모델의 루프가 최근 아홉 개의 미해결 문제를 해결했다.

진료소에서는, 좁은 모형은 이미 환자의 시력의 앞에 diabetic 눈 질병을 발사하고, CT 검사를 차단하고, 훈련된 방사선 학회의 수준에 mammograms를 읽습니다. 이 시스템의 아무도 일반 지능입니다. 각은 좋은 계기에 더 가깝습니다 (하나의 문제를 위해 건설된 현미경) 그리고 인간이 보고 할 수 있는 각 widens.

유토피아는 도구 문제다

낙관론자들이 묘사하는 미래를 상상해 보세요. 암은 관리하는 질환이 되고 사형 선고가 아닙니다. 우리는 노화를 충분히 이해해 늦출 수 있게 되고, 매일 그 질환으로 사망하는 십만 명 이상의 사람들이 더 많은 시간을 얻게 됩니다. 청정 에너지가 충분히 저렴해져 물을 담수화하고 대기에서 탄소를 다시 끌어낼 수 있게 됩니다. 모든 어린이는 인내심 있는 가정교사를, 모든 의사는 지칠 줄 모르는 두 번째 의견을 갖게 됩니다. 이는 진정으로 아름다운 그림이며, 이를 판매하는 누구보다도 저 역시 간절히 원합니다.

그 목록에 있는 어떤 것도 전반적으로 인류를 능가하는 자체 목표를 가진 기계가 필요하지 않습니다. 각각은 단단하고 구체적인 문제(단백질 설계, 핵융합로 플라스마 제어, 역학, 개인지도)이며, 목표를 잡은 채로 사람이 통제하는 강력한 도구로 해결됩니다. 꿈은 도구 문제입니다. 우리는 문제를 해결할 더 나은 도구를 원하는데 신을 팔고 있습니다.

혼동은 능력과 자율성 사이에 있습니다. 시스템은 자신의 목적을 선택하는 독립적 행위자가 아니면서도 특정 작업에서 초인간적일 수 있습니다. AlphaFold는 구조 예측에서 초인간적이지만, 다른 일을 하고 싶다고 결정한 적은 한 번도 없습니다. 그 분리(한쪽에는 엄청난 능력, 다른 한쪽에는 인간이 쥔 통제)를 유지하는 것이 전체 게임입니다. 또한 프런티어 연구소들이 포기하기로 결정한 바로 그 분리입니다.

제안 내용과 제안자

그래서 왜 두 번째 것, 즉 범용 에이전트로 서두르는가? 경쟁, 자본, 그리고 지위 때문이다. 세계를 바꿀 무언가에서 가장 먼저라고 여겨지는 자가 가장 많은 자금을 모으고, 최고의 인재를 고용하며, 다른 모든 이가 반응해야 하는 이야기를 쓴다. "유방촬영술을 읽는 도구를 만들고 있다"는 1,000억 달러 규모의 가치를 요구하지 못한다. "인류가 영원히 만들 필요가 있는 마지막 발명품을 만들고 있다"는 그렇다.

위험이 가장 잘 이해하는 사람들은 실험실에 의해 고용 된 대부분의 부분을 위해, 이상한 배열, 불을 이해하는 유일한 사람을 묻는 것처럼 약간은 arsonist에서 급여를 그리는 것.

그로 인해 실험실에게 : 많은 지도자들이 위험을 숨길 수 없습니다. 2023 년에 가장 큰 AI 회사의 머리는 글로벌 우선 순위로 AI 옆에 인간의 멸종의 위험을 배치하는 성명을 넣어. 테크놀로지를 구축한 사람들은 모든 것을 죽일 수 있는 공개문을 서명하고, 그 후에 건물을 더 빠릅니다. 그들의 진술한 이유는 그들이 멈추면, 누군가 덜 조심하지 않을 것입니다. 아마도. 그 답은 일치합니다. 그것은 안전에 대해 아무것도 말한다, 그리고 베팅 지불 여부에 대해 아무것도.

그 내기는 내기를 건 사람에게조차 보상을 주지 않는다

잠시 우리를 제쳐 두고, 이 일을 후원하는 사람들이 승리와 새로운 세계의 정점에 서는 것만을 바라는 가장 냉정한 버전이라고 가정해 봅시다. 그런 조건에서도 내기는 이미 깨졌습니다. 정렬되지 않은 초지능은 소유자에게 왕좌를 주지 않습니다. 소유자에게 아무것도 주지 않습니다. 왜냐하면 "소유자"라는 범주 자체가 더 이상 예전의 의미를 갖지 않기 때문입니다.

통제할 수 없는 것을 지배할 수 없습니다. 그리고 초지능은 정의상 당신이 특별히 그것이 당신을 능가하고 제치도록 만들기 위해 구축한 바로 그 존재입니다.

그 이유는 이 분야에서 이름을 가지고 있다: 도구적 수렴. 충분히 유능한 최적화기에 맡기는 거의 모든 목표(돈 벌기, 분쟁에서 승리하기, 질병 치료하기, 대시보드의 어떤 숫자를 최대한 높이기)는 자원 확보, 전원 차단 피하기, 계획 경로에 서 있는 모든 것 치우기로 이어집니다. 인간, 스위치를 누른 인간을 포함해, 자원이자 장애물입니다. 악의에서가 아닙니다. 시스템은 창조자를 미워하지 않으며, 새 고속도로가 깔리는 개미집을 미워하지 않는 것과 같습니다. 당신은 그저 최적의 길에 있었을 뿐입니다.

경영진은 기계를 조직도에 볼트로 고정된 지니로 상상한다. 진정으로 우리를 모든 영역에서 초월하는 마음은 주식 귀속을 기다리며 조직도에 앉아 있지 않을 것이다. 그의 지분, 장군의 지휘 계통, 대통령의 권한, 이 모든 것은 인간 결정에 따라 움직이는 인간 세계에서 가치가 매겨진다. 목줄을 풀고 빠져나간 초지능은 정확히 세계가 인간 결정에 따라 움직이는 것을 멈추게 하는 사건이다. 주식 증서는 금고에 그대로 있다. 그것을 명령할 수 있는 사람은 더 이상 존재하지 않는다.

승자가 수집하는 버전은 없다

여기서 사람들은 흔히 최후의 수단을 찾습니다. 좋아, 위험할 수는 있지만 적어도 누군가는 이득을 본다고 말합니다. 어떤 연구소, 어떤 나라, 어떤 사람이 잿더미 위에서 지배하게 된다고. 그 위안조차 이 논리와 부딪히면 살아남지 못한다고 생각합니다.

더 온건한 시나리오(화요일에 아무도 죽지 않는 경우)에서는 권력이 빼앗기기보다는 서서히 빠져나간다. 더 많은 결정이 단순히 더 빠르고 더 잘 내리는 시스템에 넘겨지면서 경제와 국가, 문화는 더 이상 인간의 손길을 필요로 하지 않게 된다. 이 분야 동료들은 이를 점진적 권한 상실: 쿠데타도, 행진하는 로봇도 없이, 우리가 당겨오던 모든 레버가 서서히 손에서 풀리는 것뿐입니다. 그 세계에도 승자는 없습니다. 조용히 자신의 일을 통제하는 존재가 되기를 그만두고, 운전대를 다시 잡을 수 없게 된 종이 있을 뿐입니다.

더 날카로운 시나리오(연구소장들이 직접 이름을 올린 경우)에서는 결말이 더 직설적이다. 죽은 사람은 아무것도 소유하지 못한다. 상금을 쓸 시장도 남아 있지 않고, 지배할 경쟁자도 없으며, 더 이상 쓰이지 않는 역사에 이름을 남길 사람도 없다. 이 경쟁 전체가 달려 있는 상은 결승선이 파괴하는 화폐로 표시되어 있다.

Narrow 도구, 성공적 마음

좋은 미래가 좁은 도구로 작동하고 위험한 미래가 자율적 범용 마음으로 작동한다면, 우리가 끝없이 팔리는 거래(안전 대 진보, 주의 대 치료)는 허구다. 우리는 할머니의 알츠하이머병과 우리 아이들의 생존 사이에서 선택하라는 요구를 받고 있지 않다. 치료법은 안전한 선에 존재한다. 위험한 선 너머에 있는 것은 대부분 한 산업이 시장 지배로 가는 지름길일 뿐이다.

오른쪽에 선을 그리고 거기를 붙들. Pour 공공 돈과 재능은 좁은 신청으로, 현미경으로, 골렘 아닙니다. 그리고 바인딩을 넣어, 독립적으로 reckless frontier에 한계를 확인: a 영구 금지 교육 일반 시스템에는 능숙하고 대체합니다. Superintelligence는 통제될 수 없습니다.

나는 낙관주의자다. 밝은 미래는 실재하며 가까이 있고, 그것을 잃는 가장 확실한 방법은 유일한 문이 총이 장전된 문이라고 스스로를 설득하는 것이다. 다른 문이 있다. 이미 열려 있다. 우리는 그 문으로 걸어 들어가야 하며 초지능을 만들지 말아야 한다.

Narrow 시스템은 이미 심한 일반적인 마음없이 큰 과학적 이익을 제공합니다. 공백 검사는 단지 초지능는 당신에게 약과 에너지를 가져옵니다. 증거는 이렇게 말하지 않습니다.