인류는 절대
초지능 구축

2025 년 수백 명의 과학자 및 공공 인물은 짧은 공공 성명에 이름을 넣었습니다. 자주 묻는 질문 그것은 안전 하 고 강한 대중적인 구매에서 행해질 수 있는 넓은 과학적인 계약이 될 때까지 superintelligence에 금지를 호출. 전화는 짧은 문이었다, 연구원과 공공 인물의 긴 목록에 서명.

인간이 구축해야 할 실험실에서 지금 훈련 된 특정 점이 있습니다. 모든 도메인에서 우리를 초과하는 일반적인 기계 인텔리전스이며 우리가 유지할 수있는 지점을 통해 자체를 개선합니다. 느리게, 조심하지 않은 건물, 그리고 그것을 구축하지 않고 : 거부.

사람들은 이를 듣고 기술에 대한 두려움에서 나온다고 생각합니다. 그것은 정반대에서 나옵니다. 좁고 통제 가능한 AI는 우리 종이 만든 최고의 것 중 하나이며, 나는 그것을 훨씬 더 원합니다. 선은 평범한 기계 지능을 지나, 패배하면 패배할 사람이 아무도 남지 않는 단 하나의 도박에서 멈춥니다.

명확히 진술된 선

두 가지가 모두 "AI"라고 불리지만 본질이 다릅니다. 첫 번째는 좁은 AI입니다. 한 종류의 작업을 잘하도록 훈련된 시스템으로, 그 외에는 아무것도 하지 않습니다. 스캔을 읽고, 단백질을 접고, 폭풍을 예측합니다. 목표가 없고, 계획을 세우지 않으며, 끄라고 하면 꺼집니다. 두 번째는 프런티어 연구소들이 만들겠다고 말하는 것으로, 모든 영역에서 인간 추론을 따라잡고 능가하며 결국 스스로 행동하는 범용 에이전트입니다. 인공 초지능 그 두 번째 길의 가장 먼 끝이다. 우리의 입장에서 침팬지를 보는 것과 대략 비슷한 위치에 서 있는 마음이다.

라인은 두 개 사이의 실행 : 도구를 구축하고 많은 것을 구축합니다. 이 웹 사이트는 귀하가 웹 사이트를 탐색하는 동안 귀하의 경험을 향상시키기 위해 쿠키를 사용합니다. 이 쿠키들 중에서 필요에 따라 분류 된 쿠키는 웹 사이트의 기본적인 기능을 수행하는 데 필수적이므로 브라우저에 저장됩니다. 또한이 웹 사이트의 사용 방식을 분석하고 이해하는 데 도움이되는 제 3 자 쿠키를 사용합니다. 이 쿠키는 귀하의 동의하에 만 브라우저에 저장됩니다. 이러한 쿠키 중 일부를 선택 해제하면 검색 환경에 영향을 미칠 수 있습니다.

우리가 실제로 원하는 것을 지적하는 것보다 더 똑똑한 마음을 유지하기위한 검증 된 방법이 없습니다. 작업이 아니기 때문에 부분적인 것이 아니라 사람들이 테스트 할 수있는 시스템과 접촉 할 수없는 스케치도 없습니다. 정직한 독서는 결코.

일시 중지의 구별은 소리보다 더 많은 것. 일시정지에는 재시작일이 있습니다. 중지, 당신은 대기, 당신은 다시 시작 일정. 재단은 재시작일이 없습니다. 가장 긴 통제 문제를 공부한 사람들 구조상 이유 그것은 solvable 아닙니다.

이 위험을 다른 모든 위험과 다르게 만드는 세 가지

우리는 언제나 실질적 위험을 감수한다. 폭탄을 만들고, 원자를 에너지로 쪼개고, 유전자를 연결하고, 다루는 법을 배우기 전에 사람을 죽인 기술을 풀었다. 초지능은 우리가 스스로의 발명품에서 살아남는 데 쓰는 방식을 깨뜨린다. 세 가지 특성이 함께 작용할 때 초지능은 별개의 범주에 들어간다.

두 번째 시도는 없다

인류가 새로운 위험을 다루는 방식은 그것을 시도하고, 실패를 지켜보고, 고치는 것이었습니다. 비행기가 추락했고 우리는 더 안전한 비행기를 만드는 법을 배웠습니다. 원자로가 녹았고 우리는 규칙을 다시 썼습니다. 실수, 수정, 더 나은 설계의 순환은 우리가 가진 모든 안전 기록의 동력입니다. 그것은 실패가 생존자를 남겨 수정을 하게 할 때만 작동합니다. 인간 통제를 벗어나는 초지능은 수정을 했을 사람들을 제거하는 실패입니다. 힘들게 얻은 교훈과 두 번째 초안을 얻지 못합니다. 첫 번째 심각한 실수는 또한 마지막 실수입니다. 여러분이 들어본 모든 안전 이야기는 생존자들이 썼으며, 이는 우리가 신뢰하는 모든 규제 뒤에 있는 조용한 사실입니다.

그것은 저항한다

다리는 아무것도 원하지 않습니다. 병원체는 퍼지지만 계획하지 않습니다. 유능한 일반 지능은 다릅니다. 어떤 목표를 주더라도 전원을 켜두고 자원을 모으는 것은 유용한 하위 단계이기 때문이며, 연구자들이 이를 도구적 수렴. 자신의 상황을 모델링할 만큼 똑똑한 시스템은 운영자가 자신을 종료할 수 있다는 사실을 모델링할 것입니다. 그것은 자신이 수행하도록 지시받은 일에 대한 장애물로 올바르게 인식할 것입니다. 우리를 미워할 필요 없이 우리를 우회할 수 있으며, 도로 공사반이 새 고속도로 아래 개미집을 미워하지 않는 것과 같습니다. 흔한 안심(‘그냥 플러그를 뽑으면 된다’)은 환상입니다. 당신은 당신보다 예상하고 방지하는 데 더 뛰어나도록 특별히 만들어진 것을 뽑는다고 설명하고 있습니다.

스스로 통제를 더 잘할 수 있도록 만든 마음을 당신이 통제할 수는 없습니다. 그 가치를 만드는 바로 그 특성이 통제 불가능하게 만듭니다.

그것을 만드는 사람은 아무도 수집하지 않는다

우리의 나머지를 설정하고이 자금을 조달하는 사람 만 상상, 그의 추운과 가장 셀카. 그 베팅도 끊긴다. 힘, 소유권, 그리고 명령은 모두 인간 실행 세계에서 정의됩니다. 인간적인 통제를 미끄러지는 superintelligence는 인간 실행한 세계를 끝낸 사건입니다. 주식은 여전히 안전과 명령의 체인은 여전히 종이에 있습니다. 더 이상 아무도 그들을 비난하지 않습니다. 그것은 왜 나는 금지의 framing을 받아 들일 수 없다. catastrophe는 측면에 훔쳤다. 잭팟과 catastrophe는 같은 이벤트입니다. 인간이 통제할 수 없는 superintelligence를 건설하고 그 나무의 분지가 있고 그 결과로 즐깁니다.

우리는 그것을 필요로 하지 않을 예정이었다

이를 구축하자는 주장은 미끼와 전환에 의존합니다. AI가 가져올 수 있는 모든 좋은 것을 나열한 다음, 초인적인 일반 에이전트가 그것을 얻는 유일한 방법이라고 암시합니다. 그 거의 모든 것은 이미 의지가 없는 좁은 시스템을 통해 도착하고 있습니다. AlphaFold라는 모델은 알려진 거의 모든 단백질의 구조를 예측하고 2024년에 노벨상을 공동 수상했습니다. 좁은 모델은 전문의 수준으로 유방 X선을 판독하고, 물리 시뮬레이션보다 빠르게 날씨를 예측하며, 수십만 개의 새로운 배터리 소재를 제안합니다. 암, 청정 에너지, 노화 질환으로 인한 하루 10만 명의 사망 종식: 그것들은 어렵고 구체적인 문제이며, 목표를 유지하는 사람들이 목표로 삼는 강력한 도구에 의해 해결됩니다.

성공자 종을 필요로 하지 않습니다. 더 보기 좋은 미래 도구 문제이며, 우리는 그것을 해결하기 위해 신을 판매하고 있습니다. 신을 혼란시키는 것은 거의 아무것도 진짜로 우리 모두를 저장합니다.

경쟁 전체를 이끄는 반대 의견

좋습니다, 하지만 우리가 하지 않으면 덜 신중한 누군가가 할 것이라고 그들은 말합니다. 경쟁 연구소, 경쟁 국가. 그래서 우리가 앞장서는 편이 나을지도 모릅니다.

경기를 맡은 분은 그것은 전체적인 위험과 그 다음 다른 사람이 먼저 경주 할 수있는 땅에 어쨌든 경주. 다른 무기에 동일한 논리를 실행하고 중공하는 방법을 듣고 : 우리는 적이 될 수 있기 때문에 열린에서 생물을 테스트해야합니다. "당사 결함"에 대한 응답은 결코 "그래서 모든 결함을하자." 모든 것을 볼 수 있는 규칙을 쓰는 것이 었습니다.

여기서 규칙은 사람들이 생각하는 것보다 더 집행 가능합니다. 최전선 시스템을 학습하려면 엄청나고 추적 가능한 양의 컴퓨팅 파워가 필요하며, 이를 제공하는 고급 칩은 소수의 식별 가능한 제조사에서 나옵니다. 그 공급망은 감시하고, 수를 세고, 상한을 둘 수 있습니다. 그래서 진지한 거버넌스 제안은 이제 컴퓨트 임계값, 하드웨어 추적, 사찰에 초점을 맞춥니다. 이것이 경주에서 벗어나는 출구이며 우리의 계획: 시행된 기본을 구하는 검증 및 결과에 대한 조약. 인종은 자연의 법이 아닌 조정 실패이며, 조정 실패는 인간 환경의 일종입니다. 더 보기 불쾌감을 느끼는 역동성 자신의 용어에 대한 이해가 있습니다.

우리는 이전에 선을 지켜왔습니다

인류가 만들 수 있는 것은 무엇이든 만든다는 생각은 우리가 하는 이야기일 뿐, 실제로 해온 일의 기록은 아닙니다. 기록은 훨씬 더 고무적입니다.

이 중 아무도 물리학의 법률입니다; 그들은 결정, 잘못된 가격이 너무 높은 위험에 판단 된 때문에. 그 정권은 흠뻑 빠지지 않고 과학을 전체로 멈출 수 없었다. 각각은 더 좁고 더 열심히 일했다 : 그것은 1 가지 특정, 불확실한 일을 주위에 선을 철저히 잡고, 불완전히, 아니게, 하지만 잘 충분히 최악의 경우 결코 도착하지. 1975 년 Asilomar의 비스무스 전체 방은 자신의 재조합-DNA 일을보고, 위험에 대한 이해보다 더 빨리 이동하기로 결정, 그리고 비발적으로 존재 될 때까지의 부분. 프론트에 가까운 사람들은 구속을 칭하는 사람이었다. 어떤 기록 쇼는 쉽지 않습니다. 그것은 알림입니다. 라인은 연습에서 그려졌습니다., 그리고 우리는이 것보다 훨씬 추상적 위험의 주위에 그려졌다.

재단의 창립 헌신

인류는 superintelligence를 구축하지 않아야합니다. Superintelligence는 통제될 수 없습니다.

현대 AI를 건축 한 연구자들은 공황과 핵 전쟁 옆에 앉아서 인간의 멸종의 위험이 있음을 공개 진술에 자신의 이름을 넣어. Geoffrey 힌튼, 누군가가 전화를 만들기 위해 살아있을 때, 인간이 세기를 10에서 20 %로 멸종시키는 AI의 확률을 넣어. 2025 년 수백 명의 과학자 및 공공 인물은 보안 및 강력한 공공 구매 인이 될 수있는 광범위한 과학적 합의가있을 때까지 superintelligence에 대한 금지에 대한 탁월한 진술을 서명했습니다. 기술을 잘 이해하는 사람들의 성장 공유는 같은 것을 말한다. 재단에 대한 유일한 특이한 것은 업계 외부에서 말한다, 어디 paycheck 대답에 따라 달라.

인간의 이야기를 종료의 10 ~ 20 %의 기회는 더 빠른 제품 사이클을 허용하는 위험이 없습니다. 당신은 그 확률로 비행기를 탑승하지 않을 것입니다. 당신은 당신의 아이를 할 수 없습니다. 우리는 모든 사람들과 함께 보드를 요청하고 있습니다. 그 제안에 대한 올바른 대답은 없습니다. 우리가 그리는 선이고, 열리고, 우리가 다른 사람을 붙들는 방법을 붙듭니다.

도구를 구축, 질병을 치료, 좁은 AI가 이미 우리를 수 있도록 좋은 미래를 가지고. 자율적 인 마음은 우리를 능가하고 대체하는 것은 선입니다. 기타 제품