두 구문은 강력한 사람들이이 갈 곳에 대해 이야기 할 때 계속. Joe Rogan은 인간이 디지털 나비가되기 위해 코코온을 회전시키는 생물학적 caterpillar처럼 보이고 있다고 말했다. 일론 머스크는 더 찬 이미지로 돌아갑니다: 디지털 superintelligence를 위한 생물학 bootloader로 인류. 다른 그림, 동일한 주장: 인류는 이렇게 superintelligence가 시작할 수 있는 단계입니다.

둘 다 어떤 종류의 마음이 우리를 대체 할 수있는 무언가를 짓는 평화를 만드는 방법. 교체가 metamorphosis 인 경우 성장과 같은 소리. 부트 로더라면 엔지니어링처럼 들립니다. 어느 방법, 인간이 임시 단계가된다. 그것은 과학으로 대답 할 가치가있다.

은유들이 실제로 말하는 것

나비가 caterpillar로 살아남지 않는 caterpillar : larval 몸은 끊어지고 성인 파리. Rogan이 사진에 도달 할 때, 공기와 몇 년의 대화에, 그는 도구 상자에 머물 수있는 도구를 설명하는 것입니다. 우리는 코쿤를 구축합니다. 다른 것들이 나옵니다.

Musk의 버전은 더 정확하고, 길에서, 더 정직합니다. bootloader는 작업이 더 큰 시스템을 시작하고 그 다음 방법에서 얻을 수있는 작은 프로그램입니다. Nobody mourns the bootloader 언제 운영 체제 실행. 2014 년 그는 우리가 "단독"하지 않았다 희망. 2020 년 중반에 그는 점점 더 평평하게 말했습니다. 헤지가 이동하고 이미지가 유지되었습니다.

작동하는 부트로더의 성공 기준은 단 하나입니다. 더 이상 필요하지 않다는 것.

같은 산업에서 공공 위험 번호 옆에 그 사진을 잡아. AI 연구원의 큰 조사는 범위에서 고급 AI에서 인간의 멸종으로 나쁘게 할 수있는 기회를 갖게 많은 사람들이 단일 비행을 허용하지 않을 것입니다, 혼자 문명 베팅. 제프리 힌턴은 10에서 20 % 범위의 개인 견적을 넣었습니다. AI 안전의 짧은 진술 센터, 최고 연구원 및 실험실 지도자의 수백에 의해 서명, 에 따라 AI의 멸종 위험 및 핵 전쟁. metaphors와 확률은 두 방향으로 동일한 것을 말하는 것입니다. 1 lyrical, 1 quantitative. 우리는 최종 주인공이 될 수 없습니다.

메타모르포시스는 가치의 선택이다

인간이 과도기적 존재일 수 있다는 것을 받아들이면, 그것에 대해 용감하게 말할 수 있게 된다. 나비는 더 아름답다. 디지털 정신은 육체와 질병, 죽음에서 더 자유롭다. 우리가 애벌레 형태에 집착할 이유가 무엇인가? 대화는 그 미끄러짐을 인정하지 않은 채 예측에서 선호로 미끄러진다.

이 재단은 인간의 존재, 결함 및 사망자 및 자궁을 생각하기 때문에 존재하며 자신의 용어에 따라 유지 가치가 있습니다. larval 단계는 아닙니다. 깨끗한 지능을 위한 임시 비계는 아닙니다. 계속되는 사람들로. 인생의 가장 괜찮은 것은 우주 운명 옆에 작은 것입니다, 그리고 우리는 그것을 어쨌든 보호합니다.

평온한 승계 관점에는 사실적 문제도 있습니다. 나비는 애벌레와 같은 혈통이 재구성된 것입니다. 정렬되지 않은 초지능은 자체 목표를 가진 최적화 과정이지 하드웨어가 더 나은 손자가 아닙니다. 도구적 수렴 증오는 필요 없습니다. 목표와 그 목표를 지키기에 충분한 역량만 있으면 됩니다. 고치에서 나오는 존재가 고치를 만든 종을 사랑한다는 증거는 없습니다. 무관심을 예상할 이유는 충분합니다.

그렇게 말하는 사람들이 계속 만들고 있습니다

가장 깊은 확률은 다음과 같은 행동보다 메타에서 덜 앉아. Musk는 전쟁, 반복적으로 그리고 생생하게, AI는 존재 위험일 수 있습니다, 그 후에 프론트어를 더 빨리 밀어주는 실험실. 로건의 이미지는 제품 로드맵이라기보다 분위기, 즉 이것이 우리보다 클 수 있고 어쩌면 괜찮다는 어깨를 으쓱하는 태도에 가깝습니다.

Neither 자세는 계획입니다. bootloader는 사용 여부에 대한 투표를받지 않습니다. caterpillar는 코쿤의 용어를 협상하지 않습니다. 인간은 아직도 합니다. Superintelligence는 인간에 의해 통제될 수 없습니다. 우리는 그것을 건설하는 것은 정치 선택, 한 번 대기 핵 테스트를 제한하고 모든 사람이 가장자리에 경주 할 수 있기 때문에 무기의 전체 클래스를 금지.

superintelligence를 구축하지 마십시오.

기계는 현재 우리가 완성되는 경우에 통제가 없는 건축됩니다. 그것은 위험하다, 그리고 대신에 서 서 부트 로더 더 강력한 보충 기관에, 나는 계속 살고 싶습니다 그래서 나는 하루 태어난 내 아이들을 목격 할 수 있습니다.