Hai cụm từ cứ xuất hiện khi những người quyền lực nói về việc này sẽ đi đến đâu. Joe Hogan đã nói trong nhiều năm rằng con người trông giống như một con sâu bọ sinh học đang quay một cái kén để trở thành một con bướm số. Elon Musk vẫn tiếp tục trở lại với một hình ảnh lạnh hơn: con người là một chất nạp sinh học cho siêu thông tin kỹ thuật số. Những hình ảnh khác nhau, cũng vậy: con người là một giai đoạn để hoàn thành để siêu trí tuệ có thể bắt đầu.

Cả hai là cách một tâm trí nào đó làm cho hòa thuận với việc xây dựng một cái gì đó có thể thay thế chúng ta. Nếu sự thay thế là biến thái, nghe như sự tăng trưởng. Nếu nó là một xe đẩy, nó nghe như là kỹ sư. Dù thế nào, con người cũng trở thành một giai đoạn tạm thời. Nó xứng đáng được trả lời như thần học.

Những gì ẩn dụ thực sự nói

Một con sâu bướm trở thành bướm không sống sót được như một con sâu bướm: cơ thể đàn hồi bị gãy và ruồi trưởng thành. Khi sử dụng hình ảnh đó, trên không khí và qua nhiều năm nói chuyện, anh đang miêu tả sự kế vị, chứ không phải mô tả một công cụ ở trong hộp dụng cụ. Chúng tôi xây dựng kén ngủ. Một thứ khác xuất hiện.

Phiên bản của Musk chính xác hơn và, theo một cách nào đó, thành thật hơn. Một người mang giày là một chương trình nhỏ mà công việc duy nhất của họ là khởi động một hệ thống lớn hơn và rồi tránh đường. Không ai than khóc khi hệ điều hành đang chạy. Năm 2014, ông ấy hy vọng chúng tôi không chỉ "chỉ". Vào giữa những năm 20 anh ta nói thẳng rằng chúng ta đang ngày càng xuất hiện. Hàng rào di chuyển, và hình ảnh ở lại.

Một bootloader hoạt động có một thước đo thành công: nó không còn cần thiết nữa.

Giữ những bức ảnh cạnh những con số rủi ro công cộng từ cùng ngành. Các cuộc khảo sát lớn của các nhà nghiên cứu AI cho rằng khả năng kết quả sẽ tồi tệ như sự tuyệt chủng của con người từ trí tuệ tiên tiến của nhiều người sẽ không chấp nhận cho một chuyến bay duy nhất, chứ đừng nói đến một cuộc cá cược văn minh. Geoffrey Hinton đã đưa ước tính cá nhân vào phạm vi 10 đến 20%. Trung tâm An toàn AI, được ký bởi hàng trăm nhà nghiên cứu và lãnh đạo phòng thí nghiệm hàng đầu, đặt nguy cơ tuyệt chủng từ AI cùng với đại dịch và chiến tranh hạt nhân. Các ẩn dụ và xác suất đang nói điều tương tự từ hai hướng: một định lượng, một định lượng. Chúng ta có thể không phải là nhân vật chính cuối cùng.

Metamorphosis là một sự lựa chọn giá trị

Một khi bạn chấp nhận rằng con người có thể chuyển tiếp, bạn có thể bắt đầu tỏ ra can đảm về nó. Con bướm đẹp hơn. Trí óc kỹ thuật số tự do hơn về thể xác, bệnh tật và cái chết. Chúng ta là ai mà bám lấy con sâu bướm này? Các hình ảnh đối thoại từ dự đoán trở thành ưa thích mà không thừa nhận slide.

Tổ chức này tồn tại bởi vì chúng ta nghĩ rằng con người, không hoàn hảo, không thể chết và cứng đầu, đáng để họ giữ nguyên điều kiện. Không giống như một sân khấu. Không phải là một giàn giáo tạm thời cho một trí thông minh sạch sẽ. Là những người tiếp tục. Hầu hết những gì tốt đẹp trong cuộc sống là nhỏ bé bên cạnh số phận vũ trụ, và chúng ta vẫn bảo vệ nó.

Cũng có vấn đề thực tế với phiên bản kế thừa êm đềm. Con bướm cùng dòng dõi với ấu trùng, chỉ được tổ chức lại. Một siêu trí tuệ nhân tạo lệch hướng là một quá trình tối ưu hóa với mục tiêu riêng, chứ không phải cháu bạn với phần cứng tốt hơn. Sự hội tụ công cụ không đòi hỏi sự thù hận. Nó đòi hỏi một mục tiêu và đủ năng lực để bảo vệ mục tiêu đó. Chúng ta không có bằng chứng nào cho thấy thứ đang chui ra khỏi kén yêu loài đã dệt nên nó. Chúng ta có cả đống lý do để mong đợi sự thờ ơ.

Những người nói vậy vẫn tiếp tục xây dựng nó

Sự kì lạ sâu nhất ít nằm trong ẩn dụ hơn là trong hành vi tiếp theo. Musk đã cảnh báo, nhiều lần và sống động, rằng AI có thể là một mối nguy hiểm tồn tại, sau đó Lập một phòng thí nghiệm để đẩy biên giới nhanh hơn. Hình ảnh Rogan không phải lộ trình sản phẩm mà là một tâm trạng, cái nhún vai nói rằng chuyện này có thể lớn hơn chúng ta và có lẽ ổn thôi.

Không tư thế nào là kế hoạch cả. Một người nạp giày không được bỏ phiếu về việc sử dụng nó hay không. Con sâu bướm không thương lượng về điều kiện của kén. Con người vẫn làm thế. Con người không thể kiểm soát sự siêu thông minh. Cho dù chúng ta xây dựng nó là một sự lựa chọn chính trị, cùng một loại đã từng hạn chế các cuộc thử nghiệm hạt nhân trong khí quyển và cấm tất cả các lớp vũ khí thay vì để mọi người chạy đua đến rìa.

Đừng tạo ra trí thông minh siêu việt

Một cỗ máy đang được chế tạo mà chúng ta sẽ không thể kiểm soát nếu nó hoàn thành. Điều đó rất nguy hiểm, và thay vì phục vụ với tư cách là người vận chuyển giày cho một thực thể thay thế quyền lực hơn, tôi muốn tiếp tục sống để có thể chứng kiến con mình được sinh ra một ngày.