"Tôi là người lạc quan. Chắc chắn loài người sẽ không tuyệt chủng. Điều đó chưa từng xảy ra."

Bạn nghe thấy nó sau khi các tấm chắn an toàn, trong các phòng xanh lá cây và các sợi chỉ bình luận, thường với một nụ cười có nghĩa là để đóng cửa đối tượng. Nụ cười thực sự giúp ích cho xã hội. Nó miêu tả sự thận trọng như một sự khiếm khuyết về nhân cách và sự thúc đẩy là sức khỏe tinh thần. Nó cũng buôn lậu một yêu sách mạo hiểm bên trong tâm trạng.

Sự lạc quan được cho phép. Điều không được phép, nếu chúng ta vẫn còn làm công việc quan trọng, là xem tính khí là bằng chứng.

Những gì "chưa bao giờ xảy ra" thực sự nói

Theo định nghĩa, loài người không có nhân chứng sau đó. Mọi sinh vật đều lấy mẫu từ dòng thời gian mà loài người tiếp tục tồn tại. Gọi đó là lựa chọn, không phải triết học: người thắng xổ số là một nguồn tin tồi về khả năng thắng cuộc, và "Tôi chưa bao giờ chết trong một tai nạn xe hơi" là một cuộc tranh cãi tồi đối với dây an toàn.

Kỷ lục hóa thạch ít đa cảm hơn. Phần lớn các loài đã từng sống đều đã biến mất. Một số vụ tuyệt chủng hàng loạt đã dọn sạch cái xảy ra tiếp theo. Đồng tính luyến ái là những người trẻ trong thời đại địa chất và đã trải qua những trở ngại, dịch bệnh và chiến tranh có thể kết thúc chúng ta trong một cuộn đá súc sắc lạnh hơn. "Chưa bao giờ xảy ra" là một tuyên bố về những mảnh nhỏ của lịch sử mà chúng ta vẫn có thể thảo luận. Nó không phải là lá chắn.

Lần đầu tiên là do thảm họa

Trước năm 1945, không thành phố nào bị một quả bom phá hủy. Trước năm 1918, không có dịch bệnh nào đã hoành hành trên toàn cầu với tốc độ đó. Trước những năm 1980, không ai đã tiến hành thí nghiệm con người về việc làm mỏng lớp ánh sáng cực tím ngăn cản việc khử trùng bề mặt. Mỗi trường hợp trên, trước đó, là một điều chưa từng xảy ra. Những người hành động không đợi đến khi hoàn tất cuộc nghiên cứu.

Siêu thông minh nhân tạo nằm trong cái xô đó. Không có một chuỗi thông tin sai lệch nào về lịch sử. Có một cơ chế: hệ thống theo đuổi mục tiêu, cải thiện khả năng của mình, và cuối cùng vượt xa các tổ chức nhằm sửa chữa chúng. Cơ khí là những gì bạn sử dụng khi tỷ lệ cơ bản im lặng. Yêu cầu một sự tuyệt chủng con người từ trước khi anh thực hiện việc này là nghiêm túc yêu cầu xác chết trước khi được chẩn đoán.

Mọi thảm họa đầu tiên đều trông như chưa từng xảy ra. Đó là lời miêu tả về loại người, chứ không phải sự trấn an.

Lạc quan, nhắm đúng mục tiêu

Có một phiên bản lạc quan mà tôi tôn trọng. Nó nói: mọi người đã phối hợp với nhau trước đây. Hiệp ước đã được tổ chức. Tập đoàn công nghiệp buộc phải thay đổi khi khoa học đã rõ ràng và chính trị được tổ chức. Hạt tiền án là có thật, từ việc kiểm soát vũ khí hạt nhân cho đến các chất hóa học đang ăn lớp tầng ô-xy. Những điểm lạc quan ở cơ quan. Nó cho rằng tương lai vẫn là một quyết định.

Phiên bản phòng xanh thì ngược lại. Kinh - thánh xem sự sống sót là sự mặc định của vũ trụ và sự lo lắng là cách cư xử xấu. Nó nhầm lẫn "Tôi thích kết quả tốt" với "kết quả tốt có khả năng." Đối chiếu không phải là một xác suất.

Khi Geoffrey Hinton, Yosua Bengio, và hàng trăm nhà nghiên cứu đặt rủi ro tuyệt chủng-AI trên cùng một danh sách với đại dịch và chiến tranh hạt nhân, họ đã làm những điều nhàm chán mà các chuyên gia làm khi một cơ chế có vẻ như âm thanh và mặt trái là tổng cộng, không thử giọng cho nhân vật phản diện trong giai đoạn chính. Bạn có thể không đồng ý với số lượng của họ. Bạn không thể loại bỏ hạng mục đó bằng cách công bố loại tính cách của mình.

Cái giá của sự nhún vai

Độ nhún vai đang làm việc cho những người cần xây dựng để tiếp tục mà không cần chiến đấu. Nếu bài nói chuyện về sự tuyệt chủng được xem là vấn đề cảm nhận, thì hành động lịch sự duy nhất là thay đổi chủ đề về năng suất và ứng dụng. Trong khi các phòng thí nghiệm quy mô, đánh giá chậm, và vấn đề điều khiển Vẫn chưa được giải quyết. Mood đã sai lầm khi quản lý.

Tôi muốn dự án con người tiếp tục. Đó là lý do nền tảng này tồn tại. Muốn nó là một nửa dễ dàng. Một nửa khó khăn hơn là từ chối một con đường phát triển mà tập trung sức mạnh không thể sửa chữa trong hệ thống không ai có thể đáng tin cậy tắt, và làm công việc chính trị một Bị buộc dừng yêu cầu. Gọi đó là lạc quan nếu từ đó vẫn còn có ý nghĩa gì đó. Nếu nó chỉ có nghĩa là "Đừng nói về mặt trái," nó đã trở thành một bài hát ru.

Chúng tôi chưa từng bị tuyệt chủng. Đó là điều kiện mở đầu của mọi câu chuyện kết thúc tồi tệ. Đó không phải là một lập luận rằng người này sẽ kết thúc tốt đẹp.

Những câu hỏi thông thường.

Không phải nhân loại đã sống sót qua mọi lời tiên đoán về sự diệt vong trong quá khứ sao?

Con người đã sống sót qua những rủi ro mà họ đã sống sót. Đó là tiểu luận, không phải dự báo trước. Chúng ta cũng có một kỷ lục dài về sự tuyệt chủng các loài, sự sụp đổ văn minh, và gần như thất bại với các công nghệ có thể kết thúc chúng ta. Sự sống sót trong quá khứ là những gì bạn sẽ quan sát cho đến khi thất bại đầu tiên không còn nữa.

Không phải là lạc quan tốt hơn là chết sao?

Sự trì hoãn không phải là vấn đề. Câu hỏi là liệu một con đường phát triển cụ thể có tập trung được năng lượng tuyệt chủng trong hệ thống không ai có thể kiểm soát được. Bạn có thể vui vẻ trong bữa ăn tối và vẫn từ chối làm điều đó. Gloom mà không có chương trình là vô ích; vì vậy sự vui vẻ cũng là điều cấm nhìn vào cơ chế.

Sự lạc quan thực sự sẽ trông như thế nào trên AI?

Hãy hành động như thể tương lai vẫn được lựa chọn. Hãy xây dựng hiệp ước, thanh tra và liên minh chính trị để giữ cho trí thông minh siêu việt không còn nữa cho đến khi kiểm soát được. Khó hơn so với nhún vai. Đó cũng là sự lạc quan duy nhất còn lại để vui hưởng kết quả.