"Tôi là người lạc quan. Chắc chắn loài người sẽ không tuyệt chủng. Điều đó chưa từng xảy ra." Bạn nghe nó sau khi các tấm bảng an toàn, trong các phòng xanh lá cây và các sợi chỉ bình luận, đề nghị đóng lại đề tài: thận trọng như một khuyết điểm về nhân cách, động lực là sức khỏe tinh thần, một lời tuyên bố rủi ro được đưa vào tâm trạng.
Lạc quan là được phép, nhưng không phải coi một tính cách như bằng chứng.
Những gì "chưa từng xảy ra trước đây" thực sự nói
Sự tuyệt chủng của loài người, theo định nghĩa, không có nhân chứng con người sau đó. Mọi người đang sống đều đang lấy mẫu từ những dòng thời gian mà loài vẫn tiếp tục tồn tại. Gọi đó là sự chọn lọc, không phải triết lý: người trúng xổ số là nguồn kém cỏi về tỷ lệ trúng, và "Tôi chưa bao giờ chết trong tai nạn xe hơi" là lập luận yếu chống lại dây an toàn.
Hồ sơ hóa thạch ít tình cảm hơn. Đa số loài từng tồn tại trên Trái Đất đều đã biến mất. Vài đợt tuyệt chủng hàng loạt đã dọn sạch bàn cờ cho những gì đến sau. Homo sapiens là trẻ trong thời gian địa chất và đã đi qua các nút thắt, dịch bệnh và chiến tranh có thể kết liễu chúng ta chỉ qua một lần tung xúc xắc lạnh lẽo hơn. "Chưa từng xảy ra trước đây" chỉ là nhận xét về lát cắt mỏng manh của lịch sử mà chúng ta còn có thể bàn luận.
Những lần đầu tiên chính là thứ tạo nên thảm họa
Trước năm 1945, chưa có thành phố nào bị phá hủy bởi một quả bom duy nhất. Trước năm 1918, chưa có đại dịch nào lan trên mạng lưới đường sắt và tàu biển toàn cầu với tốc độ đó. Trước công việc ozone những năm 1980, chưa ai thực hiện thí nghiệm của con người là làm mỏng lớp giữ ánh sáng tử ngoại khỏi khử trùng bề mặt. Mỗi trường hợp đó, trước đó, là điều chưa từng xảy ra. Những người hành động không chờ đợi một trường hợp hoàn chỉnh trở thành sẵn có như một nghiên cứu tình huống.
Trí tuệ siêu việt nhân tạo nằm trong nhóm đó. Không có chuỗi lịch sử các siêu trí tuệ lệch lạc để tính trung bình. Có một cơ chế: các hệ thống theo đuổi mục tiêu, cải thiện năng lực riêng và cuối cùng vượt trội các thể chế được thiết kế để sửa chữa chúng. Cơ chế là thứ dùng khi tỷ lệ nền tảng im lặng. Yêu cầu một vụ tuyệt chủng loài người do AI trước khi coi cơ chế nghiêm túc là đòi xác chết trước khi chẩn đoán.
Mọi thảm họa đầu tiên, trước khi xảy ra, đều trông như điều chưa từng có.
Lạc quan, nhắm đúng mục tiêu
Có một dạng lạc quan tôi tôn trọng. Nó nói: con người đã từng phối hợp dưới áp lực. Các hiệp ước đã được tuân thủ. Các ngành công nghiệp đã bị buộc thay đổi hướng khi khoa học rõ ràng và chính trị được tổ chức hồ sơ kiềm chế Từ việc kiểm soát vũ khí hạt nhân cho đến các chất hóa học đang ăn lớp tầng ô-xy. Những điểm lạc quan ở cơ quan. Nó cho rằng tương lai vẫn là một quyết định.
Phiên bản greenroom làm ngược lại. Nó coi sự sống còn là cài đặt mặc định của vũ trụ và mối quan tâm là cách cư xử kém lịch sự. Nó nhầm lẫn "Tôi thích kết quả tốt" với "kết quả tốt do đó có khả năng xảy ra."
Khi Geoffrey Hinton, Yoshua Bengio và hàng trăm nhà nghiên cứu đưa rủi ro AI cấp độ tuyệt chủng vào cùng danh sách với đại dịch và chiến tranh hạt nhân, họ đang làm điều mà các chuyên gia vẫn làm khi một cơ chế trông có vẻ hợp lý và hậu quả là thảm khốc, chứ không phải diễn vai phản diện trong bài thuyết trình công nghệ. Bạn có thể không đồng ý với con số của họ. Bạn không thể bác bỏ cả hạng mục bằng cách tuyên bố kiểu tính cách của mình.
Chi phí để đóng cửa chủ đề
Nếu bài nói chuyện về sự tuyệt chủng được sắp xếp lại thành một vấn đề cảm xúc, thì tòa nhà sẽ tiếp tục mà không cần chiến đấu. Sau đó, hành động lịch sự duy nhất là chuyển chủ đề về năng suất và ứng dụng. Trong khi các phòng thí nghiệm quy mô, đánh giá chậm, và vấn đề kiểm soát vẫn chưa được giải quyết. Tâm trạng đã bị nhầm lẫn với quản trị.
Tôi muốn nhân loại tiếp tục. Muốn là phần dễ. Phần khó là từ chối một lộ trình phát triển tập trung quyền lực không thể sửa chữa vào những hệ thống mà không ai có thể tắt một cách đáng tin cậy, và thực hiện công việc chính trị cần thiết để dừng ràng buộc requires. If optimism only means "stop talking about the downside," it has become a lullaby.
Chúng ta chưa bao giờ tuyệt chủng, và đó không phải là bằng chứng chúng ta sẽ sống sót qua siêu trí tuệ.