P(tận thế) không phải thuật ngữ kỹ thuật từ bài báo chính thức. Nó xuất hiện trong các thảo luận AI safety trực tuyến như cách viết tắt cho ước tính xác suất mà hầu hết nhà nghiên cứu trước 2020 sẽ không gán số cho. Sự sẵn sàng lượng hóa nó (xem rủi ro thảm họa AI như một xác suất cần ước tính thay vì một khả năng cần ám chỉ mơ hồ) là một trong những thay đổi có ý nghĩa trong cách những người làm việc gần nhất với phát triển AI nghĩ về vấn đề.
Ước tính phạm vi từ một vài phần trăm đến trên 50%, tùy thuộc vào các nhà nghiên cứu và làm thế nào họ đánh giá khó khăn của sự thẳng hàng và tốc độ quản lý.
Từ “doom” trong P(tận thế) được cố ý không định nghĩa cụ thể. Các nhà nghiên cứu khác nhau dùng nó để chỉ sự tuyệt chủng của loài người, mất vĩnh viễn quyền tự chủ của con người, tập trung vĩnh viễn quyền lực vào một tác nhân duy nhất, hoặc một thảm họa văn minh nào đó. Sự không chính xác này được thừa nhận; mục đích của thuật ngữ là buộc phải suy luận định lượng rõ ràng về rủi ro thay vì dựa vào trực giác về việc nó có “thực” hay “giả thuyết”.
Các ước tính trông như thế nào
Khoảng cách giữa các nhà nghiên cứu này rất đáng chú ý. Hinton và Yudkowsky cách nhau hàng chục điểm phần trăm. Phân tích phân rã chính thức của Carlsmith cho ra một khoảng rộng thay vì một con số cụ thể, phản ánh sự không chắc chắn thực sự ở mỗi bước trung gian. Điểm chung của các ước tính này là chúng đều không nhỏ; không nhà nghiên cứu nào tập trung vào an toàn, đã nghiêm túc xem xét vấn đề và đưa ra con số, lại cho kết quả dưới khoảng 5%.
Đặt quan điểm riêng của bạn về từng điểm then chốt dưới đây và xem chúng nhân lên thành một ước tính duy nhất.
Tại sao khoảng rộng tồn tại
P(tận thế) dưới dạng con số là tích của một số câu hỏi trung gian không chắc chắn nhân lại với nhau. AI sẽ tiến bộ nhanh đến mức nào? Vấn đề alignment khó đến đâu ở mức năng lực vượt quá những gì chúng ta đã thử nghiệm? Xác suất AI lệch mục tiêu ở mức năng lực nhất định gây hại thảm khốc thay vì hạn chế là bao nhiêu? Xác suất quản trị phản ứng hiệu quả trước ngưỡng năng lực tới hạn là bao nhiêu?
Các nhà nghiên cứu khác nhau có phân phối khác nhau về những câu hỏi này, và các ước tính kết hợp lại. Một nhà nghiên cứu cho rằng vấn đề liên kết có thể giải quyết được, năng lực tiến triển tương đối chậm, và quản trị sẽ kịp phản ứng sẽ đưa ra ước tính tổng thể thấp hơn nhiều so với người có quan điểm ngược lại về mỗi câu hỏi. Phạm vi rộng phản ánh sự không chắc chắn thực sự về từng yếu tố, chứ không phải bất đồng sẽ được giải quyết bằng cách xem xét cùng bằng chứng kỹ lưỡng hơn.
Lập luận về giá trị kỳ vọng
Một phản ứng phổ biến với các ước tính P(tận thế) không tầm thường là: "Ngay cả 10% cũng có vẻ quá thấp để tái cấu trúc xã hội xung quanh." Phản ứng này dựa trên sự thất bại trong lập luận giá trị kỳ vọng mà sẽ không được chấp nhận trong các bối cảnh rủi ro khác.
Xác suất hàng năm của một đại dịch lớn có thể giết chết hàng triệu người được ước tính dưới 1% trong bất kỳ năm nào, nhưng công tác chuẩn bị ứng phó đại dịch vẫn nhận được đầu tư và chú ý chính sách đáng kể trên toàn cầu. Xác suất suốt đời tử vong do tai nạn xe hơi ở US khoảng 1%, và quy định an toàn giao thông được coi là hoàn toàn bình thường. Lập luận rằng xác suất 10% (hoặc thậm chí 5%) gây ra thảm họa văn minh không đáng nhận đầu tư phòng ngừa nghiêm túc là cách áp dụng không mạch lạc so với cách chúng ta xử lý rủi ro trong các lĩnh vực khác.
Giá trị mong đợi là xác suất lần độ lớn. Đối với những nguy cơ không thể đảo ngược và văn minh trên bình diện (nơi không có sự phục hồi từ kết quả xấu, và kết quả xấu báo trước mọi giá trị trong tương lai) giá trị mong đợi của việc đề phòng vẫn còn lớn ngay cả dưới 10%. 1% cơ hội đánh mất mọi thứ là một vấn đề mà giá cả mong đợi là 1% của mọi thứ, mà, trên phạm vi tương lai dài chứa, là một con số khổng lồ, không phải là một vấn đề 1%.
Điều gì sẽ làm giảm P(tận thế)
Các nhà nghiên cứu bày tỏ ước tính P(tận thế) cao đang chẩn đoán nơi công việc quan trọng nhất cần diễn ra, chứ không phải cam chịu kết quả xấu. Các yếu tố có thể hạ P(tận thế) trong ước tính của hầu hết các nhà nghiên cứu đã được hiểu rõ: tiến bộ đã chứng minh trên công cụ diễn giải có khả năng xác minh alignment trong các hệ thống tiên phong; các phương pháp giám sát có thể mở rộng giữ được ở mức năng lực vượt quá chuyên gia con người; các khuôn khổ quản trị quốc tế ràng buộc với thực thi thực sự; và phát triển năng lực diễn ra chậm hơn nghiên cứu alignment để an toàn được thiết lập trước khi đạt mức năng lực nguy hiểm.
Tổ chức tập trung vào các khuôn khổ quản trị và nghiên cứu thẳng hàng như đòn bẩy chính, thay vì đơn giản là loại bỏ rủi ro hoặc điều trị cho một hệ thống định lượng nhất định là đáp án có thẩm quyền. Sự không chắc chắn trong P(tận thế) không phải là lý do để chờ thông tin thêm, kết quả xấu đến ở ngưỡng khả năng cụ thể, chứ không phải trên một dòng thời gian cho phép hoãn mãi mãi đề phòng.