Ít sách nào nêu kết luận ngay trong tiêu đề. Nếu Ai Đó Xây Dựng Nó, Mọi Người Đều Chết, xuất bản năm 2025 bởi Eliezer Yudkowsky và Nate Soares của Viện Nghiên cứu Trí tuệ Máy tính, làm đúng điều đó. Luận điểm là nếu bất kỳ nhóm nào xây dựng AI siêu trí tuệ bằng bất cứ thứ gì giống phương pháp hiện nay, kết quả mặc định là tuyệt chủng loài người, chứ không chỉ là trường hợp xấu nhất. Đây là lập trường kiên quyết nhất trong lĩnh vực, được trình bày cho độc giả phổ thông, và nó đã đưa tranh luận vào tầm nhìn chính thống.

Cuốn sách đáng để hiểu, vì nó trình bày trường hợp bi quan rõ ràng hơn bất kỳ thứ gì khác hiện có.

Lập luận trong ba bước

Cuốn sách được cấu trúc thành ba phần.

Thứ nhất, trường hợp nguy hiểm. Chúng ta đang trên đường xây dựng AI có khả năng hơn con người rất nhiều. Chúng tôi không biết làm thế nào để cung cấp cho một hệ thống mục tiêu mà được thực sự liên kết với sự tồn tại và phát triển, và mặc định một hệ thống siêu thông minh theo đuổi hầu hết bất kỳ mục tiêu nào mà chúng tôi có thể xác định sẽ đối xử với nhân loại như một trở ngại hoặc một nguồn lực. Các tác giả dựa vào cùng một cơ chế: khả năng đó không ám chỉ đến lòng nhân từ, rằng một nhà tối ưu có khả năng chống lại sự sửa chữa, và chúng ta không thể xác minh được những gì một hệ thống thực sự muốn. Họ cho rằng họ tin chắc rằng những vấn đề này không giải quyết được và thất bại thì gây chết người thay vì chỉ gây hại.

Thứ hai, một câu chuyện cụ thể. Thay vì để mối nguy trừu tượng, cuốn sách kể một kịch bản cụ thể về cách một AI siêu phàm có thể nắm quyền và chấm dứt sự kiểm soát của con người. Các tác giả nhấn mạnh rằng bất kỳ câu chuyện đơn lẻ nào cũng khó xảy ra ở chi tiết cụ thể; điểm mấu chốt là làm cho cơ chế trừu tượng trở nên sống động.

Thứ ba, phải làm gì. Lời khuyên của họ thẳng thắn như chẩn đoán: một lệnh dừng quốc tế đối với phát triển siêu trí tuệ AI, được thực thi nghiêm túc, bao gồm kiểm soát phần cứng tính toán cần thiết để huấn luyện hệ thống frontier, duy trì vĩnh viễn. Siêu trí tuệ không thể bị con người kiểm soát mà chỉ có thể hy vọng.

Lập luận cốt lõi của cuốn sách là, trên quỹ đạo hiện tại, đi sai đường là điều đáng mong đợi, và đi sai đường nghĩa là mọi người đều gặp nguy, chứ không phải AI có thể đi sai.

Chắc chắn

Phản đối phổ biến nhất nhắm vào sự chắc chắn. Các nhà phê bình chấp nhận rủi ro AI là có thật và nghiêm trọng trong khi bác bỏ khả năng gần như chắc chắn dẫn đến tuyệt chủng, lập luận rằng các tác giả coi các tiền đề còn tranh cãi, về tốc độ tăng trưởng năng lực, độ khó của alignment, và cách một cuộc tiếp quản diễn ra, với sự tự tin cao hơn mức bằng chứng hỗ trợ. Những người khác lập luận rằng tiến bộ alignment hứa hẹn hơn cuốn sách cho phép, hoặc sự u ám phản tác dụng, đẩy mọi người vào định mệnh thay vì hành động.

Sự tự tin của cuốn sách là đặc điểm có thể tranh cãi nhất. Bạn có thể tìm thấy sự chắc chắn về sự cường điệu và lập luận đó vẫn còn gây hoang mang, bởi vì những lời than phiền chủ yếu tấn công chúng ta nên chắc chắn đến mức nào, chứ không phải sự mạo hiểm là thật.

Foundation đứng ở đâu

Chúng tôi chia sẻ niềm tin cốt lõi của cuốn sách: rằng chúng ta không biết cách căn chỉnh siêu trí tuệ, rằng xây dựng một siêu trí tuệ theo quỹ đạo hiện tại là một canh bạc không thể chấp nhận, và rằng phản ứng có trách nhiệm là dừng lại cho đến khi vấn đề được giải quyết. Các bài viết của chúng tôi đề cập đến lý do alignment có thể không giải quyết được và tại sao siêu trí tuệ không liên kết không mang lại tương lai tốt đẹp.

Điểm khác biệt của chúng tôi nằm ở trọng tâm và giọng điệu. Cuốn sách gần như tuyệt vọng về việc liệu vấn đề alignment có thể được giải quyết kịp thời hay không. Chúng tôi nhấn mạnh vào tính khả thi của giải pháp mà chính cuốn sách ủng hộ, đó là một lệnh dừng quốc tế có tính ràng buộc, và coi nó không phải là hy vọng mong manh mà là một dự án chính trị và pháp lý cụ thể có tiền lệ thực tế Tuyên bố về Siêu trí tuệ, được ký bởi chính nhiều người sáng lập trong lĩnh vực, cho thấy lời kêu gọi dừng lại đã trở thành xu hướng chính thống. Bạn không cần chấp nhận mọi lập luận trong Nếu Ai Đó Xây Dựng Nó, Mọi Người Đều Chết để kết luận rằng đơn thuốc của nó là đơn thuốc tỉnh táo. Hạt vụ án giá trị kỳ vọng Đưa bạn đến đó thậm chí còn ít tự tin hơn các tác giả. Biến toa thuốc đó thành hiện thực là một dự án chính trị và hợp pháp cụ thể.