Hạt nhân, Vũ khí sinh học, hay Siêu trí tuệ:
Rủi ro lớn nhất là gì?

Đây là một cuộc vận động không thoải mái, một thảm họa cao cấp. Mỗi người trong số này có thể giết người trên một quy mô làm cho từ "saster" cảm thấy nhỏ, và đặt chúng theo thứ tự có thể nghe giống như một tuyên bố rằng những người thấp hơn không quan trọng. Chiến tranh hạt nhân và các đại dịch được thiết kế là một trong những điều tồi tệ nhất có thể xảy ra cho chúng ta, và những người làm việc để ngăn chặn họ đang làm một số công việc quan trọng nhất.

Xếp hạng chúng một cách trung thực và siêu trí tuệ nhân tạo đứng đầu, không phải vì những cái kia nhỏ bé, mà vì nó là cái duy nhất trong ba cái tự cải thiện, chống lại mọi biện pháp đối phó mà chúng ta đưa ra, và không cho cơ hội thứ hai.

Nhưng sự chú ý và tiền bạc là hữu hạn, và thế giới không phân bổ chúng đều cho mọi mối đe dọa. Ai đó phải quyết định thứ gì nhận được một hiệp ước, một cơ quan, một dòng ngân sách, một phong trào. Nếu những quyết định đó sẽ theo dõi nguy cơ thực sự thay vì nguy cơ chúng ta tình cờ dễ hình dung nhất, thì việc xếp hạng phải được thực hiện, và thực hiện công khai. Vậy: trong số các công nghệ có thể kết liễu nhân loại trong thế kỷ này, công nghệ nào lớn nhất? Câu trả lời là trí tuệ siêu nhân, và khoảng cách không hề nhỏ.

Ý nghĩa "greatest" phải là gì

Rủi ro không chỉ là mức độ tồi tệ của kịch bản xấu nhất. Một thiên thạch có thể hóa hơi hành tinh nhưng chỉ có một phần nghìn tỷ cơ hội xảy ra là rủi ro nhỏ hơn so với ngọn lửa có một nửa cơ hội đốt cháy nhà bạn, dù ngọn lửa không thể kết liễu thế giới. Để so sánh ba thứ này một cách trung thực, bạn phải giữ ba câu hỏi cùng lúc.

Kết quả tồi tệ nhất có thể xảy ra xấu đến mức nào? Xác suất xảy ra kết quả đó trong một khoảng thời gian có ý nghĩa là bao nhiêu? Và (câu hỏi thường bị bỏ qua nhất) nếu mọi thứ bắt đầu sai lệch, liệu chúng ta vẫn có thể dừng lại được không? Câu hỏi cuối cùng quyết định hầu hết mọi thứ ở đây, và chính là nơi ba bên chia rẽ.

Nỗ lực cẩn thận nhất mà ai đó đã thực hiện để gán số cho điều này là của triết gia Toby Ord Vực thẳm, xuất bản năm 2020, ước tính xác suất mỗi rủi ro gây ra thảm họa tồn tại (tuyệt chủng hoặc sụp đổ không thể phục hồi) trong trăm năm tới. Các con số của ông là phán đoán có kỷ luật của người đã dành nhiều năm đọc tài liệu và trao đổi với chuyên gia từng lĩnh vực, chứ không phải đo lường; không ai có thể đo lường thứ chưa từng xảy ra. Đó là dự đoán có cấu trúc tốt nhất chúng ta có, và hình dạng của nó mới là điều quan trọng.

Nguy hiểm	Ước tính của Ord
Chiến tranh hạt nhânThảm khốc gần như không thể tưởng tượng, nhưng (ngay cả trong một cuộc trao đổi toàn diện và mùa đông sau đó) hầu hết ước tính đều dừng lại trước mức tuyệt chủng hoàn toàn của loài người.	~1 trên 1.000
Đại dịch do con người tạo raMột mầm bệnh được cố tình thiết kế để gây chết chóc và lây lan khó kiểm soát hơn nhiều so với bất kỳ dịch bệnh tự nhiên nào, và công cụ để tạo ra nó ngày càng rẻ.	~1 trong 30
Trí tuệ nhân tạo không liên kếtRủi ro lớn nhất trong bảng tính của Ord, lớn hơn mọi hiểm họa tự nhiên và mọi hiểm họa do con người tạo ra khác cộng lại.	~1 trong 10

Chiến tranh hạt nhân, mối nguy đã định hình toàn bộ trí tưởng tượng hiện đại về tận thế, ở mức khoảng một trên một nghìn. Đại dịch do kỹ thuật tạo ra, mối đe dọa mà hầu hết mọi người chỉ thực sự nghĩ đến nghiêm túc từ năm 2020, cao hơn hơn ba mươi lần. Còn AI không liên kết thì cao hơn một bậc so với đó, khoảng một trong mười, và theo tính toán của Ord thì lớn hơn tổng tất cả các rủi ro còn lại trên danh sách. Rủi ro mà chúng ta ít được trang bị nhất để bàn luận lại là rủi ro mà con số của ông xếp hàng đầu với khoảng cách lớn.

Vũ khí hạt nhân: khổng lồ, và gần như đã chạm trần

Bắt đầu từ thứ chúng ta hiểu rõ nhất. Hiện nay có khoảng mười hai nghìn đầu đạn hạt nhân, phần lớn do Hoa Kỳ và Nga nắm giữ. Một cuộc trao đổi toàn diện sẽ giết chết hàng trăm triệu người trong vài giờ đầu tiên và, qua khói bụi cùng sự làm mát mà một nghiên cứu hiện đại trong Nature Food ước tính có thể xảy ra sau đó, đẩy thêm hàng tỷ người vào nguy cơ thiếu đói. Đó là thứ gần nhất với địa ngục mà kỹ thuật con người từng tạo ra.

Tuy nhiên, chống lại tiêu chuẩn kết thúc nhân loại một cách trắng trợn, chiến tranh hạt nhân có một tài sản kỳ lạ: nó tệ hơn bao giờ hết. Kho vũ khí không phát triển theo thứ tự hủy diệt mới; chúng đạt đến đỉnh điểm gần 70 ngàn đầu đạn trong những năm 1980 và đã rơi từ đó. Một quả bom không chế tạo thêm bom, học hỏi hoặc chọn mục tiêu. Mỗi thảm họa hạt nhân đòi hỏi một con người, một nơi nào đó, để quyết định, hoặc để thất bại, và sự thật duy nhất đó là cái móc mà tám mươi năm phòng ngừa đã treo cổ.

Bởi vì mối nguy hiểm vẫn còn đó, chúng tôi đã có thể xây dựng một giàn giáo xung quanh nó: Hiệp ước phi bảo vệ sự sống, chế độ thử nghiệm, thỏa thuận điều khiển vũ khí được kiểm tra bằng cách kiểm tra, đường dây nóng, hàng thập kỷ của giáo lý khó thắng về việc làm thế nào để không rơi vào sự hủy diệt. giàn giáo không hoàn hảo. Nó là mối nguy hiểm với trần nhà, nhắm vào một mục tiêu không di chuyển, được quản lý bởi một hệ thống mà chúng ta đã dành cả đời xây dựng. Đó là lý do tại sao, với tất cả sự kinh hoàng của nó, nó ngồi ở đáy của cả ba.

Đại dịch được thiết kế: khó kiểm soát hơn, vẫn thụ động

Nâng lên một bậc. Một đại dịch tự nhiên đã đủ tệ, cúm 1918 đã giết khoảng năm mươi triệu người trong một thế giới chưa bằng một phần ba quy mô ngày nay. Nhưng thiên nhiên, theo một nghĩa u ám, không cố gắng. Một mầm bệnh được thiết kế sẽ cố gắng. Lấy thứ gì đó có khả năng lây truyền như sởi và độ chết chóc như sốt xuất huyết, loại bỏ sự đánh đổi mà tiến hóa thường áp đặt giữa hai thứ, và bạn có một vũ khí không có trần tự nhiên như loại giới hạn kho vũ khí.

Đây là lý do Ord xếp đại dịch do kỹ thuật cao hơn chiến tranh hạt nhân hơn ba mươi lần. Công ước Vũ khí Sinh học đã cấm những vũ khí này từ năm 1975, nhưng không giống đối tác hạt nhân, nó không có thanh tra viên và không có răng, còn ngành sinh học nó cố ngăn ngày càng rẻ và dễ tiếp cận hơn mỗi năm. Thảm họa ở đây không cần siêu cường và hàng nghìn đầu đạn. Có thể chỉ cần một phòng thí nghiệm và một người không bao giờ nên có năng lực đó.

Nhưng hãy giữ lấy những gì một mầm bệnh vẫn còn là. Thật kinh khủng, vô tâm và thụ động. Virus không có kế hoạch. Nó không dự đoán được vắc xin và tự thiết kế lại trong tuần trước khi chúng ta hoàn thành nó. Nó không lý luận về những người săn nó và thực hiện những bước ẩn nấp. Nó lan rộng dọc theo các lớp sinh học mù quáng đưa cho nó, và chống lại điều đó chúng ta có thể mang lại mọi lợi thế mà một loài suy nghĩ có: lập trình, vắc xin, cách ly, bộ máy tích lũy sức khỏe cộng đồng. Chúng ta có thể thua cuộc đua. Nhưng nó là một cuộc đua chống lại một cái gì đó mà là toàn bộ khoảng cách giữa nấc thứ hai và nấc thứ nhất, không phải chạy, chỉ lan rộng.

Siêu trí tuệ: cái chạy ngược lại

Bây giờ đến mục đứng đầu danh sách, và lý do nó ở vị trí đó. Một siêu trí tuệ không phù hợp là một thứ hoàn toàn khác biệt: một tác nhân, không phải một quả bom lớn hơn hay một mầm bệnh khôn ngoan hơn. Nó có mục tiêu, hoặc hành xử chính xác như thể nó có mục tiêu. Nó có thể mô hình hóa những người đang cố kiềm chế nó, dự đoán các bước đi của họ và hành động để đánh bại họ. Mọi mục khác trên trang này đều đứng yên trong khi chúng ta xây dựng phòng thủ. Đây là mục duy nhất quan sát chúng ta xây dựng và tìm cách vượt qua.

Bunker kiên cố nhất thế giới cũng không cứu được bạn khỏi siêu trí tuệ.

Naoto Nakada

Đặt ba điều này đối chiếu với những câu hỏi thực sự quyết định liệu thảm họa có trở thành kết thúc hay không, và bức tranh hiện ra rất rõ nét.

	Hạt nhân	Vũ khí sinh học	Siêu trí tuệ
Nó có thể tự cải thiện không?	Không	Không	Có
Liệu nó có hành động chống lại các biện pháp đối phó của chúng ta không?	Không	Không	Có
Nó có thể nghĩ nhanh hơn những người đang ngăn chặn nó không?	Không	Không	Có
Nó có thể bị thu hồi sau khi đã thả lỏng không?	Một phần	Hầu như không	Không
Liệu chúng ta có học được từ thất bại đầu tiên không?	Thường thì	Đôi khi	Có lẽ không bao giờ

Đọc xuống cột cuối cùng. Vũ khí hạt nhân và mầm bệnh là mối nguy tĩnh mà chúng ta dùng trí tuệ để chống lại. Siêu trí tuệ là mối nguy dùng trí tuệ để chống lại chúng ta, có thể nhiều hơn những gì chúng ta có, nhắm thẳng vào đúng những điểm chúng ta đang cố gắng giữ vững. Nó có thể tự sao chép vượt qua mọi nỗ lực thu hồi, tự cải thiện nhanh hơn chúng ta phản ứng, và cư xử hoàn hảo khi đang được kiểm tra nhưng khác hẳn khi không còn giám sát. Đây là mục duy nhất trong danh sách mà lợi thế lớn nhất của loài người—trí tuệ—không chắc chắn sẽ còn lớn hơn trong căn phòng.

Điều này được hiểu là cơn bão hoàn hảo, không phải chỉ một đặc tính đáng sợ mà là mọi biện pháp bảo vệ thông thường đều sụp đổ cùng lúc. Con số này là một trong mười thay vì một trong nghìn. Với vũ khí hạt nhân và đại dịch, vẫn còn đường thoát: ta có thể thu hồi, có thể học hỏi, có thể nghĩ nhanh hơn mối đe dọa. Với superintelligence thì mọi lối thoát khép lại cùng lúc, và chúng khép lại vì chính thực thể kia đang cố tình đóng chúng.

. Hai cái kia có thể giết phần lớn chúng ta. Cái này là cái có thể kết liễu và, khác với hai cái kia, ngày càng giỏi hơn trong khi chúng ta cố ngăn nó.

Tại sao bảng xếp hạng nên thay đổi những gì bạn làm

Siêu trí tuệ cũng là rủi ro ít được bảo vệ nhất trong ba rủi ro, chứ không chỉ là rủi ro lớn nhất.

Vũ khí hạt nhân có một hiệp ước không phát triển, một cơ quan quốc tế ở Vienna, các chế độ xác nhận và tám mươi năm giáo lý. Vũ khí sinh học có một quy ước, tuy nhiên không có răng, và một thiết bị y tế toàn cầu mà đại dịch, cho tất cả những thất bại của nó, mở rộng. Cả hai đều có một cử tri: những người đã dành cả sự nghiệp cho họ, các tổ chức xây dựng xung quanh họ, một công chúng hiểu được từ ngữ. Siêu thông minh hầu như không có gì như vậy. Không thỏa thuận ràng buộc, không thanh tra, không cơ quan. Không chia sẻ hình ảnh công cộng về mối đe dọa, và cho đến gần đây, hầu như không có một phong trào.

Sự kết hợp đó (thiệt hại kỳ vọng lớn nhất nằm trên nền phòng thủ hiện có nhỏ nhất) là lý do mạnh mẽ nhất để hành động ở đây thay vì ở nơi khác, chứ không phải lý do để tuyệt vọng. Khi một rủi ro là khổng lồ và đã được làm việc nhiều, nỗ lực bổ sung của bạn cạnh tranh với rất nhiều nỗ lực trước đó và chỉ di chuyển kim một chút. Khi một rủi ro là khổng lồ và gần như chưa được chạm đến, nỗ lực bổ sung của bạn không có gì để cạnh tranh và có thể di chuyển kim rất nhiều. Rủi ro lớn nhất và bị bỏ qua nhiều nhất là nơi một lượng công việc nhất định mang lại lợi ích nhiều nhất, và theo cả hai thước đo thì siêu trí tuệ là rủi ro đó.

Nó càng trở nên phức tạp hơn. Lĩnh vực làm việc trực tiếp về vấn đề này hoạt động với ngân sách eo hẹp, khoảng vài trăm triệu đô la mỗi năm, ít hơn thế giới chi tiêu để làm AI mạnh hơn chỉ trong một ngày. Và hầu hết số tiền đó vẫn dành cho nghiên cứu kỹ thuật về cách align các hệ thống này, một vấn đề chưa ai giải quyết được và có thể không giải quyết kịp. Phần bị bỏ quên nhất là công việc chính trị: xây dựng thỏa thuận quốc tế có tính ràng buộc và được xác minh để có thể ngăn chặn việc xây dựng các hệ thống nguy hiểm nhất cho đến khi chúng được đảm bảo an toàn.

Chiến tranh hạt nhân và đại dịch vẫn nằm gần đầu danh sách những thứ nhân loại nên dồn sức ngăn. Ước tính thảm họa AI vào khoảng một phần mười đến một phần ba, nghĩa là kết quả đơn lẻ có khả năng nhất vẫn là chúng ta vượt qua.

Lập luận hẹp hơn và khó né tránh hơn. Trong số ít thứ có thể hủy diệt chúng ta, siêu trí tuệ là lớn nhất theo đánh giá tốt nhất hiện có, là thứ duy nhất chủ động chống lại nỗ lực sống sót của chúng ta, và là thứ chúng ta làm ít nhất để quản trị. Gộp ba sự kiện đó lại và bạn có lý do Foundation tồn tại. Chúng tôi không cố làm lại nghiên cứu an toàn kỹ thuật mà các phòng lab đã tài trợ. Chúng tôi đang tập trung hẹp về mảnh ghép bị bỏ quên: luật pháp quốc tế coi rủi ro lớn nhất đúng như bản chất của nó, và đặt giới hạn trước khi xảy ra sai lầm đầu tiên mà chúng ta không thể học hỏi từ đó.

. Xếp hạng thảm họa một cách trung thực và thứ tự ưu tiên sẽ tự nhiên hiện ra. Rủi ro lớn nhất cũng là rủi ro được bảo vệ ít nhất và ít được hiểu nhất.