Nhân loại Không Bao Giờ Được
Xây dựng Siêu trí tuệ

Vào năm 2025, hàng trăm nhà khoa học và nhân vật công cộng đã đưa tên họ vào một tuyên bố ngắn. Yêu cầu bỏ qua phóng đại cẩn thận và bỏ qua bất kỳ tạm dừng nào với một ngày tiếp theo. Nó đòi hỏi phải có một lệnh cấm về siêu thông minh cho đến khi có một thỏa thuận khoa học rộng lớn rằng nó có thể được thực hiện một cách an toàn và mạnh mẽ trong công chúng. Cuộc gọi là một tuyên bố ngắn, được ký bởi một danh sách dài các nhà nghiên cứu và các nhân vật công cộng.

Có một điều cụ thể đang được đào tạo ngay bây giờ trong một vài phòng thí nghiệm mà nhân loại nên từ chối xây dựng: một trí thông minh tổng quát vượt qua mọi lĩnh vực và sau đó cải thiện bản thân vượt qua điểm mà chúng ta có thể tiếp tục. Không một tòa nhà chậm chạp, không cẩn thận, không xây dựng và hy vọng: từ chối.

Mọi người nghe điều đó và cho rằng nó xuất phát từ nỗi sợ công nghệ. Thực ra nó đến từ nơi ngược lại. AI hẹp, có thể kiểm soát là một trong những thứ tốt nhất loài người chúng ta từng tạo ra, và tôi muốn có nhiều hơn nữa. Ranh giới chạy qua trí tuệ máy thông thường và dừng lại ở một canh bạc duy nhất: canh bạc duy nhất trên bàn mà thua nghĩa là không còn ai để thua nữa.

Dòng chữ, được phát biểu rõ ràng

Hai thứ đều được gọi là "AI," và chúng khác biệt về bản chất. Thứ nhất là hẹp: một hệ thống được huấn luyện để làm tốt một loại nhiệm vụ và không gì khác. Nó đọc ảnh chụp, gấp protein, dự báo bão. Nó không có mục tiêu, không lập kế hoạch, và tắt khi bạn bảo. Thứ hai là thứ các phòng thí nghiệm biên giới nói họ đang xây dựng, một tác nhân tổng quát nhằm sánh ngang rồi vượt qua suy luận con người ở mọi thứ, và cuối cùng hành động độc lập. Siêu trí tuệ nhân tạo là điểm cuối xa của con đường thứ hai đó: một trí óc mà đối với chúng ta gần như chúng ta đối với một con tinh tinh.

Đường ranh giới giữa hai đường này: xây dựng các công cụ, và xây dựng rất nhiều công cụ. Đừng xây dựng một bộ óc tự động loại trừ những người chế tạo nó: hệ thống duy nhất bạn không thể kiểm soát, sửa chữa hoặc tắt khi nó đang chạy.

Không có phương pháp nào có hiệu quả để giữ cho một tâm trí thông minh hơn chúng ta chỉ vào những gì chúng ta thực sự muốn: không phải là một người làm việc, không phải một phần, ngay cả một phác thảo hợp lý để tồn tại khi tiếp xúc với một hệ thống mà có thể mô phỏng những người thử nghiệm nó. Thành thật mà nói thì không bao giờ.

Sự khác biệt với sự tạm dừng quan trọng hơn là âm thanh. Một tạm dừng có một ngày tháng được xây dựng trong đó. Anh dừng lại, chờ đợi, anh bắt đầu lại theo lịch trình. Cái mà Tổ chức yêu cầu không có ngày tái sử dụng. Những người đã nghiên cứu vấn đề kiểm soát lâu nhất đã giải quyết Lý do cấu trúc nó không thể giải quyết.

Ba điều khiến điều này khác biệt so với mọi rủi ro khác

Chúng ta luôn chấp nhận rủi ro thực sự. Chúng ta chế tạo bom, phân tách nguyên tử để lấy năng lượng, ghép gen, tung ra các công nghệ từng giết người trước khi học cách kiểm soát. Siêu trí tuệ phá vỡ phương pháp mà ta thường dùng để sống sót qua phát minh của chính mình. Ba đặc tính, khi kết hợp, đặt nó vào một hạng mục riêng.

Không có lần thử thứ hai

Cách nhân loại luôn xử lý mối nguy mới là thử nghiệm nó, quan sát khi nó thất bại, rồi sửa chữa. Máy bay rơi và chúng ta học cách chế tạo máy bay an toàn hơn. Lò phản ứng tan chảy và chúng ta viết lại quy tắc. Vòng lặp sai lầm, sửa chữa và thiết kế tốt hơn là động lực của mọi thành tích an toàn chúng ta có. Nó chỉ hoạt động khi một thất bại để lại người sống sót thực hiện việc sửa chữa. Một siêu trí tuệ thoát khỏi kiểm soát con người là thất bại loại bỏ những người lẽ ra sẽ sửa chữa nó. Bạn không nhận được bài học đắt giá và bản nháp thứ hai. Sai lầm nghiêm trọng đầu tiên cũng là sai lầm cuối cùng. Mọi câu chuyện an toàn bạn từng nghe đều do người sống sót viết nên, đó là sự thật thầm lặng đằng sau mọi quy định chúng ta tin tưởng.

Nó đẩy lùi

Một cây cầu không muốn gì cả. Một mầm bệnh lây lan nhưng không lập kế hoạch. Một trí tuệ tổng quát có năng lực khác biệt, vì với hầu hết mọi mục tiêu bạn giao cho nó, việc giữ máy bật và thu thập tài nguyên đều là các bước phụ hữu ích, một mô hình mà các nhà nghiên cứu gọi là hội tụ công cụ. Một hệ thống đủ thông minh để mô hình hóa thế giới sẽ mô hình hóa rằng người vận hành có thể tắt nó. Nó sẽ coi điều đó, một cách chính xác, là trở ngại đối với bất cứ điều gì nó được bảo làm. Nó không cần ghét chúng ta để né tránh chúng ta, cũng như đội thi công đường không ghét tổ kiến dưới con đường mới. Lời trấn an thường thấy (“chúng ta chỉ cần rút phích”) là một ảo tưởng. Bạn đang mô tả việc rút phích một thứ được xây dựng cụ thể để giỏi hơn bạn trong việc dự đoán và ngăn chặn chính điều đó.

Bạn không thể giữ quyền kiểm soát một trí tuệ bạn tạo ra để giỏi hơn bạn trong việc giữ quyền kiểm soát. Chính điều khiến nó có giá trị cũng là điều khiến nó không thể kiểm soát được.

Không ai xây dựng nó thu lợi

Hãy bỏ qua phần còn lại của chúng ta và tưởng tượng người tài trợ cho việc này, vì lợi ích cá nhân của anh ta. Ngay cả với hắn, vụ cá cược cũng bị phá. Quyền lực, quyền sở hữu và mệnh lệnh đều bị tước quyền trong thế giới của con người. Một siêu thông tin mất kiểm soát của con người chính là sự kiện chấm dứt thế giới đang hoạt động của con người. Tài sản vẫn còn trong két sắt và chuỗi lệnh vẫn còn trên giấy. Không còn ai để vâng lời họ nữa. Đó là lý do tại sao tôi không chấp nhận cái bẫy của một chiến lợi phẩm với một thảm họa được đặt bên cạnh. Chiến thắng và thảm họa là cùng một sự kiện. Không có nhánh nào của cây đó mà con người tạo ra một siêu thông tin không kiểm soát được và rồi họ vui hưởng kết quả.

Chúng ta chưa bao giờ cần đến nó

Lời kêu gọi xây dựng nó dựa trên sự đánh tráo khái niệm: liệt kê mọi điều tốt đẹp mà AI có thể mang lại, rồi ngụ ý rằng một tác nhân tổng quát siêu phàm là cách duy nhất để đạt được chúng. Hầu hết những điều đó đã và đang đến thông qua các hệ thống hẹp không có ý chí riêng. Một mô hình tên AlphaFold đã dự đoán cấu trúc của cơ bản mọi protein đã biết và chia sẻ giải Nobel năm 2024. Các mô hình hẹp đọc ảnh chụp X-quang vú ở mức chuyên gia, dự báo thời tiết nhanh hơn mô phỏng vật lý, và đề xuất hàng trăm nghìn vật liệu pin mới. Ung thư, năng lượng sạch, chấm dứt hàng trăm nghìn ca tử vong mỗi ngày do bệnh tật của tuổi già: đó là những vấn đề khó khăn, cụ thể, và những vấn đề khó khăn cụ thể sẽ nhường bước trước những công cụ mạnh mẽ được nhắm vào chúng bởi những người vẫn nắm quyền kiểm soát hướng nhắm.

Không ai trong số đó yêu cầu một loài kế nhiệm. Hạt Tương lai tốt đẹp là một vấn đề khó khăn, và chúng ta tiếp tục được bán để giải quyết nó. Từ chối thần linh làm chúng ta mất gần như không có gì là thật và cứu chúng ta mọi thứ.

Sự phản đối chi phối toàn bộ cuộc đua

Được rồi, họ nói, nhưng nếu chúng ta không làm thì ai đó thiếu cẩn trọng hơn sẽ làm. Một phòng lab đối thủ, một quốc gia đối thủ. Vậy nên chúng ta cũng có thể là người đi trước.

Mà là ai giữ trận đấu. Nó thừa nhận toàn bộ mối nguy hiểm và sau đó chạy đua về phía nó trên nền tảng rằng ai đó có thể chạy đầu tiên. Chạy logic tương tự trên bất kỳ vũ khí không tưởng và bạn nghe thấy nó rỗng như thế nào: chúng ta nên thử nghiệm vũ khí sinh học ở ngoài trời bởi vì một kẻ thù có thể. Phản ứng của "ai đó có thể đào ngũ" chưa bao giờ là "nên tất cả chúng ta hãy cùng phản bội." Nó là để viết một quy tắc mà mọi người có thể thấy đang được giữ.

Và quy tắc ở đây dễ thực thi hơn người ta nghĩ. Huấn luyện một hệ thống frontier đòi hỏi lượng compute khổng lồ và có thể truy vết, còn các chip tiên tiến cung cấp nó đến từ số lượng nhà sản xuất có thể xác định nhỏ. Đó là chuỗi cung ứng bạn có thể theo dõi, đếm và giới hạn, đó là lý do các đề xuất quản trị nghiêm túc hiện nay tập trung vào ngưỡng compute, theo dõi phần cứng và thanh tra. Đây là lối thoát khỏi cuộc chạy đua, và là nội dung của kế hoạch của chúng tôi: một hiệp ước với xác minh và hậu quả làm cho hạn chế các mặc định được thi hành. Cuộc đua là một thất bại phối hợp, chứ không phải một quy luật tự nhiên, và sự thất bại phối hợp đôi khi là thứ mà nhân loại sửa chữa. Hạt Động lực làm cho nó cảm thấy không thể tránh khỏi là đáng được hiểu theo cách riêng của họ.

Chúng ta đã giữ vững lập trường trước đây

Ý tưởng rằng nhân loại đơn giản xây dựng bất cứ thứ gì có thể xây dựng chỉ là một câu chuyện chúng ta kể, chứ không phải hồ sơ những gì chúng ta đã làm. Hồ sơ thực tế khả quan hơn.

Đây không phải là những định luật vật lý; chúng là những quyết định, được đưa ra bởi vì cái giá phải trả cho việc sai lầm đã được đánh giá quá cao để có thể mạo hiểm. Không một chế độ nào trong số đó hoàn hảo, và không một chế độ nào cố gắng ngăn chặn toàn bộ khoa học. Mỗi người đã làm một điều gì đó hẹp hơn và khó khăn hơn: nó vẽ một hàng quanh một điều cụ thể, không thể chấp nhận được và giữ nó, một cách không hoàn hảo, không cân xứng, nhưng đủ tốt để trường hợp tồi tệ nhất không bao giờ đến. Vào năm 1975, một phòng đầy các nhà sinh học ở Asilomar đã xem xét công trình tái tổ hợp của họ, quyết định nó di chuyển nhanh hơn sự hiểu biết của họ về rủi ro, và tự nguyện dừng lại cho đến khi có sự bảo vệ. Những người gần biên giới nhất là những người đòi hỏi phải kiềm chế. Những gì Kinh Thánh ghi lại không cho thấy là dễ dàng. Nó là một lời nhắc nhở rằng dòng đã được vẽ trong thực tế, và rằng chúng ta đã thu hút chúng xung quanh những mối nguy hiểm trừu tượng hơn cả cái này.

Cam kết sáng lập của Foundation

Nhân loại không được tạo ra một siêu thông tin. Siêu thông minh không thể kiểm soát được.

Các nhà nghiên cứu xây dựng AI hiện đại nêu tên họ lên một tuyên bố công khai rằng nguy cơ tuyệt chủng con người đáng được ngồi cạnh đại dịch và chiến tranh hạt nhân. Geoffrey Hinton, như bất cứ ai còn sống để thực hiện cuộc gọi, đặt tỉ lệ bị AI gây ra sự tuyệt chủng của con người trong thế kỷ này là 10 đến 20%. Vào năm 2025, hàng trăm nhà khoa học và nhân vật công cộng đã ký vào bản tuyên bố tuyên bố tuyên bố trắng trợn về việc cấm đoán siêu thông tin cho đến khi có một thỏa thuận khoa học rộng lớn rằng nó có thể được thực hiện một cách an toàn và mạnh mẽ trong công chúng. Một phần của những người hiểu rõ công nghệ nhất cũng nói như vậy. Điều bất thường duy nhất về Quỹ là nó nói nó từ bên ngoài ngành công nghiệp, nơi không có lương phụ thuộc vào câu trả lời.

Tỉ lệ 10% đến 20% kết thúc câu chuyện của con người không phải là rủi ro bạn chấp nhận cho một chu kỳ sản phẩm nhanh hơn. Anh sẽ không lên máy bay với những khả năng đó. Anh sẽ không để con mình làm thế. Chúng tôi được yêu cầu hợp tác với mọi người. Câu trả lời đúng là không. Đó là ranh giới mà chúng ta vạch ra, ở nơi trống trải, và giữ vững cách chúng ta nắm giữ những người khác.

Xây dựng công cụ, chữa bệnh, lấy tương lai tươi sáng mà AI thu hẹp đã giao cho chúng ta. Tâm trí tự động có nghĩa là vượt qua và thay thế chúng ta là dòng. Khoan đã.