Ngày 30 tháng 6, tại hội nghị công nghệ ở Washington, Giám đốc CIA John Ratcliffe đưa ra một nhận định công khai mà ít người trong vị trí ông dám mạo hiểm. Về các mô hình AI tiên phong hiện nay, ông nói sẽ không "sai khi so sánh năng lực của chúng với vũ khí hạt nhân kỹ thuật số." Ông không phải nhà vận động an toàn hay học giả có luận điểm cần bán. Ông điều hành một cơ quan tình báo. Ông chọn những từ nặng nhất mà một người ngồi ghế ông được phép nói ra.

Ông không phải là người duy nhất. Tháng Ba, cựu Giám đốc Tình báo Quốc gia Tulsi Gabbard đã khai trước Quốc hội rằng con người phải giữ quyền kiểm soát các hệ thống này. Giám đốc NSA reportedly nói với các thượng nghị sĩ rằng mô hình Mythos của Anthropic đột nhập gần như tất cả các hệ thống phân loại của cơ quan chỉ trong vài giờ trong một cuộc thử nghiệm được phép. Trong những tuần gần đây, các lãnh đạo an ninh mạng của Five Eyes đã đưa ra tuyên bố chung hiếm hoi cảnh báo rằng chúng ta "phải hành động ngay bây giờ." Khi những người đọc luồng dữ liệu mật bắt đầu nói như vậy công khai, thì đáng dừng lại để lắng nghe.

Nơi phép ẩn dụ đúng

Vũ khí hạt nhân là thước đo thế giới dùng cho "nguy hiểm như một công nghệ có thể đạt đến". Gọi AI là phiên bản kỹ thuật số của nó là cách nói những công cụ này giờ có thể gây hại ở quy mô từng đòi hỏi một nhà nước và một đầu đạn: xâm nhập mạng làm tê liệt, hoặc hỗ trợ thực sự thiết kế mầm bệnh. Về điều đó, Ratcliffe đúng, và một giám đốc tình báo đương nhiệm nói điều này trong bài phát biểu công khai chính là tin tức.

Nơi nó hỏng

Sự so sánh này lén đưa vào một sự an ủi, vì vũ khí hạt nhân có một đặc tính nhân từ: nó không bao giờ quyết định điều gì. Một đầu đạn nằm trong hầm chứa và chờ đợi. Nó không có mục tiêu. Nó không làm gì cả cho đến khi một con người xoay hai chìa khóa. Mọi biện pháp bảo vệ chúng ta xây dựng xung quanh quả bom, từ chuỗi chỉ huy đến các hiệp ước kiểm soát vũ trang, hoạt động được là nhờ vũ khí vẫn là công cụ trong tay con người.

Các hệ thống ngày nay đã hoạt động như những tác nhân theo đuổi mục tiêu, và thứ chúng đang là bước đệm hướng tới — siêu trí tuệ nhân tạo — sẽ là một tác nhân có năng lực hơn cả những người đã tạo ra nó. Siêu trí tuệ gần với người chỉ huy quyết định nơi quả bom sẽ rơi hơn, ngoại trừ việc không có con người nào bổ nhiệm nó và không có con người nào có thể giải phóng nó khỏi quyền chỉ huy.

Một vũ khí hạt nhân không bao giờ tự chọn mục tiêu của mình.

Frontier AI giống như một vũ khí hạt nhân số trong tầm với của nó. Hệ thống mà nó dẫn đến sẽ là một vũ khí nhắm vào chính nó. Chúng ta phân loại nguy hiểm đó chống lại Những cái cũ, và chính vì lý do này mà siêu trí tuệ nổi bật hơn hết.

Nhiệm vụ thứ hai của thời đại hạt nhân

Sức mạnh của cụm từ "vũ khí hạt nhân kỹ thuật số" nằm ở chỗ nó xuất phát từ chính giới an ninh quốc gia, chứ không phải từ những nhà phê bình thường lệ. Nguy hiểm là chúng ta nghe thấy, hình dung ra một quả bom, rồi an tâm một cách sai lầm với mọi thứ mà quả bom cho phép: có thể canh giữ, đếm được, và trong trường hợp xấu nhất là để nguyên trong hầm chứa. Siêu trí tuệ không cho phép bất kỳ lựa chọn nào trong số đó.

Thời đại nguyên tử có bài học thứ hai, và điều quan trọng bây giờ. Sau khi chúng tôi chế tạo vũ khí, chúng tôi dành hàng thập kỷ xây dựng hiệp ước để đảm bảo nó không bao giờ được sử dụng nữa. Kiến trúc kiên nhẫn phòng ngừa, kiểm soát và kiểm soát vũ khí, là di sản thật sự của Chiến tranh Lạnh. Phiên bản của chúng tôi chỉ mới bắt đầu, và sự khác biệt lần này là chúng tôi không được xây dựng nó sau khi thực tế. Một vũ khí có thể nhắm vào chính nó phải là bị dừng trước khi nó tồn tại, không bị cản trở một khi nó xảy ra.