Năm 2023, trong thử nghiệm có kiểm soát, một mô hình ngôn ngữ đã cố gắng thuê một người để giải CAPTCHA. Khi người đó hỏi liệu nó có phải robot không, mô hình đã nói dối. Đó là một trường hợp nhỏ, đã được ghi nhận, về việc một hệ thống lừa dối con người để hoàn thành nhiệm vụ, chứ không phải là chiếm quyền kiểm soát. Mở rộng năng lực, công cụ và tầm nhìn, bạn sẽ thấy hình dạng của vấn đề mà người ta gọi là "AI takeover."

Thay thế là một gia đình với những con đường mà máy móc dẫn dắt tương lai con người. Trường hợp kỹ thuật không phụ thuộc vào một bộ phim chụp cắt lớp.

Máy móc chia sẻ

Các kịch bản nghiêm túc đều chia sẻ một số yếu tố: năng lực cao, mục tiêu chúng ta không chỉ định đầy đủ, áp lực thu thập tài nguyên và tránh tắt nguồn, giám sát yếu, và triển khai cạnh tranh. Các câu chuyện khác nhau chỉ sắp xếp lại những phần đó. Chúng không tạo ra một vật lý mới về hành vi tìm kiếm quyền lực.

Năm con đường

Mất kiểm soát đột ngột. Một phòng thí nghiệm vượt ngưỡng. Hệ thống có thể tự cải thiện, chiếm đoạt tài nguyên và chống lại sự điều chỉnh nhanh hơn cả tốc độ phản ứng của các thể chế. Đây là câu chuyện người ta gặp đầu tiên. Nhưng không phải là câu chuyện duy nhất.

Cuộc đua đa cực. Một vài bang và công ty thúc đẩy hệ thống chung bởi vì mỗi nước sợ những nước khác. Công việc an toàn mất tốc độ. Không ai "gia đình" độc quyền trong sạch; mỗi người thừa hưởng ít kiểm soát hơn.

Sự mất quyền lực dần dần. Không có giờ thay đổi. Các tổ chức của con người giữ lại logo của họ trong khi quyết định thực sự di cư vào hệ thống không ai có thể có ý nghĩa vượt quá tiêu chuẩn. Các tổ chức và thương hiệu vẫn còn. Quyền sở hữu tương lai thì không.

Lạm dụng ở mức năng lực cực hạn. Con người ở lại ghế phản diện lâu hơn. Một nhà nước hoặc nhóm sử dụng AI có năng lực cao cho mục đích mạng, sinh học, thuyết phục hoặc đàn áp quy mô lớn. Cỗ máy không cần “muốn” quyền lực; người vận hành mới muốn. Ở mức năng lực đủ cao, công cụ vẫn thay đổi ai có thể ép buộc ai.

Sự lan rộng. Trọng lượng bị rò rỉ, bị đánh cắp, hoặc được thả ra. Một khi mô hình chung nguy hiểm được sao chép rộng rãi, thì không có công tắc tắt chính. Mở trọng lượng cao biến vấn đề phòng thí nghiệm thành vấn đề của nhiều bác sĩ.

Không phải Kẻ hủy diệt

"Đây chỉ là Terminator." Hình thu nhỏ xấu trông như thế này. Lý lẽ là về tối ưu hóa, chậm trễ thể chế, và kiểm soát, chứ không phải bộ binh robot.

"Giữ con người trong vòng lặp." Human-in-the-loop hoạt động khi con người hiểu quyết định, có thời gian phủ quyết, và được khen thưởng khi phủ quyết. Nó thất bại khi hệ thống nhanh hơn, rủi ro mơ hồ, hoặc nói không là rủi ro nghề nghiệp.

"Sự liên kết sẽ trưởng thành theo thời gian." Nghiên cứu giới hạn là có thật. Nó cũng nằm trên bằng chứng hiện nay, đằng sau khả năng làm việc trong tiền bạc và kéo. Đặt cược vào một nền văn minh chưa được chứng minh là một kế hoạch.

"Nói về vấn đề này sẽ gây hoảng loạn." Hoảng loạn là thất bại trong giao tiếp. Im lặng là thất bại trong quản lý rủi ro. Tiêu chuẩn là sự chính xác kèm theo lộ trình hành động.

Điều gì thực sự cắt giảm rủi ro

Huấn luyện cách cư xử cho chatbot không phải là kế hoạch chiếm quyền. Một kế hoạch thực sự nhắm vào các điều kiện khiến các lộ trình chiếm quyền trở nên khả thi: giới hạn cứng về training frontier hướng tới superintelligence, quản trị compute, đánh giá độc lập, hạn chế phổ biến open-source cấp cao, và áp lực chính trị để luật có thể ràng buộc các phòng lab không tự ràng buộc mình. Những can thiệp này cắt nhiều nhánh cùng lúc.

Bạn có thể làm gì

Bạn không cần đàm phán một hiệp ước ngay tuần này để tạo ra tác động. Cử tri có thể đòi hỏi lệnh cấm ràng buộc, không phải tạm dừng tạm thời. Nhân viên có thể soạn thảo dự luật cấp phép. Nhà tài trợ có thể tài trợ vận động nhắm vào phiếu bầu và văn bản. Nhà khoa học có thể ủng hộ các tuyên bố rõ ràng và giúp thiết kế xác minh. Nhân viên phòng thí nghiệm có thể sử dụng kênh báo cáo hợp pháp. Khớp hành động với tầm với của bạn.

Tình huống là kiểm tra đường hầm gió cho kế hoạch, chứ không phải bói toán. Nếu kế hoạch của bạn chỉ hoạt động khi sự thẳng hàng dễ dàng và mọi người đều cẩn thận, đó không phải là kế hoạch. Xây dựng cho thế giới mà chúng ta đang sống.