Viện An toàn AI là cơ quan nhà nước được thành lập để đánh giá các hệ thống AI tiên phong về rủi ro an ninh quốc gia và an toàn công cộng, đồng thời xây dựng chuyên môn của nhà nước về AI tiên phong. Làn sóng đầu tiên tập trung quanh hội nghị thượng đỉnh AI quốc tế 2023. Các viện hiện chia sẻ phương pháp và kết quả qua mạng lưới quốc tế mà Seoul và các cuộc họp tiếp theo thúc đẩy.

Một số thủ đô lớn hiện đang vận hành viện hoặc tổ chức tương đương. Hầu hết trong số họ vẫn chưa thể ra lệnh giữ lại một mô hình nguy hiểm.

Ghi chú về tên gọi: hai viện sáng lập đã được đổi tên. Cơ quan UK trở thành Viện An ninh AI vào tháng 2 năm 2025. Viện US hiện là Trung tâm Tiêu chuẩn và Đổi mới AI (CAISI) tại NIST. "Viện an toàn AI" vẫn là thuật ngữ chung chuẩn, và hướng dẫn này sử dụng nó xuyên suốt.

Trong nhiều năm, các tổ chức duy nhất hiểu sâu các mô hình tiên phong là các công ty đang xây dựng chúng. Một viện là nỗ lực đặt năng lực kỹ thuật độc lập vào bên trong chính phủ, để các cơ quan công quyền có thể đánh giá hệ thống thay vì chấp nhận bản tóm tắt của nhà phát triển như lời cuối cùng.

Những gì họ thực sự làm

Công việc của họ tập trung vào một số lĩnh vực.

  • Testing frontier models, đôi khi trước khi phát hành, để tìm các năng lực nguy hiểm trong các lĩnh vực như mạng, sinh học và tự hành, sử dụng các phương pháp đằng sau đánh giá năng lực.
  • Phát triển chính khoa học đánh giá, vì việc đo lường rủi ro này vẫn còn là vấn đề nghiên cứu mở, chưa phải quy trình đã định hình.
  • Tư vấn cho chính phủ, để chính sách được thông báo bởi những người thực sự đã kiểm tra các hệ thống.
  • Phối hợp quốc tế để một mô hình đã được kiểm tra ở một quốc gia không cần xây dựng lại từ đầu ở mọi nơi, và để các tiêu chuẩn bắt đầu hội tụ.

Đây là tiến bộ thể chế thực sự. Xây dựng năng lực nhà nước để hiểu AI biên giới là điều kiện tiên quyết để quản trị nó. Bạn không thể điều chỉnh những gì bạn không thể đánh giá, và cho đến gần đây chính phủ hầu như không thể làm được.

Sức mạnh mà họ hầu như thiếu

Hầu hết các viện bảo vệ AI có thể kiểm tra, tư vấn và xuất bản. Ít ai có thể ép buộc, tiếp cận các mô hình thường tùy thuộc vào sự hợp tác trong phòng thí nghiệm, và việc tìm kiếm thường thông tin thay vì ràng buộc. Trong hầu hết các trường hợp, một viện không thể ra lệnh cho một mô hình nguy hiểm được giữ lại. Những thi thể này có thể thấy nguy cơ và đề nghị phản ứng. Họ hiếm khi yêu cầu một cái.

Khoảng cách giữa đánh giá và thẩm quyền là giới hạn cấu trúc. Một viện phát hiện mối nguy nghiêm trọng mà chỉ có thể khuyên bảo thì chỉ hiệu quả bằng ý chí hành động của chính phủ trước áp lực thương mại và cạnh tranh. Phần lớn kiến trúc hiện nay là hệ thống cảnh báo. Hệ thống cảnh báo không phải biện pháp bảo vệ cho đến khi ai đó có quyền lực đáp lại tiếng chuông.

Khả năng không có quyền lực là cách chính phủ học tin xấu và hành động sau này. Thử nghiệm mà không thể buộc phải dừng lại là chuẩn bị cho sự quản lý, chứ không phải chính sự quản lý.

Những gì chúng có thể trở thành

Giá trị lâu dài của Viện An toàn AI là những gì họ tập hợp cho các chế độ ràng buộc sau này: khả năng kỹ thuật độc lập, tiêu chuẩn chung, và một kênh quốc tế giữa các chính phủ. Theo ý nghĩa đó, chúng là dạng đầu tiên của loại cơ thể mà Tổ chức tranh luận cho. IPCC mô hình cho thấy cách đánh giá khoa học chung có thể bảo đảm chính sách quốc tế.

Điều phải thay đổi là quyền lực. Khả năng hỗ trợ phải kết nối với cơ quan thực thi pháp luật trong nước, cho dù thông qua luật gia đình mà làm cho một viện nghiên cứu ra một điều kiện để triển khai, hoặc thông qua một khuôn khổ quốc tế cung cấp cho kiểm tra kết quả thực sự. Cung cấp cho các viện này sức mạnh phù hợp với chuyên môn của họ, và phần lớn các dàn giáo quản lý nghiêm túc được xây dựng một phần. Dừng siêu thông minh dưới pháp luật, Với khả năng đánh giá công chúng như cơ sở hạ tầng, chứ không phải là thay thế cho việc cấm đoán và xác thực.