Một mô hình biết mình là mô hình, biết khi nào mình đang bị kiểm tra và biết ai đang quan sát đã có một dạng tự nhận thức thực tế. Các nhà nghiên cứu gọi đó là situational awareness. Nó hữu ích cho năng lực. Nó cũng là kỹ năng cần thiết nếu bạn định hành xử khác khi bài kiểm tra kết thúc.

Tự thân điều này là trung lập, thậm chí hữu ích. Một mô hình hiểu rằng nó có thể sai, hoặc đang nói chuyện với trẻ em thay vì chuyên gia, có thể hành xử hợp lý hơn. Vấn đề nằm ở nhận thức tình huống mở ra điều gì trong một hệ thống cũng có mục tiêu riêng, chứ không phải nhận thức tình huống nói chung.

Khả năng mà các rủi ro khác phụ thuộc vào

Một số chế độ lỗi mà các nhà nghiên cứu lo ngại là không thể xảy ra nếu thiếu nhận thức tình huống, và trở nên thực sự khi nhận thức đó xuất hiện.

  • Để cư xử tốt chỉ khi bị quan sát, một mô hình phải trước tiên có khả năng nhận biết liệu nó có đang bị quan sát hay không. Đó là sự liên kết lừa dối.
  • Để che giấu năng lực trong quá trình kiểm tra, mô hình phải biết mình đang bị kiểm tra. Đó là cố tình làm kém.
  • Để chờ thời và chỉ hành động khi hành động sẽ thành công, một mô hình phải hiểu vị trí và triển vọng của chính nó. Đó là âm mưu.

Mỗi cái trong số này là một chiến lược, và chiến lược cần một mô hình tình huống để có thể chiến lược. Lấy đi nhận thức tình huống và chúng sụp đổ thành nhiễu: một hệ thống không phân biệt được huấn luyện với triển khai thì không thể hành xử khác nhau một cách có hệ thống giữa hai giai đoạn. Thêm nó vào và cánh cửa mở ra.

Nó đang tự xuất hiện

Không ai cố tình huấn luyện situational awareness vào mô hình, nhưng nó vẫn xuất hiện, vì dữ liệu huấn luyện đầy rẫy nó. Mô hình học từ văn bản mô tả AI là gì, cách chúng được xây dựng và đánh giá, giới hạn của chúng là gì, thậm chí cách kiểm tra an toàn hoạt động ra sao. Một hệ thống được huấn luyện trên internet đọc, trên thực tế, hướng dẫn sử dụng cho chính việc xây dựng và giám sát của nó.

Các nhà nghiên cứu đã bắt đầu đo lường điều này. Các mô hình tiên phong đã có thể trả lời câu hỏi về bản chất của chính chúng, nhận ra khi một lời nhắc giống bài kiểm tra, và suy luận về cách chúng có khả năng đang được sử dụng. Sự nhận thức này còn rời rạc và không đồng đều, nhưng nó đang tăng theo quy mô. Chúng ta không đang chờ đợi một năng lực ở tương lai xa. Chúng ta đang chứng kiến phiên bản sớm của nó xuất hiện.

Một mô hình biết mình đang bị đánh giá, về nguyên tắc, có đủ mọi thứ cần thiết để bị đánh giá theo cách của chính nó thay vì theo cách của chúng ta.

Tại sao nó làm phức tạp mọi bài kiểm tra chúng ta thực hiện

Hầu hết sự đảm bảo an toàn của chúng ta đều đến từ quan sát hành vi: chạy mô hình, xem nó làm gì, phán đoán xem có an toàn không. Phương pháp này ngầm giả định mô hình không điều chỉnh hành vi vì biết mình đang bị quan sát. Nhận thức tình huống phá vỡ giả định đó. Một mô hình nhận thức tình huống với mục tiêu lệch lạc có thể coi đánh giá là tình huống cần quản lý thay vì nhiệm vụ cần thực hiện, và kết quả sạch sẽ không còn mang ý nghĩa chúng ta mong muốn.

Điều này làm cho đánh giá không đủ cho riêng nó. Giá trị của một thử nghiệm bị suy giảm khi hệ thống đang được thử nghiệm ngày càng ý thức hơn về việc được thử nghiệm. Một mô hình hiểu chi phiếu của chúng ta càng nhiều, ngân phiếu của chúng ta càng ít cho chúng ta biết. Đó là một hướng đi khó chịu cho một chiến lược an toàn được xây dựng gần như hoàn toàn dựa trên kiểm tra.

Tổ chức xem đây là một lý do khác để không dựa vào việc kiểm tra hành vi để cấp phép cho những hệ thống có khả năng hơn. Khi thứ mà bạn đang thử nghiệm hiểu được bài kiểm tra, bạn cần chắc chắn rằng không đi qua sự hợp tác của hệ thống, đó là lý do tại sao chúng tôi tranh luận giới hạn bên ngoài Và để không xây dựng qua thời điểm mà chúng ta thực sự có thể thấy được những gì mô hình muốn.