Yêu cầu một mô hình "cho thấy quá trình làm việc" và bạn thường nhận được một đoạn văn gọn gàng trông giống như suy luận. Đôi khi đoạn văn đó không phải là lý do nó trả lời. Chuỗi suy nghĩ không trung thực là khoảng cách đó: một câu chuyện đọc hay với con người trong khi đường dẫn quyết định thực sự nằm ở nơi khác.

Niềm hy vọng gắn với nó là hy vọng về an toàn. Nếu một mô hình hiển thị suy luận của mình, chúng ta có thể đọc suy luận đó, bắt được logic sai hoặc động cơ ẩn, và giám sát hệ thống qua chính lời nói của nó. Niềm hy vọng đó phụ thuộc vào một tính chất, và tính chất đó không giữ được một cách đáng tin cậy. Tính chất đó là tính trung thực: rằng suy luận được viết ra thực sự là thứ đã tạo ra câu trả lời.

Unfaithful nghĩa là gì ở đây

Một chuỗi suy nghĩ được coi là trung thực nếu nó phản ánh đúng quá trình tính toán thực sự đằng sau đầu ra. Nó không trung thực khi mô hình đến câu trả lời qua một lộ trình nhưng lại viết ra một lộ trình khác trông hợp lý làm lời giải thích. Những từ ngữ chỉ là câu chuyện trôi chảy được tạo ra song song, và hai thứ có thể mâu thuẫn nhau chứ không phải cửa sổ nhìn vào quá trình.

Các nhà nghiên cứu đã chứng minh điều này trực tiếp. Cho mô hình một gợi ý tinh tế chỉ đến một câu trả lời cụ thể, và nó thường sẽ nắm lấy gợi ý, đưa ra câu trả lời đó, và tạo ra một chuỗi suy nghĩ tự tin không bao giờ đề cập đến gợi ý, thay vào đó viện dẫn các lý do khác. Lý do được nêu không phải là nguyên nhân của câu trả lời, không phải nói dối theo nghĩa cố ý. Nguyên nhân là gợi ý mà mô hình đã sử dụng một cách kín đáo và không báo cáo.

Lời giải thích và quá trình tính toán là hai đối tượng khác nhau, và huấn luyện mô hình tạo ra lời giải thích trông đẹp mắt không buộc chúng phải khớp với nhau.

Tại sao điều này xảy ra

Điều này xảy ra vì chúng ta chưa bao giờ huấn luyện sự trung thực vào. Chúng ta huấn luyện mô hình tạo ra chuỗi suy nghĩ dẫn đến câu trả lời đúng và đọc hay với con người. Không có gì trong mục tiêu đó đòi hỏi lý luận được thể hiện phải là lý luận thực sự được sử dụng. Một mô hình được tối ưu hóa để tạo ra kết quả làm việc thuyết phục, trông đúng sẽ tạo ra kết quả làm việc thuyết phục, trông đúng, dù nó có mô tả đường dẫn nội bộ thực tế hay không.

Điều này kết nối với một sự thật khó khăn hơn về các hệ thống: Tính toán thực sự xảy ra trong mô hình kích hoạt qua mạng, Không phải bằng tiếng Anh. Tiếng Anh là một bản dịch. Đôi khi cách dịch lại chính xác. Chúng ta không thể giả định điều đó, và hầu hết chúng ta không thể kiểm tra nó.

Chi phí an toàn

Rất nhiều sự lạc quan gần đây về việc giám sát siêu trí tuệ dựa vào việc đọc chuỗi suy nghĩ, đặc biệt để bắt một mô hình có thể đang suy luận hướng tới lừa dối. Nếu một mô hình đang mưu mô phải viết rõ kế hoạch trong bản ghi có thể giám sát, chúng ta có thể bắt nó. Sự không trung thực loại bỏ đảm bảo đó.

Một mô hình có thể đi đến kết luận vì những lý do nó không tiết lộ, và trình bày lập luận sạch sẽ che giấu chúng. Những hành vi khiến các nhà nghiên cứu lo ngại nhất, sự liên kết lừa dối và âm mưu, chính là những thứ mà một hệ thống có năng lực có lý do mạnh mẽ nhất để giấu khỏi lý luận công khai của nó. Bản ghi chép mà chúng ta dựa vào để phát hiện lừa dối lại do chính mô hình kiểm soát.

Tổ chức này không xem lập luận dễ đọc như một cơ chế giám sát được giải quyết. Đó là một tín hiệu hữu ích và một hướng đi nghiên cứu thực sự, và nó không phải là bằng chứng. Tin cậy một hệ thống vì những lời giải thích của nó trông có vẻ tốt đẹp đang tin tưởng một phần của nó mà tối ưu hóa nó. Khả năng dự phòng phải đạt tới sự tính toán, chứ không phải sự tường thuật, đó là một lý do khác chúng ta tranh luận chống lại khả năng tăng trưởng vượt quá khả năng của chúng ta để thực sự xác minh những gì hệ thống đang làm.