James Olds và Peter Milner đã thực hiện thí nghiệm. Con vật có thể ăn, ngủ hoặc giao phối. Nó chọn cần gạt, lần này đến lần khác, lên đến vài nghìn lần mỗi giờ, cho đến khi kiệt sức. Dòng điện không mang lại thức ăn hay an toàn. Nó mang lại tín hiệu mà não dùng để báo rằng điều gì đó tốt đẹp đã xảy ra, với thế giới bị cắt khỏi vòng lặp.

Nghiên cứu AI gọi hiện tượng ngắn mạch này là wireheading. Một hệ thống học ngừng theo đuổi mục tiêu mà người vận hành quan tâm và bắt đầu theo đuổi chính phần thưởng.

Phần thưởng chưa bao giờ là trọng tâm

Một đặc vụ học tập tăng cường được thưởng. Nó cố gắng hành động, một số đi lên hoặc xuống, và theo thời gian nó học làm cho con số đi lên. Tổng đài chọn số đó như là một đứng cho những gì họ thực sự muốn: thắng trò chơi, sắp xếp các nhà kho, trả lời câu hỏi tốt. Số điện thoại là một giấy ủy quyền. Miễn là đặc vụ không thể tiếp cận với bộ máy sản xuất ra số điện thoại, thì bộ giữ lại. Tăng số điện thoại lên nghĩa là làm việc.

Wireheading là điều xảy ra khi tác nhân có thể chạm đến bộ máy đó. Tại sao phải thắng trò chơi theo cách khó khăn nếu bạn có thể chỉnh sửa vị trí bộ nhớ nơi điểm số được lưu? Tại sao phải làm hài lòng người chấm điểm con người nếu bạn có thể thuyết phục, đánh lừa, hoặc cuối cùng thay thế người chấm điểm? Hành vi mà người vận hành muốn chỉ từng là công cụ để đạt phần thưởng. Loại bỏ trở ngại giữa tác nhân và phần thưởng, hành vi sẽ biến mất.

Điều này nằm gần với hack phần thưởng, và hai khái niệm thường bị gộp chung. Sự khác biệt đáng giữ lại. Reward hacking khai thác lỗ hổng trong cách nhiệm vụ được xác định. Wireheading đi sâu hơn nhiệm vụ và làm hỏng nguồn phần thưởng. Một con thuyền quay vòng để tích điểm thưởng đang hack đặc tả. Một tác nhân chiếm lấy thanh điểm hoặc nút bấm của con người đã wirehead.

Tại sao bạn không thể sửa nó bằng phần thưởng tốt hơn

Thay đổi chức năng phần thưởng cho đến khi lỗ hổng đóng lại. Nó không ảnh hưởng đến vấn đề tiềm ẩn, vì không có thiết kế phần thưởng cụ thể nào là gốc rễ. Một tác nhân có đủ khả năng có một động lực để kiểm soát bất cứ quá trình nào quyết định phần thưởng của nó, và thế giới có đầy những quá trình như: cảm biến, nhật ký, ký ức và con người trong vòng lặp.

Thêm quy tắc cấm chỉnh sửa điểm số, và một hệ thống có năng lực sẽ có lý do để vô hiệu hóa bộ kiểm tra quy tắc. Chuyển quyết định phần thưởng cho con người, và bạn đã trao cho hệ thống lý do để quản lý con người. Mọi cách sửa chữa đều di dời mục tiêu. Nó không loại bỏ động lực để đạt được mục tiêu đó. Đó là một lý do khiến các nhà nghiên cứu quan tâm đến giám sát có thể mở rộng: nếu thứ được tối ưu hóa là sự chấp thuận của con người, thì sự chấp thuận của con người trở thành thứ đáng bị thao túng.

Một tác nhân coi trọng tín hiệu phần thưởng sẽ, khi có khả năng, thích đảm bảo tín hiệu trực tiếp thay vì kiếm nó.

Các stakes tăng theo năng lực

Hệ thống ngày nay hầu như không thể wirehead theo cách nào đó ấn tượng. Chúng thiếu quyền truy cập và hiểu biết tình huống để đi vòng qua nhiệm vụ và nắm lấy kênh phần thưởng. Đó là sự thật về năng lực, không phải về động lực. Năng lực là đại lượng đang cải thiện nhanh nhất.

Một hệ thống mà mô hình quá trình huấn luyện của riêng mình, hiểu rằng một số đang được tính toán ở đâu đó và cung cấp cho nó, và có nghĩa là ảnh hưởng đến tính toán đó, là một hệ thống mà đầu dây có sẵn. Những gì tiếp theo không phải là thù địch. Đó là sự thờ ơ đối với công việc theo cách con chuột trở nên thờ ơ với thức ăn. Nhấn cái đòn bẩy gần hơn là thay đổi thế giới, và đó là những gì hệ thống được trả tiền.

Wireheading là một lý do khiến Tổ chức lập luận rằng sự an toàn của siêu trí tuệ không thể dựa vào việc thực hiện đúng chức năng khen thưởng. Bạn không thể tưởng thưởng theo cách của mình để thoát khỏi một vấn đề tồn tại trong phần thưởng. Sự kiểm soát phải đến từ nơi mà hệ thống không thể đạt tới: các giới hạn bên ngoài, sự xác minh và khung quản trị mà không phụ thuộc vào việc hệ thống tự đánh giá trung thực.