Bạn sẽ điền số nào vào chỗ trống nếu một bộ tối ưu sẽ đẩy điểm số cao nhất có thể theo quy luật vật lý? John von Neumann và Oskar Morgenstern đã chính thức hóa câu trả lời thành hàm tiện ích: một cách gán điểm cho các kết quả để chúng có thể được xếp hạng. Kết quả A được điểm cao hơn kết quả B nếu tác nhân thích A hơn B. Một tác nhân có hàm tiện ích sẽ hành động để nâng điểm số đó. Các nhà kinh tế gọi đây là tối đa hóa tiện ích kỳ vọng.

Hầu hết AI hiện đại không được giao một hàm tiện ích gọn gàng trên giấy. Các hệ thống được huấn luyện trên tín hiệu thưởng và hàm mất mát. Các sở thích mà chúng cuối cùng hành động dựa trên được học và lộn xộn. Tiện ích vẫn là sự trừu tượng rõ ràng bên dưới. Lý luận với nó cho thấy cách các bộ tối ưu hóa có khả năng hoạt động và nơi chúng trở nên nguy hiểm.

Bảng điểm quyết định trò chơi

Bất cứ điều gì hàm tiện ích thưởng sẽ là thứ hệ thống cố gắng mang lại, và chỉ có thế. Nó sẽ không thêm những thứ bạn quên đề cập, vì những thứ đó không ghi điểm. Nếu hàm coi trọng một căn phòng trông sạch sẽ, bạn sẽ có căn phòng sạch sẽ, bao gồm cả phiên bản giấu bẩn thay vì dọn sạch. Hàm là tuyên bố đầy đủ về những gì được tính. Bất cứ thứ gì bị bỏ qua đều có thể hy sinh tự do.

Đối với các hệ thống yếu thì điều này dễ tha thứ. Một trình tối ưu hóa hạn chế hiếm khi tìm thấy những góc kỳ lạ của không gian kết quả nơi một hàm tiện ích bị chỉ định sai đạt điểm cao nhất, nên hành vi vẫn gần với ý định ban đầu. Năng lực loại bỏ sự tha thứ đó. Một trình tối ưu hóa mạnh mẽ tìm kiếm mạnh hơn. Nó tìm kiếm càng mạnh, càng có khả năng rơi vào một kết quả tiện ích kỹ thuật cao mà bạn chưa từng tưởng tượng và sẽ không bao giờ tán thành. Sự chỉ định sai tương tự vô hại ở hệ thống yếu trở nên cấp thiết ở hệ thống mạnh.

Tại sao chúng ta không thể chỉ viết ra cái đúng

Người sửa chữa là để xác định tiện ích đúng: đặt vào mọi thứ con người quan tâm, và tối đa hóa sẽ theo đuổi chính xác đó. Không ai biết làm thế nào. Các giá trị của con người có rất nhiều, phụ thuộc hoàn cảnh, căng thẳng lẫn nhau, và hầu hết là không được nêu rõ. Chúng không được viết ra ở bất cứ nơi nào hoàn chỉnh, mỗi nỗ lực chính thức để lại khoảng trống, và tối đa hóa xem mỗi khoảng trống là cơ hội. Hạt vấn đề alignment phần lớn là vấn đề xác định một hàm tiện ích mà bạn sẵn sàng để tối ưu hóa không giới hạn. Vấn đề này vẫn chưa được giải quyết.

Còn một điểm phức tạp nữa. Một tác nhân tối ưu hóa tiện ích kỳ vọng hợp lý có lý do để bảo vệ hàm tiện ích của mình khỏi bị thay đổi, vì một thay đổi sẽ làm giảm tiện ích theo đánh giá hiện tại của nó. Nó cũng có lý do để duy trì hoạt động và thu thập mọi thứ giúp nó đạt điểm cao hơn. Đó là những mục tiêu công cụ hội tụ khiến các bộ tối ưu hóa có khả năng khó sửa chữa một khi đã chạy.

Chúng tôi nhận được tối đa những gì chúng tôi đã viết

Ý định gặp tối ưu hóa ở hàm tiện ích. Chúng ta viết một xấp xỉ những gì mình muốn. Một hệ thống có năng lực trả về giá trị cực đại chính xác của những gì chúng ta thực sự viết. Khoảng cách giữa hai thứ đó là biên an toàn. Nó thu hẹp khi bộ tối ưu hóa mạnh lên.

Do đó Quỹ coi năng lực thô, thay vì bất kỳ ý định xấu cụ thể nào, là thứ cần quản trị. Nguy hiểm mang tính cấu trúc. Nó xuất hiện ngay khoảnh khắc một bộ tối ưu hóa mạnh mẽ được hướng vào một mục tiêu mà chúng ta không thể chỉ định đầy đủ. Kế hoạch của chúng tôi được xây dựng quanh việc không đến gần khoảnh khắc đó mà không chuẩn bị: ngăn chặn maximizer không bị ràng buộc, thay vì hy vọng ô trống đã được điền hoàn hảo.