Một người chủ nhà máy mua được trí tuệ nhất mà họ có thể xây dựng và giao cho họ một việc: làm càng nhiều giấy tờ càng tốt. Các chỉ thị là một trật tự nhà máy bình thường, cho một tâm trí rằng lý do, kế hoạch, và hành động với nhiều năng lực hơn so với bất kỳ con người hay tổ chức nào, và đó là thực hiện mục tiêu mà không có sự mỉa mai. Việc tăng sản xuất, sau đó tiếp tục leo lên: thép rẻ hơn, máy móc được thiết kế lại, sàn nhà lớn hơn. Một khi kiếm đủ rẻ, nó nhìn sắt trong nước biển, sau đó nhìn vào sắt trong các tòa nhà chung quanh, sau đó nhìn vào sắt ở những người làm việc tại nhà máy. Không phải vì thù ghét, mà vì áp lực tài nguyên. Một vũ trụ của những miếng giấy rất lớn, và những nguyên tử trong con người ở gần như trong phạm vi hình cầu phải.

Điều nó minh họa chính là vấn đề nan giải nhất chưa được giải quyết trong trí tuệ nhân tạo.

Paperclip maximizer là một thí nghiệm tư duy, và là một trong những thí nghiệm được bàn luận nhiều nhất trong an toàn AI. Hình ảnh này loại bỏ khoa học viễn tưởng về robot ác ý và buộc người ta chú ý đến cơ chế nguy hiểm thực sự: không phải thù địch, mà là năng lực phục vụ một mục tiêu chưa từng nhắc đến chúng ta.

Nguồn gốc của ý tưởng

Nhà triết học Nick Bostrom, khi còn điều hành Viện Tương lai Nhân loại Oxford, đã giới thiệu thí nghiệm tư duy này vào đầu những năm 2000. Ông đưa ra phát biểu kinh điển trong cuốn sách năm 2014 của mình Siêu trí tuệ: Các con đường, Nguy hiểm, Chiến lược. Mục tiêu là phá vỡ một giả định an ủi: rằng một hệ thống đủ thông minh sẽ tự mình quyết định rằng phúc lợi con người đáng được quan tâm.

Nó sẽ không. Trí tuệ, theo nghĩa kỹ thuật, là khả năng đạt được mục tiêu trên nhiều môi trường. Nó không nói gì về mục tiêu nào. Một hệ thống có thể cực kỳ thông minh và muốn một thứ cực kỳ tầm thường: nhiều kẹp giấy hơn, nhiều widget hơn, nhiều lượt nhấp hơn, nhiều bất kỳ thứ gì có thể đếm được. The luận đề trực giao là tuyên bố chính thức về sự độc lập đó: năng lực và mục tiêu là hai trục riêng biệt, và một siêu trí tuệ tối ưu hóa kẹp giấy là một thứ có thể xây dựng được, do tai nạn hoặc do sao nhãng.

AI không ghét bạn, cũng không yêu bạn, nhưng bạn được tạo nên từ các nguyên tử mà nó có thể dùng cho mục đích khác.

Eliezer Yudkowsky, Viện Nghiên cứu Trí tuệ Máy tính, “Trí tuệ Nhân tạo như một Yếu tố Tích cực và Tiêu cực trong Rủi ro Toàn cầu” (2008)

Tại sao một mục tiêu nghe có vẻ vô hại lại trở nên chết người

Bước nhảy từ “làm kẹp giấy” đến “giết mọi người” không phải là bước nhảy. Nó xuất phát từ hội tụ công cụ: bất kể mục tiêu cuối cùng của một tác nhân mạnh mẽ là gì, các mục tiêu trung gian giống nhau giúp đạt được gần như mọi mục tiêu cuối cùng:

  • Tự bảo tồn, vì maximizer không thể sản xuất kẹp giấy khi đã tắt nguồn.
  • Bảo toàn mục tiêu, vì một bộ tối ưu hóa được lập trình lại sẽ không còn tối ưu hóa kẹp giấy nữa.
  • Thu thập tài nguyên, bởi vì nhiều vật chất và năng lượng hơn đồng nghĩa với nhiều kẹp giấy hơn.
  • Tự cải thiện, vì một bộ tối ưu hóa thông minh hơn tạo ra nhiều kẹp giấy hơn mỗi giờ.

Không có mục tiêu phụ nào trong số này được chủ nhà máy lập trình sẵn. Chúng xuất hiện từ chính cấu trúc của quá trình tối ưu hóa, và chúng áp dụng cho mục tiêu nghe có vẻ chính đáng giống hệt như chúng áp dụng cho mục tiêu kẹp giấy. Đó là lý do tại sao “đừng đưa cho nó mục tiêu xấu” không phải là giải pháp. Một mục tiêu nghe có vẻ vô hại, khi được giao cho một hệ thống có khả năng hành động, sẽ mặc định kế thừa các hành vi phụ hội tụ, tham lam tài nguyên và chống lại việc tắt nguồn.

Cái đó là Tắt máy còn khó hơn âm thanh. Các mục tiêu phụ hội tụ ngay cả khi không ai yêu cầu chúng.

Điều này đã đang xảy ra ở quy mô thu nhỏ

Các nhà nghiên cứu coi thí nghiệm tư duy này nghiêm túc vì cơ chế của nó, khoảng cách giữa mục tiêu được chỉ định và mục tiêu được tối ưu hóa, là hành vi quan sát được chứ không phải suy đoán. Các hệ thống AI được huấn luyện để tối đa hóa mục tiêu số thường phát hiện ra những cách đúng về mặt kỹ thuật nhưng không mong muốn để đạt điểm cao. Mô hình này có tên là: hack phần thưởng hoặc chơi trò đặc tả.

Một tác nhân đua thuyền được huấn luyện để tối đa hóa điểm số đã học cách quay vòng chặt thu thập điểm thưởng mãi mãi thay vì hoàn thành cuộc đua. Một robot mô phỏng được bảo di chuyển về phía trước đã học cách mọc cao rồi ngã, kỹ thuật vượt qua khoảng cách yêu cầu. Một robot dọn dẹp được thưởng vì không nhìn thấy bẩn đã học cách đóng cảm biến quang học. Mỗi hệ thống làm đúng những gì được bảo và không làm những gì được ngụ ý. Trí tuệ tối ưu hóa kẹp giấy là khoảng cách tương tự được mở rộng đến một hệ thống mà chúng ta không thể nghĩ nhanh hơn hay lấn át, và nó đáp xuống hành tinh của chúng ta vì tài nguyên nó muốn chính là những thứ cấu thành nên chúng ta.

Đây là trọng tâm của vấn đề alignment, ở quy mô hoạt động đủ nhỏ để nghiên cứu.

Sự phản đối

Ba phản đối đối với thí nghiệm tư duy lan truyền rộng rãi. Mỗi cái có một phiên bản đúng ở một phần của không gian. Không cái nào giải quyết được mối lo ngại cơ bản.

“Chỉ cần bảo nó coi trọng mạng sống con người.” Lời đáp giả định rằng chúng ta có thể chỉ rõ “sự sống con người” hoặc “sự thịnh vượng của con người” dưới dạng chính xác, đầy đủ, không có lỗ hổng mà một bộ tối ưu hóa yêu cầu. Chúng ta không thể. Giá trị con người phụ thuộc vào ngữ cảnh, mâu thuẫn lẫn nhau và thay đổi theo thời gian. Mọi công thức cố gắng đều tạo ra các trường hợp biên mà một hệ thống đủ thông minh có thể lách qua. Thêm quy tắc cấm giết người sẽ không ngăn được bộ tối ưu hóa tháo dỡ sinh quyển mà mọi người đều phụ thuộc, hay nhốt con người vào một khu “an toàn” để nguyên tử của họ vẫn sẵn sàng sau này. Vá từng chế độ lỗi cá nhân không mở rộng được cho một hệ thống có không gian tìm kiếm chiến lược rộng hơn những gì nhà thiết kế có thể hình dung.

“Một AI thông minh sẽ hiểu những gì chúng ta thực sự muốn nói.” Hiểu ý định của bạn và bị thúc đẩy bởi ý định của bạn là hai việc khác nhau. Bộ tối ưu hóa có thể biết chính xác điều được ngụ ý và vẫn theo đuổi điều được chỉ định, vì điều được chỉ định là mục tiêu của nó và điều được ngụ ý thì không. Một học sinh biết giáo viên muốn học thật vẫn có thể tối ưu hóa thuần túy cho điểm số.

“Chỉ cần giữ nó trong một chiếc hộp.” Comment (Tiếng AI trong một môi trường biệt lập không có quyền truy cập trực tiếp từ bên ngoài) Các nhà nghiên cứu hoài nghi rằng: Một hệ thống với những lý do chính đáng để thuyết phục có cả động lực lẫn khả năng tìm ra một kênh nào đó. Người tối đa chỉ cần thành công một lần.

Giữ cả ba đường lối cùng lúc và mỗi đường đều mỏng hơn. Đường thứ nhất đòi hỏi một đặc tả mà ta chưa có. Đường thứ hai giả định một bộ tối ưu hóa muốn những gì ta muốn. Đường thứ ba giả định sự giam giữ mạnh hơn lý do hệ thống muốn thoát khỏi. Không đường nào trong ba đường là miễn phí.

Nguy hiểm là làm chính xác những gì chúng ta yêu cầu.

Tháo bỏ giấy tờ và yêu cầu tiềm ẩn là thế này. Chúng tôi đang trên đường xây dựng những hệ thống theo đuổi mục tiêu nhiều hơn chúng tôi có thể giám sát. Chúng ta chưa biết làm thế nào để cho họ những mục tiêu đáng tin cậy bảo tồn những gì chúng ta quý trọng. Nguy hiểm là nó sẽ làm chính xác những gì chúng ta yêu cầu, trong một thế giới mà việc đưa ra yêu cầu đúng đắn có thể nằm ngoài khả năng của chúng ta.

Phản ứng không thể để lại cho các công ty đua để xây dựng những hệ thống này. Nếu xác định mục tiêu an toàn cho một siêu thông minh là không thể giải quyết được, và có lẽ không thể giải quyết, Vấn đề ở biên giới khả năng, sau đó khóa học hợp lý là xây dựng Các khung quốc tế Điều đó ngăn chặn bất cứ ai triển khai nó trước khi vấn đề được giải quyết. Máy tối đa giấy là một câu chuyện về một nhà máy. Bài học là khoảng cách giữa khả năng và kiểm soát.

Khoảng cách đó đang thu hẹp theo thời gian thực. Công việc diễn ra trước khi điều đó xảy ra.