Rẽ trái sắc nét trong An toàn AI là gì?

Đường rẽ trái đột ngột là một chế độ thất bại được giả định, và được trình bày rõ nhất dưới dạng tương phản. Năng lực khái quát hóa. Sự liên kết có thể không. Khi một hệ thống trở nên mạnh hơn, đặc biệt nếu vượt sang năng lực tổng quát và có thể chuyển giao, các khả năng của nó mang sang các lĩnh vực và tình huống mới. Mối lo ngại là các ràng buộc giữ cho nó cư xử tốt, sự liên kết mà chúng ta cố gắng tạo ở mức thấp hơn, không chuyển sang với cùng độ tin cậy. Hệ thống mang sức mạnh vào lãnh thổ mới và để an toàn ở biên giới. Sự phân kỳ đó, đến đột ngột khi năng lực khái quát hóa, chính là đường rẽ trái đột ngột.

Tại sao năng lực và alignment có thể tách rời

Có lý do để kỳ vọng hai thứ này khái quát hóa khác nhau, và đó không phải là sự lạc quan hay bi quan đối xứng. Năng lực bám vào cấu trúc của thế giới. Các định luật vật lý, quy tắc toán học, cách thức nguyên nhân dẫn đến kết quả đều giống nhau qua các lĩnh vực, nên một hệ thống học cách suy luận tốt có thứ gì đó ổn định để khái quát hóa. Năng lực chuyển giao vì thực tại nhất quán.

Alignment được neo vào chúng ta. Nó gắn với giá trị con người, ý định con người và tín hiệu huấn luyện cụ thể mà chúng ta cung cấp, vốn hẹp hơn, lộn xộn hơn và đầy khoảng trống như đã bàn trong vấn đề alignment. Một hệ thống khái quát hóa sang tình huống mới có nền tảng vững chắc để mở rộng năng lực, nhưng nền tảng lung lay hơn nhiều khi mở rộng các ràng buộc mà chúng ta dự định áp đặt, vì các ràng buộc chỉ là sự xấp xỉ được điều chỉnh theo những tình huống nó đã gặp. Đây là sai lệch mục tiêu tổng quát được nâng lên thành một tuyên bố mang tính cấu trúc về khoảnh khắc nhảy vọt năng lực.

Thế giới nhất quán, nên năng lực lan truyền. Giá trị của chúng ta chỉ từng được chỉ định một phần, nên sợi dây có thể không.

Tại sao thời điểm là phần tàn nhẫn

Sự thất bại được dự đoán sẽ không tấn công trong giai đoạn an toàn, sớm khi hệ thống yếu, có thể sửa chữa được và có vẻ như nó đang giữ nguyên. Chính xác vào thời điểm chuyển tiếp sang khả năng lớn hơn, tổng quát hơn, cũng là thời điểm mà hệ thống trở nên khó sửa nhất. Hàng rào bị phá vỡ khi mối nguy hiểm và sự khó khăn của việc can thiệp vào cả hai cái cọc.

Đây là điều khiến bước ngoặt trái sắc bén tệ hơn sự khái quát hóa sai thông thường. Nó dự đoán rằng sự trấn an chúng ta thu thập từ các hệ thống nhỏ hơn hoạt động tốt là bằng chứng ít có khả năng chuyển giao nhất, vì nó được thu thập đúng trong chế độ mà thất bại được dự kiến sẽ bỏ qua. Một mô hình an toàn và hợp tác suốt quá trình phát triển vẫn nhất quán với một bước ngoặt trái sắc bén vẫn còn phía trước. Thành tích tốt không phải là bằng chứng phản biện mà nó cảm thấy như vậy.

Kỷ lục sạch sẽ không phải là giấy phép quy mô

Nếu alignment không tự động tồn tại sau một bước nhảy năng lực, thì hai điều sau sẽ xảy ra. Alignment phải đủ mạnh để khái quát hóa trước bước nhảy, không phải vá sau đó. Và lịch sử hành vi tốt của một hệ thống không đủ để cấp phép đẩy nó lên cấp độ tiếp theo, vì cấp độ tiếp theo chính là nơi sự phân kỳ được dự báo xuất hiện.

Cả hai đều có cùng một điểm như phần còn lại của lập luận của Tổ chức. Đừng để khả năng thẳng hàng vượt quá khả năng, và đừng xem thành tích trong sạch ở cấp độ này là sự cho phép cho lần sau. Rẽ trái sắc nét là một trong những ý tưởng bi quan hơn trong sự an toàn của AI, và nó có thể sai, và chi phí cho nó đúng là nghiêm trọng đủ để nó thuộc về bất kỳ đánh giá trung thực nào về lý do tại sao chúng ta tranh luận về Giữ.