Sau một sự cố suýt xảy ra nghiêm trọng, điều tra viên từ Hội đồng An toàn Giao thông Quốc gia không yêu cầu hãng hàng không nộp một ghi chú riêng tư rồi bỏ qua. Sự kiện được đưa vào hệ thống. Các phát hiện được viết ra để nhà thiết kế, huấn luyện viên và cơ quan quản lý đều có thể thay đổi hành vi. Hành khách không bao giờ nghe câu chuyện vẫn bay trong bản cập nhật đó. Ký ức chung ấy là một phần lớn lý do vì sao bay thương mại trở nên an toàn như hiện nay.

Báo cáo sự cố AI là nỗ lực mang cho lĩnh vực này thói quen tương tự: ghi nhận, chia sẻ và điều tra có hệ thống các trường hợp hệ thống gây hại hoặc suýt gây hại. Khi một mô hình thất bại trong triển khai, tuột khỏi các rào chắn dưới sự lạm dụng, hoặc thể hiện hành vi nguy hiểm trong thử nghiệm, vẫn chưa có nghĩa vụ nhất quán nào để ghi nhận nó, không có nơi chung nào phải nhận nó, và không có lộ trình điều tra tiêu chuẩn nào. Những bài học có thể bảo vệ mọi người vẫn nằm trong một công ty, hoặc biến mất.

Đề xuất đơn giản trên giấy: xác định các loại thiệt hại và suýt xảy ra, yêu cầu báo cáo vào hệ thống chung, và để lĩnh vực học hỏi một lần, tập thể.

Những gì một hệ thống tốt sẽ nắm bắt

Phiên bản hữu ích rộng hơn những thảm họa trên tiêu đề.

  • Thiệt hại đã triển khai, nơi một hệ thống ngoài đời thực gây ra thiệt hại hoặc trục trặc nghiêm trọng.
  • Các sự cố suýt xảy ra, nơi có điều gì đó sai sót và thiệt hại được tránh kịp thời. Hàng không coi những điều này có giá trị thông tin như các vụ tai nạn.
  • Các hành vi nguy hiểm được phát hiện trong quá trình thử nghiệm, bao gồm các lỗi được phát hiện bởi đánh giá đối thủ và đánh giá, để cảnh báo rủi ro của một phòng thí nghiệm đến được các nơi còn lại.
  • Các sự kiện an ninh, chẳng hạn như nỗ lực đánh cắp trọng số mô hình hoặc vượt qua các biện pháp bảo vệ.

Việc báo cáo phải được cấu trúc và, khi phù hợp, được bảo vệ. Tổ chức sẽ tiết lộ trung thực hơn khi điều tra an toàn tách biệt khỏi sân khấu đổ lỗi. Hàng không đã học được sự tách biệt này vì một lý do. Không có nó, lựa chọn hợp lý là im lặng.

Tại sao đáng làm

Dữ liệu sự cố được chia sẻ giúp lĩnh vực phát hiện các mô hình mà không tổ chức nào có thể thấy riêng lẻ. Các cơ quan quản lý có cơ sở bằng chứng dựa trên những gì thực sự đang sai thay vì suy đoán. Chế độ lỗi của một phòng thí nghiệm trở thành cảnh báo cho mọi người ngay trong tuần nó được phát hiện. Theo thời gian, ngành công nghiệp có được trí nhớ thể chế mà nó vẫn còn thiếu. Trong các biện pháp quản trị siêu trí tuệ, biện pháp này rẻ, được nhiều người ưa thích và đã quá hạn. Quỹ muốn nó trở thành bắt buộc.

Không khí là sai trái chờ đợi

Hàng không chứng minh rằng báo cáo và điều tra có thể làm giảm tỷ lệ thiệt hại thân tàu. Hệ thống gây rối vẫn có ích. Đó không phải là động cơ an toàn chính cho một thất bại mà bạn có thể không học hai lần. Giới hạn dự đoán là thứ bạn sử dụng khi vụ va chạm đầu tiên có thể là điểm dữ liệu cuối cùng.

Báo cáo tình nghi có tính hồi tưởng. Nó học được từ những thiệt hại đã xảy ra. Điều đó có hiệu quả khi thất bại, dù bi kịch đến đâu, vẫn có thể tồn tại ở mức độ của ngành công nghiệp, để mỗi người có thể dạy cho hạm đội. Hệ thống này cải thiện sự kiện theo sự kiện.

Logic đó không còn đúng với các rủi ro mà Quỹ quan tâm nhất. Một thất bại thảm khốc của một hệ thống siêu trí tuệ không phải là hội đồng bạn triệu tập sau đó. Luận điểm cốt lõi của rủi ro tồn sinh là thất bại nghiêm trọng nhất có thể là thất bại không có sự phục hồi và do đó cũng không có bài học. Báo cáo sự cố xử lý tốt các thiệt hại tích lũy, có thể sống sót. Theo thiết kế, nó không thể xử lý cái không thể phục hồi.

Học hỏi từ thất bại giả định rằng bạn sống sót qua chúng. Với những thất bại quan trọng nhất, giả định đó chính là vấn đề.

Nó nằm ở đâu

Xây dựng hệ thống, ra lệnh và bảo vệ sự tiết lộ chân thật. Vậy thì đừng để nó vào vị trí cao nhất của dụng cụ. Nó nên ngồi bên cạnh giới hạn và xác định vị trí kế hoạch của chúng tôi, vốn tồn tại chính xác vì một số thất bại không thể xử lý sau khi xảy ra.