بعد حادث وشيك خطير، لا يطلب محقق من مجلس السلامة الوطني للنقل من شركة الطيران تقديم مذكرة خاصة والمضي قدمًا. بل يدخل الحدث في نظام. وتُكتب النتائج بحيث يستطيع المصممون والمدربون والمنظمون جميعًا تغيير سلوكهم. والراكب الذي لا يسمع القصة أبدًا يطير داخل التحديث. وهذه الذاكرة المشتركة تشكل جزءًا كبيرًا من السبب الذي جعل الطيران التجاري آمنًا كما هو اليوم.
الإبلاغ عن حوادث الذكاء الاصطناعي محاولة لمنح هذا المجال العادة نفسها: التسجيل المنهجي ومشاركة والتحقيق في الحالات التي تسبب فيها الأنظمة ضررا أو تقترب منه. عندما يفشل نموذج في النشر أو يفلت من ضوابطه تحت سوء الاستخدام أو يظهر سلوكا خطيرا في الاختبار، لا يزال هناك واجب ثابت لتسجيله ولا مكان مشترك يجب أن يتلقاه ولا مسار تحقيق قياسي. الدروس التي قد تحمي الجميع تبقى داخل شركة واحدة أو تختفي.
المقترح بسيط على الورق: تحديد فئات الضرر والحوادث الوشيكة، واشتراط الإبلاغ في نظام مشترك، والسماح للمجال بالتعلم مرة واحدة بشكل جماعي.
ما الذي سيلتقطه نظام جيد
النسخة المفيدة أوسع من كوارث العناوين الرئيسية.
- الأضرار المنشورة، حيث تسبب نظام في العالم الحقيقي بضرر أو عطل خطير.
- الحوادث الوشيكة، حيث حدث خطأ وتم تجنب الضرر بصعوبة. وتعامل الطيران مع هذه الحوادث على أنها مفيدة مثل الحطام.
- سلوكيات خطيرة وُجدت في الاختبار، بما في ذلك الإخفاقات التي كشفت عنها الاختبار الهجومي والتقييمات، بحيث يصل تحذير الخطر من مختبر واحد إلى البقية.
- أحداث أمنية، مثل محاولات سرقة أوزان النموذج أو الالتفاف على الضمانات.
يجب أن يكون الإبلاغ منظماً ومحمياً حيثما كان مناسباً. تكشف المنظمات بصدق أكبر عندما يُفصل التحقيق في السلامة عن مسرح اللوم. تعلمت الطيران هذا الفصل لسبب. بدونه، الخطوة العقلانية هي الصمت.
لماذا يستحق الأمر القيام به
تتيح بيانات الحوادث المشتركة للمجال رصد أنماط لا تراها أي منظمة منفردة. يحصل المنظمون على قاعدة أدلة مبنية على ما يحدث فعليا لا على التكهنات. يصبح وضع فشل أحد المختبرات تحذيرا للجميع في الأسبوع الذي يكتشف فيه. مع الوقت يكتسب القطاع الذاكرة المؤسسية التي لا يزال يفتقر إليها. من بين تدابير الحوكمة في مؤسسة ناكادا يعد هذا رخيصا ومحبوبا على نطاق واسع ومتأخرا. تريد المؤسسة جعله إلزاميا.
الطيران هو الانتظار الخطأ
وأثبت الطيران أن الإبلاغ والتحقيق يمكن أن يؤديا إلى انخفاض معدلات الخسائر في الأرواح. أنظمة الحوادث لا تزال تساعد. ليسوا محرك الأمان الرئيسي لفشل قد لا تحصل على الدراسة مرتين. الحدود الافتراضية هي ما تستخدمه عندما يكون الحادث الأول نقطة البيانات الأخيرة
الإبلاغ عن الحوادث بأثر رجعي. إنه يتعلم من الأذى الذي حدث بالفعل وهذا يعمل عندما تكون الإخفاقات، مهما كانت مأساوية، قابلة للبقاء على مستوى الصناعة، بحيث يمكن لكل واحد أن يعلم الأسطول. The system improves event by event.
هذا المنطق ينهار أمام المخاطر التي تهتم بها المؤسسة أكثر. أ فشل كارثي لنظام ذكاء فائق ليست لجنة تعقد بعد وقوع الحدث. والادعاء الأساسي لخطر الوجود هو أن أخطر فشل قد يكون ذلك الذي لا يتيح تعافيا وبالتالي لا يتيح درسا. ويتعامل الإبلاغ عن الحوادث مع الأضرار المتراكمة القابلة للنجاة بشكل جيد. وهو بتصميمه لا يستطيع معالجة الحدث غير القابل للتعافي.
التعلم من الفشل يفترض أنك تنجو منه. وبالنسبة للفشل الأهم، فإن هذا الافتراض هو المشكلة.
أين يقع
بناء النظام، تكليفه، وحماية الإفصاح الصادق. ثمّ يَبقيه خارج الجزء العلوي من مجموعة الأدوات. وينبغي أن يجلس بجانب الحدود المتوقعة والتحقق الواردين في التقرير خطتنا, والتي توجد تحديداً لأن بعض الإخفاقات لا يمكن التعامل معها بعد وقوعها.