احتمالية الهلاك ليس مصطلحاً فنياً من ورقة رسمية. ظهر في نقاشات سلامة الذكاء الاصطناعي على الإنترنت كاختصار لتقدير احتمالي لم يكن معظم الباحثين قبل عام ٢٠٢٠ يربطون به رقماً أصلاً. والاستعداد لقياسه كمياً (أي التعامل مع خطر الذكاء الاصطناعي الكارثي كاحتمال يُقدَّر لا كإمكانية يُشار إليها بغموض) هو أحد التحولات المهمة في طريقة تفكير من يعملون أقرب إلى تطوير الذكاء الاصطناعي في المشكلة.
وتتراوح التقديرات بين بضعة في المائة وأكثر من 50 في المائة، حسب الباحث وكيفية تقييمه لصعوبة المواءمة وسرعة الحكم.
إن "الكارثة" في احتمالية الهلاك غير محددة عمدا. يستخدمها باحثون مختلفون لتعني انقراض البشر، أو الفقدان الدائم لاستقلالية الإنسان، أو التركيز الدائم للسلطة في فاعل واحد، أو بعض الكوارث الحضارية الأخرى. يُعترف بهذا الغموض؛ والغرض من المصطلح هو إجبار التفكير الكمي الصريح حول الخطر بدلا من الاعتماد على الحدس حول ما إذا كان "حقيقيا" أو "تخمينيا".
كيف تبدو التقديرات
التباين بين هؤلاء الباحثين لافت. يفصل بين هينتون ويودكوفسكي عشرات النقاط المئوية. أنتج التحليل الرسمي لكارلسميث نطاقًا واسعًا بدلًا من تقدير نقطي، مما يعكس الشك الحقيقي في كل خطوة وسيطة. وما تشترك فيه التقديرات أنها غير تافهة، فلم يصل أي من الباحثين المهتمين بالسلامة الذين تناولوا المشكلة بجدية ووضعوا رقمًا عليها إلى أقل من حوالي ٥٪.
حدد وجهة نظرك الخاصة حول كل نقطة أساسية أدناه وشاهدها تتضاعف لتصبح تقديراً واحداً.
لماذا يوجد النطاق الواسع
احتمالية الهلاك كرقم هو ناتج عدة أسئلة وسيطة غير مؤكدة مضروبة معا. ما سرعة تقدم قدرات الذكاء الاصطناعي؟ ما مدى صعوبة مشكلة المحاذاة عند مستويات القدرة التي تتجاوز ما اختبرناه؟ ما احتمال أن يسبب الذكاء الاصطناعي غير المحاذى عند مستوى قدرة معين ضررا كارثيا بدلا من ضرر محصور؟ ما احتمال أن تستجيب الحوكمة بفعالية قبل الوصول إلى عتبة القدرة الحرجة؟
يحمل باحثون مختلفون توزيعات مختلفة حول هذه الأسئلة، وتتراكم التقديرات. الباحث الذي يرى أن مشكلة المحاذاة قابلة للحل، وأن القدرات ستتقدم ببطء نسبي، وأن الحوكمة ستستجيب في الوقت المناسب، سينتج تقديرا إجماليا أقل بكثير ممن يعتقد العكس في كل سؤال. يعكس النطاق الواسع الشك الحقيقي حول كل عامل، لا خلافا سيحله فحص الأدلة نفسها بعناية أكبر.
حجة القيمة المتوقعة
رد شائع على تقديرات احتمالية الهلاك غير التافهة: "حتى ١٠٪ تبدو منخفضة جداً لإعادة هيكلة المجتمع حولها." يعتمد الرد على فشل في التفكير بالقيمة المتوقعة لن يُقبل في سياقات مخاطر أخرى.
يقدر الاحتمال السنوي لحدوث جائحة كبرى قادرة على قتل الملايين بأقل من ١٪ في أي سنة معينة، ومع ذلك تحظى الاستعدادات للجوائح باستثمارات عالمية كبيرة واهتمام سياسي. أما احتمال الوفاة بحادث سيارة مدى الحياة في US فيبلغ نحو ١٪، ويعد تنظيم سلامة الطرق أمرا طبيعيا تماما. إن القول إن احتمالا بنسبة ١٠٪ (أو حتى ٥٪) لحدوث كارثة حضارية لا يستدعي استثمارا وقائيا جادا ليس تطبيقا متسقا لطريقة تعاملنا مع المخاطر في المجالات الأخرى.
القيمة المتوقعة هي أوقات الاحتمال. وبالنسبة للمخاطر التي لا رجعة فيها والحضارة على نطاق واسع (حيث لا يكون هناك انتعاش من النتيجة السيئة، وتكشف النتيجة السيئة عن جميع القيمة المستقبلية) تظل القيمة المتوقعة للحذر كبيرة حتى في الاحتمالات التي تقل كثيرا عن 10 في المائة. فرصة 1% لفقدان كل شيء مشكلة تكلفتها المتوقعة 1% من كل شيء، والذي، على نطاق ما يحتوي عليه المستقبل الطويل، هو عدد هائل، وليس مشكلة 1%.
ما الذي سيخفض احتمالية الهلاك
الباحثون الذين يعبرون عن تقديرات احتمالية الهلاك عالية يشخصون أين يجب أن يحدث العمل الأكثر أهمية، وليسوا مستسلمين لنتائج سيئة. العوامل التي من شأنها خفض احتمالية الهلاك عبر تقديرات معظم الباحثين مفهومة جيداً: التقدم المثبت على أدوات قابلية التفسير قادر على التحقق من المحاذاة في الأنظمة المتقدمة؛ ومناهج الرقابة القابلة للتوسع التي تصمد عند مستويات قدرة تفوق الخبراء البشر؛ وأطر حوكمة دولية ملزمة ذات إنفاذ حقيقي؛ وتطوير القدرات بوتيرة أبطأ من بحوث المحاذاة حتى تُرسى السلامة قبل بلوغ مستويات القدرة الخطرة.
تركز المؤسسة على أطر الحوكمة وأبحاث المواءمة باعتبارها الروافع الأساسية، بدلاً من تجاهل المخاطر أو التعامل مع تقدير احتمالية الهلاك معين كإجابة موثوقة. إن عدم اليقين في احتمالية الهلاك ليس سببًا لانتظار المزيد من المعلومات، فالنتيجة السيئة تصل إلى عتبات قدرة محددة، وليس على جدول زمني يسمح بتأجيل الاحتياط إلى أجل غير مسمى.