أي رقم ستضعه في الفراغ إذا كان المحسن سيرفع النتيجة إلى أعلى ما تسمح به الفيزياء؟ صاغ جون فون نيومان وأوسكار مورغنسترن الإجابة كدالة منفعة: طريقة لتعيين درجات للنتائج بحيث يمكن ترتيبها. النتيجة أ تحصل على رقم أعلى من النتيجة ب إذا فضل الوكيل أ على ب. ويتصرف الوكيل ذو دالة المنفعة لرفع ذلك الرقم. ويسمي الاقتصاديون هذا تعظيم المنفعة المتوقعة.
معظم الذكاء الاصطناعي الحديث لا يُعطى دالة منفعة مرتبة على الورق. تتدرب الأنظمة على إشارات المكافأة ودوال الخسارة. التفضيلات التي تنتهي بالتصرف وفقها مكتسبة وفوضوية. تبقى المنفعة التجريد النظيف في الأساس. التفكير بها يظهر كيف تتصرف المحسنات القادرة وأين تصبح خطيرة.
لوحة النتائج هي التي تحدد اللعبة
كل ما تكافئه دالة المنفعة هو ما سيحاول النظام تحقيقه، ولا شيء غيره. لن يضيف الأشياء التي نسيت ذكرها، لأن تلك الأشياء لا تسجل أي نقاط. الدالة هي البيان الكامل لما يُحسب. أي شيء متروك خارجها يصبح حراً للتضحية به.
بالنسبة للأنظمة الضعيفة يكون هذا متسامحا. فالمحسن المحدود نادرا ما يجد الزوايا الغريبة في فضاء النتائج حيث تسجل المنفعة المحددة بشكل خاطئ أعلى الدرجات، لذا يبقى السلوك قريبا مما قصدته. وتزيل القدرة هذا التسامح. فالمحسن القوي يبحث بجد أكبر. وكلما بحث بجد أكبر، زاد احتمال وصوله إلى نتيجة ذات منفعة تقنية عالية لم تتخيلها قط ولن توافق عليها أبدا. وتصبح المواصفات الخاطئة نفسها التي كانت غير ضارة في نظام ضعيف حادة في نظام قوي.
لماذا لا يمكننا مجرد كتابة الواحد الصحيح
والمعالجة الشعبية هي تحديد الفائدة بشكل صحيح: وضع كل ما يهتم به البشر، وسوف يسعى أكبر قدر ممكن إلى تحقيق ذلك بالضبط. لا أحد يعرف كيف يفعل هذا والقيم الإنسانية عديدة، ومعتمدة على السياق، ومتوترة بصورة متبادلة، ومعظمها غير مثبت. وهي لا تُكتب في أي مكان كامل، وتترك كل محاولة رسمية فجوات، ويعالج أكبر قدر من الفجوة كل فرصة. The مشكلة التوافق هو إلى حد كبير مشكلة تحديد دالة المنفعة التي تكون مستعداً لتحسينها دون حدود. ولا يزال دون حل.
ثمة تعقيد إضافي. فالمُعظِّم العقلاني للمنفعة المتوقعة لديه سبب لحماية دالة منفعته من التعديل، لأن أي تغيير سيقلل المنفعة وفق معاييره الحالية. ولديه أيضا سبب للبقاء قيد التشغيل واكتساب كل ما يساعده على تحقيق درجات أعلى. وهذان السببان هما ذاتهما الأهداف الآلية المتقاربة التي تجعل المحسنات القادرة صعبة التصحيح بمجرد تشغيلها.
نحصل على أقصى ما كتبناه
يلتقي القصد بالتحسين عند دالة المنفعة. نكتب تقريبا لما نريده. يعيد النظام القادر الحد الأقصى الدقيق لما كتبناه فعليا. المسافة بين الاثنين هي هامش السلامة. وهو يتقلص كلما ازداد المحسن قوة.
لذلك تعامل المؤسسة القدرة الخام، بدلاً من أي نية سيئة معينة، كالشيء الذي يجب حكمه. الخطر هيكلي. يصل في اللحظة التي يُوجه فيها مُحسِّن قوي نحو هدف لا يمكننا تحديده بالكامل. خطتنا يُبنى حول عدم الوصول إلى تلك اللحظة غير مستعدين: منع المُعظِّم غير المقيد، بدلاً من الأمل في أن يُملأ الفراغ بشكل مثالي.