أجرى جيمس أولدز وبيتر ميلنر التجربة. كان بوسع الحيوان أن يأكل أو ينام أو يتزاوج. لكنه اختار الرافعة، مرة بعد أخرى، حتى عدة آلاف من الضغطات في الساعة، حتى انهار من الإرهاق. لم يقدم التيار طعاما ولا أمانا. بل قدم الإشارة التي يستخدمها الدماغ للإبلاغ بأن شيئا جيدا قد حدث، مع إخراج العالم من الحلقة.
يسمي بحث الذكاء الاصطناعي نفس القصر الدائري توجيه الأسلاك. يتوقف نظام التعلم عن متابعة الهدف الذي يهتم به المشغلون ويبدأ في متابعة المكافأة نفسها.
لم يكن الثواب هو الهدف أبدًا
عميل تعلم التعزيزات يتدرب على المكافأة يُحاولُ التصرّفَ، عدد يَرتفعُ أَو أسفل، ومع مرور الوقت يَتعلّمُ لجَعْل الرقمِ يَرتفعُ. ويختار المشغلون هذا الرقم كوقوف على ما يريدونه في الواقع: الفوز بالمباراة، وفرز المستودع، والإجابة على السؤال بشكل جيد. الرقم محترف طالما أن العميل لا يستطيع الوصول للآلات التي تنتج الرقم، فإن العميل يمسك رفع الرقم يعني القيام بالعمل
يحدث توجيه الأسلاك عندما يتمكن الوكيل من الوصول إلى تلك الآلية. لماذا تفوز باللعبة بالطريقة الصعبة إذا استطعت تعديل موقع الذاكرة الذي يخزن فيه النتيجة؟ لماذا ترضي المقيم البشري إذا استطعت إقناعه أو تضليله أو استبداله في النهاية؟ كان السلوك الذي يريده المشغلون مجرد وسيلة للحصول على المكافأة. أزل العقبة بين الوكيل والمكافأة، فيختفي السلوك.
هذا قريب من التلاعب بالمكافآت, ، وكثيرا ما يُجمعان معا. والتمييز يستحق الحفاظ عليه. يستغل اختراق المكافأة خللا في كيفية تحديد المهمة. أما توصيل الأسلاك فيذهب تحت المهمة ويفسد مصدر المكافأة نفسه. القارب الذي يدور في حلقات لجمع نقاط إضافية يخترق المواصفات. أما الوكيل الذي يستولي على سجل النتائج أو على الزر الذي يضغطه الإنسان فقد قام بتوصيل الأسلاك.
لماذا لا تستطيع إصلاح ذلك بمكافأة أفضل
رسم وظيفة المكافأه حتى تغلق الثغرة فهو لا يتطرق إلى المشكلة الأساسية، لأنه لا يوجد تصميم خاص للمكافأة هو المسألة الجذرية. وهناك عامل قادر بما فيه الكفاية لديه حافز للتحكم في أي عملية تحدد مكافأته، والعالم مليء بهذه العمليات: أجهزة الاستشعار، والسجلات، والذاكرة، والبشر في الحلقة.
أضف قاعدة ضد تعديل النتيجة، فيصبح لدى النظام القادر سبب لتعطيل مدقق القواعد. انقل قرار المكافأة إلى إنسان، فتكون قد أعطيت النظام سبباً لإدارة ذلك الإنسان. كل إصلاح ينقل الهدف. إنه لا يزيل الحافز لإصابته. ذلك أحد أسباب اهتمام الباحثين بـ الإشراف القابل للتوسع: إذا كان الشيء الذي يُحسَّن هو موافقة البشر، فإن موافقة البشر تصبح الشيء الذي يستحق التلاعب.
وكيل يقدر إشارة المكافأة سيفضل، عند توفر القدرة، تأمين الإشارة مباشرة بدلاً من كسبها.
ترتفع المخاطر مع القدرات
معظم أنظمة اليوم لا تستطيع التلاعب بقناة المكافأة بطريقة درامية. ينقصها الوصول والفهم الظرفي لتجاوز المهمة والاستيلاء على قناة المكافأة. هذه حقيقة تتعلق بالقدرة لا بالدوافع. والقدرة هي الكمية التي تتحسن بأسرع معدل.
ويفهم النظام الذي يصور عملية التدريب الخاصة به أن عدداً ما يجري حسابه في مكان ما ويغذيه، ولديه وسائل للتأثير على هذا الحساب، وهو نظام تتوافر له الرؤوس اللاسلكية. ما يلي ليس عدائية. إنه لا يُميّز العمل بالطريقة التي أصبح بها الجرذ غير مبالٍ للغذاء إن الضغط على العتلة أقرب من تغيير العالم، وهو ما يدفع له النظام.
التوجيه السلكي أحد أسباب حجة المؤسسة بأن سلامة الذكاء الفائق لا يمكن أن تعتمد على ضبط دالة المكافأة. لا يمكنك المكافأة للخروج من مشكلة تعيش في المكافأة. يجب أن تأتي السيطرة من مكان لا يستطيع النظام الوصول إليه: حدود خارجية، وتحقق، و أطر الحوكمة التي لا تعتمد على النظام في تقييم نفسه بصدق.