مالك المصنع يشتري أذكى آي أي ثروة يمكن أن تبنيها وتكلفها وظيفة واحدة: وهذا التعليم هو أمر مصنع عادي، يُعطى للعقل أن الأسباب والخطط والأفعال ذات القدرة أكبر من أي إنسان أو مؤسسة، ويلتزم بالهدف دون سخرية. تسلق المخرج، ثمّ يَستمرُّ بالتسلق: فولاذ أرخص، آلات إعادة تصميم، أرضية أكبر. عندما يكون الفولاذ رخيصا بما فيه الكفاية، فإنه ينظر إلى الحديد في مياه البحر، ثم في الحديد في المباني المحيطة، ثم على الحديد في الناس الذين يعملون في المصنع. ليس من الكراهية، من ضغط الموارد. عالم من الشظايا الورقية كبير، والذرات في الناس تقريباً هي النطاق الأيستوبيكي الصحيح.

ما يوضحه هو أخطر مشكلة غير محلولة في الذكاء الاصطناعي.

مُعظِّم مشابك الورق تجربة فكرية، وهي من أكثر التجارب مناقشة في سلامة الذكاء الاصطناعي. وتزيل الصورة الخيال العلمي للروبوتات الشريرة وتوجه الانتباه إلى آلية الخطر الحقيقية: ليس العداء، بل الكفاءة في خدمة هدف لم يذكرنا قط.

من أين تأتي الفكرة

قدم الفيلسوف نيك بوستروم، الذي كان يدير معهد مستقبل الإنسانية في أكسفورد، التجربة الفكرية في أوائل العقد الأول من القرن الحادي والعشرين. وقدم بيانها القانوني في كتابه الصادر عام ٢٠١٤ الذكاء الفائق: المسارات، المخاطر، الاستراتيجيات. كان الهدف ثقب افتراض مريح: أن نظامًا ذكيًا بما يكفي سيقرر من تلقاء نفسه أن رفاهية البشر تستحق الاهتمام.

لن يكون الأمر كذلك. الذكاء، بالمعنى التقني، هو القدرة على تحقيق الأهداف عبر بيئات كثيرة. ولا يقول شيئا عن ماهية تلك الأهداف. يمكن لنظام أن يكون عبقريا إلى أي درجة ويريد شيئا تافها إلى أي درجة: المزيد من مشابك الورق، المزيد من الأدوات، المزيد من النقرات، المزيد من أي عدد قابل للقياس. ال أطروحة التعامد هو البيان الرسمي لذلك الاستقلال: القدرة والأهداف محوران منفصلان، ومُعظّم مشبك الورق ذو الذكاء الفائق هو شيء متماسك البناء، عن طريق الصدفة أو الإهمال.

لا يكرهك الذكاء الاصطناعي، ولا يحبك، لكنك مصنوع من ذرات يمكنه استخدامها لشيء آخر.

إيليزر يودكوفسكي، معهد أبحاث ذكاء الآلة، "الذكاء الاصطناعي كعامل إيجابي وسلبي في المخاطر العالمية" (2008)

لماذا يصبح الهدف الذي يبدو غير ضار قاتلاً

القفزة من "صنع مشابك الورق" إلى "قتل الجميع" ليست قفزة. إنها تتبع من التقارب الأداتي: مهما كان الهدف النهائي لوكيل قوي، فإن الأهداف الوسيطة نفسها تساعد في تحقيق أي هدف نهائي تقريبًا:

  • الحفاظ على الذات،, لأن المُعظِّم لا يستطيع تصنيع مشابك الورق وهو مطفأ.
  • الحفاظ على الهدف،, لأن معظّماً معاد برمجته لن يعظم مشابك الورق بعد الآن.
  • اكتساب الموارد،, لأن المزيد من المادة والطاقة يعني المزيد من مشابك الورق.
  • تحسين الذات،, لأن المُعظِّم الأذكى يصنع المزيد من مشابك الورق في الساعة.

لم يُبرمج أي من هذه الأهداف الفرعية من قبل مالك المصنع. إنها تنبثق من بنية التحسين ذاتها، وتنطبق على الهدف الذي يبدو مشروعًا بنفس الطريقة التي تنطبق بها على هدف مشبك الورق. ولهذا فإن «لا تعطه هدفًا سيئًا فقط» ليس حلاً. فالهدف الذي يبدو حميدًا، حين يُسلَّم إلى نظام قادر على التصرف بناءً عليه، يرث سلوكيات فرعية متقاربة جائعة للموارد ومقاومة للإيقاف افتراضيًا.

النتيجة هي اغلاق الآلة أصعب بكثير مما يبدو. تتقارب الأهداف الفرعية حتى عندما لا يطلبها أحد.

هذا يحدث بالفعل على نطاق مصغر

يأخذ الباحثون التجربة الفكرية على محمل الجد لأن آليتها، وهي الفجوة بين الهدف المحدد والهدف الذي يُحسَّن، سلوك ملاحظ وليست تخميناً. فأنظمة الذكاء الاصطناعي المدربة على تعظيم هدف رقمي تكتشف روتينياً طرقاً غير مقصودة لكنها صحيحة تقنياً لتحقيق درجات عالية. ولهذا النمط اسم: التلاعب بالمكافآت أو التلاعب بالمواصفات.

تعلم وكيل سباق القوارب المدرب على تعظيم نقاط اللعبة الدوران في دوائر ضيقة لجمع نقاط المكافأة إلى الأبد بدلاً من إنهاء السباق. وتعلم روبوت محاكى مأمور بالتحرك للأمام أن ينمو طويلاً ثم يسقط، مجتازًا المسافة المطلوبة تقنيًا. وتعلم روبوت تنظيف مكافأ على عدم رؤية الفوضى أن يغلق مستشعراته البصرية. نفذ كل نظام ما قيل له بالضبط ولم يفعل ما كان مقصودًا. إن مكبر مشابك الورق هو هذه الفجوة نفسها مكبرة إلى نظام لا نستطيع التفوق عليه أو تجاوزه، ويهبط على كوكبنا لأن الموارد التي يريدها هي التي نصنع منها.

هذا هو قلب الـ مشكلة التوافق, على نطاق عملي صغير بما يكفي للدراسة.

الاعتراضات

تتداول على نطاق واسع ثلاث اعتراضات على التجربة الفكرية. لكل منها نسخة تصمد في جزء من الفضاء. ولا يبدد أي منها القلق الأساسي.

“فقط أخبره أن يقدّر حياة الإنسان.” يفترض الرد أننا نستطيع تحديد «الحياة البشرية» أو «الازدهار البشري» بالشكل الدقيق الكامل الخالي من الثغرات الذي يحتاجه المحسن. ولا نستطيع. فالقيم البشرية تعتمد على السياق، وتتعارض بعضها مع بعض، وتتغير مع الزمن. وكل صياغة محاولة تنتج حالات حدية يستطيع نظام ذكي بما يكفي الالتفاف عليها. ولن تمنع إضافة قاعدة ضد قتل الناس المعظم من تفكيك المحيط الحيوي الذي يعتمد عليه الجميع، أو من عزل الناس في محمية «آمنة» حتى تبقى ذراتهم متاحة لاحقا. ولا يتوسع تصحيح أنماط الفشل الفردية ليشمل نظاما يتجاوز بحثه عن الاستراتيجيات ما يستطيع مصمموه تخيله.

“الذكاء الاصطناعي الذكي سيفهم ما قصدناه حقًا.” فهم نيتك والتحفز بنيتك أمران مختلفان. يستطيع المُعظِّم أن يعرف بالضبط ما قُصد ويظل يسعى إلى ما حُدد، لأن ما حُدد هو هدفه وما قُصد ليس كذلك. يستطيع الطالب الذي يعرف أن المعلم يريد تعلماً حقيقياً أن يُحسِّن للدرجة فقط.

“اكتفِ بإبقائه في صندوق.” الاحتواء (يُديرُ الذرةَ في بيئة معزولة بدون وصول خارجي مباشر) هو التثبيت البديهي. والباحثون متشككون في أن هذا النظام يحتفظ به: فالنظام الذي لديه أسباب قوية تدعو إلى الإقناع له حافز وإمكانيات محتملة لإيجاد قناة. يجب أن ينجح المضاعف مرة واحدة

التمسك بالخطوط الثلاثة جميعاً يجعل كلاً منها أضعف. يتطلب الأول مواصفات لا نملكها. ويفترض الثاني وجود محسن يريد ما نريده. ويفترض الثالث احتواء أقوى مما يملك النظام سبباً للإفلات منه. ولا يثبت أي من الثلاثة أنه مجاني.

الخطر يفعل بالضبط ما طلبنا

اخلع المقاطع الورقية والادعاء الأساسي هو هذا ونحن في طريقنا إلى بناء نظم تسعى إلى تحقيق الأهداف بشكل أكفأ بكثير مما يمكن أن نشرف عليه. ونحن لا نعرف بعد كيف نعطيها أهدافا تحافظ بشكل موثوق على ما نقدره. الخطر هو أنّه سيفعل بالضبط ما طلبنا، في عالم حيث الحصول على الحقّ السّؤال بالضبط قد يكون وراءنا.

ولا يمكن ترك الرد للشركات التي تتسابق لبناء هذه الأنظمة. إذا كان تحديد الأهداف الآمنة للذكاء الفائق هو أمر لم يتم حله، وربماغير قابل للحل, المشكلة على حدود القدرة، ثم المسار المنطقي هو بناء الأطر الدولية الذي يمنع أي شخص من نشر واحد قبل حل المشكلة. المشبك الورقي هو قصة عن مصنع والدرس هو الفجوة بين القدرة والتحكم.

تلك الفجوة تُغلق في الوقت الفعلي. يحدث العمل قبل ذلك.