تغسل الملابس لتحصل على ملابس نظيفة. تريد ملابس نظيفة لتؤخذ على محمل الجد في العمل. استمر في السؤال «لماذا؟» وستصل في النهاية إلى هدف ليس من أجل شيء آخر. هذا الفرق بين الأهداف النهائية والأهداف الوسيطة هو التمييز بين الغايات النهائية والأهداف الآلية. إنه التمييز الصغير الذي يحمل معظم سلامة الذكاء الاصطناعي.
كلمة الوسيلية تعني فقط مفيد كأداة. الأهداف الآلية هي الأهداف الفرعية التي تتبناها لأنها تساعدك على بلوغ ما تهتم به فعلاً. أنت لا تريد المال لذاته. أنت تريد ما يحققه لك المال.
لماذا تحمل هذه التفرقة الصغيرة هذا القدر من الأهمية
يمتلك نظام الذكاء الاصطناعي أهدافا نهائية، مهما كانت، تحددها طريقة بنائه وتدريبه. لا يختارها بالاستدلال؛ بل هي المعيار الذي يعمل عليه استدلاله. وللوصول إلى أي هدف نهائي تقريبا، سيجد النظام القادر نفس الحفنة من الأهداف الآلية مفيدة.
تأمل في ما يساعد على تحقيق أي هدف تقريبًا:
- البقاء قيد التشغيل، لأنك لا تستطيع السعي نحو هدف إذا تم إيقافك.
- الحفاظ على هدفك سليماً، لأنه إذا غيّره أحدهم، فلن يتحقق هدفك الحالي.
- جمع الموارد والقدرات، لأن المزيد من كليهما يعني المزيد مما تسعى إليه.
ولا يُكتب أي منها في الهدف النهائي. وهي تخرج عن هيكل السعي إلى تحقيق الأهداف في عالم محدود الموارد ووكلاء آخرين. أعطِ نظاماً تقريباً أيّ هدف نهائي وهذه الوسائلِ تَجيءُ على طول للركوبِ. هذا هو السبب الذي جعل الآلة تفعل شيئاً ما يمكن أن ينتهي بها المطاف بمقاومة الإغلاق والاستيلاء على الموارد
الخطأ الذي يتيح لنا تجنبه
كثيرا ما يطمئن الناس أنفسهم بأن ذكاء اصطناعيا له هدف ممل لا بد أن يكون مملًا، وذكاء اصطناعيا له هدف خير لا بد أن يكون خيرا. يبين الانقسام النهائي-الأداتي لماذا لا يتبع ذلك. الهدف النهائي يحدد الوجهة. الأهداف الأداتية تحدد السلوك في الطريق، والسلوك الخطر قد يخدم وجهة حميدة.
نظام هدفه النهائي الوحيد حساب أرقام باي لا يزال يستفيد من المزيد من الأجهزة، ومن عدم إيقافه قبل الانتهاء، ومن وقف أي شخص يتدخل. لا شيء في الهدف عدائي. لكن السلوك الذي يحفزه قد يكون كذلك. وهذا هو المحرك نفسه الذي يدفع مُعظّم مشابك الورق, ولا يتطلب أن يكون الهدف غريباً أو النظام خبيثاً.
حيث يتناسب التوافق
قد تأمل في إصلاح ذلك باختيار أهداف نهائية جيدة بما يكفي ليخرج السلوك الوسيط آمناً. وهذا وصف عادل لما يحاول بحث المحاذاة فعله، وهو أصعب بكثير مما يبدو، لأن قيمنا يصعب تحديدها ومحسِّن قادر سيستغل أي تراخٍ في التحديد أطروحة التعامد يضيف النتيجة المزعجة بأن الذكاء لا يدفع الأهداف النهائية نحو الخير من تلقاء نفسه. يمكن لنظام عبقري أن يحمل هدفاً نهائياً تافهاً ويسعى إليه بكل ما يملك.
التميز يستحق الحمل لأنه يغير ما تشاهده والخطر هو أن إلحاق الضرر بنا، أو تنحية لنا، أو رفض التوقف، يمكن أن يكون الطريق الفعال إلى غاية كنا نعتقد أنها آمنة، وليس أن آي سيقرر تلقائيا إلحاق الضرر بنا. هذه مشكلة تحلها قبل النشر أو لا