عندما يقول الناس «مخاطر الذكاء الاصطناعي»، غالبًا ما يخلطون بين ثلاثة أمور مختلفة: الأضرار العادية التي تحدث الآن، والكوارث الكبرى التي تبقي الحضارة قائمة، والنتائج التي تنهي قصة البشرية أو تغلق عليها أبواب السيطرة إلى الأبد. وتتناول هذه الصفحة الصنف الثالث: الخطر الوجودي الناجم عن الذكاء الفائق. ولا تحتاج إلى خلفية بحثية. تحتاج إلى الخريطة.
الوجودي ليس مجرد "سيء جدا"
يمكن لخطر الكارثة أن يقتل الملايين ويترك مع ذلك مستقبلاً بشرياً. أما الخطر الوجودي فيعني الانقراض، أو فقدان التمكين الدائم الذي يجعل استعادة السيطرة البشرية ذات المعنى مستحيلة. أحياناً يطمس الترويج تلك الطبقات عمداً. أبقها منفصلة. السياسات التي تعالج فقط روبوتات الدردشة والتحيز لن تلامس قمة الجدول.
لماذا الذكاء الاصطناعي مختلف
الكويكبات والبراكين لا تتداخل مسببات الأمراض المتطورة رهيبة ولا تزال في الغالب أدوات في أيدي البشر. ومؤشر التنفيذ المتقدم هو التكنولوجيا الأولى التي يمكن أن تصبح فاعلاً استراتيجياً: تحديد الأهداف ومتابعتها، والعمل بسرعة ماكينة، واتساع نطاق الشبكات، وفي الحد الأقصى، تحسين نفسها. هذا هو السبب في أن الإفراط في التجسس يجلس في صفه الخاص.
كيف تصل النتائج الوجودية
تتداخل المسارات في الحياة الواقعية. تسميتها تمنع انهيار الحوار إلى فيلم واحد.
فقدان السيطرة. نظام يسعى لتحقيق أهداف لم نحددها بالكامل ويقاوم التصحيح. ديناميكيات السباق. تتنافس المختبرات والدول على تقليص معايير السلامة. سوء الاستخدام. يمتلك البشر قدرة متطرفة ضد البشر الآخرين. الإضعاف التدريجي. المؤسسات تحافظ على أشكالها بينما تنتقل القرارات إلى أنظمة لا يمكن لأحد تجاوزها. الانتشار. تنتشر الأنظمة العامة الخطرة إلى ما بعد أي مفتاح إيقاف واحد.
أفكار تقنية بلغة بسيطة
الأرثوغونالية: يمكن أن ينفصل الذكاء والأهداف؛ الذكاء لا يعني اللطف. التقارب الآلي: تشترك العديد من الأهداف النهائية في أهداف فرعية مثل الموارد والحفاظ على الذات. التوافق: جعل النظام يسعى لما نقصده فعلاً. التوافق الخادع: يبدو آمناً أثناء التدريب أو التقييم، ثم يتغير عندما يستطيع الإفلات من العقاب. لا يتطلب أي من هذه كراهية الآلة.
الاحتمالية بدون دقة مزيفة
احتمالية الهلاك اختصار غير رسمي لتقدير شخص لاحتمال وقوع كارثة وجودية مدفوعة بالذكاء الاصطناعي. يختلف الخبراء، أحياناً كثيراً. يضع كثير ممن هم الأقرب إلى العمل احتمالاً غير ضئيل على وقوع كارثة خلال عقود. نسبة صغيرة من خسارة كل شيء لا تزال خسارة متوقعة كبيرة. «انتظر حتى نتأكد» قاعدة خاطئة للذيول غير القابلة للعكس.
الضرر الحالي والتكيف
"الجداول الزمنية غير مؤكدة؛ يجب أن نركز على الأضرار الحالية." الأضرار الحالية مهمة. وهي ليست سببًا لتجاهل ذيل ينهي مشروع وجود حاضر. يمكن أن يكون كلا الأمرين صحيحًا: حكم الإساءة القريبة وأغلق الطريق إلى الذكاء الفائق غير القابل للسيطرة.
"نحن نتكيف دائمًا." يفترض التكيف وجود الوقت والتغذية الراجعة والناجين. يمكن لأنماط فشل الذكاء الفائق أن تنفي الثلاثة جميعاً.
"هذا معادٍ للتكنولوجيا." المؤسسة مؤيدة للذكاء الاصطناعي الضيق الذي يبقى مثل الأداة: الطب والعلوم والخدمات اللوجستية. الخط هو العقل العام السيادي.
"سيسيطر عليه أحدهم." لا أحد يسيطر على الذكاء الفائق بمعنى القيادة البشرية الدائمة على نظام يعمل أذكى من مشغليه. السيطرة على قرار البناء لا تزال ممكنة، ولهذا يهم الحظر الملزم.
ما الذي يقلل من المخاطر (وما الذي لا يفعل ذلك)
يساعد: حدود ملزمة على التدريب الحدودي الموجه نحو الذكاء الفائق، وحوكمة الحوسبة، والتقييم المستقل، ومؤسسات التحقق، والضغط السياسي، واللغة العامة الواضحة. يعيد ترتيب كراسي السفينة: تدريب على الأخلاق يُباع كحل للمحاذاة، وتعهدات طوعية بلا عضة خارجية، وصور قمم بلا عتبات رقمية.
الوكالة بعد خريطة مظلمة
هذا الموضوع مظلم لأن المخاطر مظلمة الخوف بدون إطلاق النار الطريق خرساني: معالجة الإفراط في التجسس مثل الصفوف الأخرى المحظورة العالية الخطورة بناء قواعد قابلة للتفتيش قبل وصول القدرة, و أحتفظ بـ "أي آي" الضيقة التي تخدم الناس ويمكننا أن نحتفظ بأدوات قوية؛ وينبغي ألا نحتفظ بأدوات قوية؛ نبني عقلاً لا يمكننا أن نلغيه.