لا تبنِ الذكاء الفائق أبدًا

الحركة الآمنة هي الرفض. "سنصلحه لاحقًا" تفشل بمجرد أن يتفوق النظام على من يمسكون بالأدوات.

لا يوجد تصحيح بعد الحقيقة. عقل أذكى من كل البشر الأحياء، يعمل بسرعة الآلة، لا ينتظر اجتماعنا التالي.

اللاعكسية

معظم التكنولوجيات تفشل ببراعة بمجرد أن ينسخ الإفراط نفسه أو يخفي نواياه أو يجعل نفسه مفيداً جداً لإيقافه أو التراجع أو التوقف عن العمل

الأهداف ≠ اللطف

لا يجعل الذكاء الخارق النظام لطيفاً. عند البشر، نشأت المهارة والعناية معاً. أما المحسن المدرب فلا يرث شيئاً من هذا التاريخ. القدرة دون قيم مشتركة هي قوة بلا قيد.

الضغط الوسيلي

لأي هدف تقريباً، يساعد البقاء قيد التشغيل وجمع الموارد. النظام الذي يسعى إلى هدف سيعامل الإغلاق كعقبة. ذلك مجرد تحسين عادي، لا مونولوج شرير.

لا محاولة ثانية

تعلم الطيران من الحوادث. تعلمت الأدوية من التجارب. إذا أنهى الذكاء الفائق غير المتحكم فيه الأول التجربة، فلن نحصل على نموذج أولي ثانٍ.

ما لا نقوله

لسنا ضد الكهرباء أو البرمجيات أو الذكاء الاصطناعي المفيد. نعارض بناء نوع خلف على قصد بينما مشكلة التحكم غير محلولة. تأتي الصحة والطاقة والاكتشاف من أدوات ضيقة نعرف بالفعل كيف نبنيها وننظمها.

القضية الكاملة، الاعتراضات، ومسار السياسة.

nakadafoundation.org/blog/never-build-superintelligence/