الحركة الآمنة هي الرفض. "سنصلحه لاحقًا" تفشل بمجرد أن يتفوق النظام على من يمسكون بالأدوات.
معظم التكنولوجيات تفشل ببراعة بمجرد أن ينسخ الإفراط نفسه أو يخفي نواياه أو يجعل نفسه مفيداً جداً لإيقافه أو التراجع أو التوقف عن العمل
لا يجعل الذكاء الخارق النظام لطيفاً. عند البشر، نشأت المهارة والعناية معاً. أما المحسن المدرب فلا يرث شيئاً من هذا التاريخ. القدرة دون قيم مشتركة هي قوة بلا قيد.
لأي هدف تقريباً، يساعد البقاء قيد التشغيل وجمع الموارد. النظام الذي يسعى إلى هدف سيعامل الإغلاق كعقبة. ذلك مجرد تحسين عادي، لا مونولوج شرير.
تعلم الطيران من الحوادث. تعلمت الأدوية من التجارب. إذا أنهى الذكاء الفائق غير المتحكم فيه الأول التجربة، فلن نحصل على نموذج أولي ثانٍ.
القضية الكاملة، الاعتراضات، ومسار السياسة.
nakadafoundation.org/blog/never-build-superintelligence/