احتمالية الهلاك حاسبة
احتمالية الهلاك هو احتمال أن يؤدي الذكاء الاصطناعي المتقدم إلى كارثة للبشرية. وليس رقما واحدا. خمسة أحكام تدخل فيه. حرّك المزلقات لتحدد رأيك في كل منها، ثم قارن النتيجة بباحثين يضعون الخطر عند النصف أو أعلى. موقف المؤسسة بسيط: يجب ألا يُبنى الذكاء الفائق الاصطناعي.
هذا التقدير ليس تنبؤا بشيء خارج متناولنا. لا يُبنى الذكاء الفائق إلا إذا واصلنا بناءه. أوقف ذلك المشروع وينخفض احتمالية الهلاك معه.
كل منزلقة تمثل جزءًا من الحكم. ويُبلغ الحاسبة المتوسط الهندسي للنسب المئوية الخمس.
احتمالية الهلاك = (P(built) × P(no control) × P(gets power) × P(catastrophe) × P(no recovery))1/5
اضبط الخمسة جميعاً على ٨٠ والنتيجة ٨٠. أنزل شريطاً واحداً فتنخفض النتيجة معه. أما منتج من خمس خطوات فيرسل المدخلات نفسها نحو الصفر: ٥٠٪ على كل خطوة تظهر كـ٣٪. هكذا لا يذكر هينتون أو تيغمارك أو يودكوفسكي رقماً. المتوسط يبقيك على مقياسهم.
استخدم تقرير جو كارلسميث لعام 2021 منتجًا حقيقيًا للمقدمات، ولهذا السبب كان رقمه المبكر قريبًا من 10% حتى مع الشروط الجادة. تعامل مع هذا الإخراج كمساعدة في التفكير.
- يان لوكون
ميتا؛ بيانات عامة<1% - الباحث المتوسط في تعلم الآلة
استطلاع تأثيرات الذكاء الاصطناعي لأكثر من 2700 باحثاً، 2023~5% - Joe Carlsmith
تقرير Open Philanthropy، 2021 (تمت مراجعته لاحقاً صعوداً)~10% - بول كريستيانو
باحث المحاذاة؛ تقديرات عامة~20% - جيفري هينتون
حائز على جائزة نوبل؛ مقابلات، 2023-2025 (نطاق يصل إلى حوالي 50%)~50% - Daniel Kokotajlo
سابق في OpenAI؛ مقابلة مع نيويورك تايمز، 2024~70% - دان هندريكس
Center for AI Safety; بيان عام، 2023>80% - Andrew Critch
UC Berkeley CHAI؛ تقديرات عامة، 2024~85% - ماكس تيجمارك
MIT; Future of Life Institute; التقديرات العامة>90% - Connor Leahy
تخمين؛ تقديرات عامة90%+ - إليعزر يودكوفسكي
MIRI; إذا بناه أحد، مات الجميع>95% - Nate Soares
رئيس MIRI؛ مؤلف مشارك مع يودكوفسكي>95% - Roman Yampolskiy
University of Louisville؛ أبحاث سلامة الذكاء الاصطناعي~99.9%