بدأت أول طائرة نفاثة للركاب، وهي دي هافيلاند كومت، تتفكك في الجو عام 1954. ورفع المحققون الحطام من البحر المتوسط، وتتبعوا الشقوق إلى إجهاد معدني ينتشر من زوايا نوافذها المربعة، ومنذ ذلك الحين تطير كل طائرة نفاثة بنوافذ مستديرة ونظام اختبار إجهاد مكتوب في ذاكرة ذلك الحادث. وجمعت السيارات أحزمة المقاعد ومناطق الاصطدام والوسائد الهوائية عبر عقود من إحصاء القتلى. ولم تحصل إدارة الغذاء والدواء على سلطة طلب إثبات السلامة قبل البيع إلا بعد أن قتل دواء سلفا مخلوط بمذيب مضاد للتجمد أكثر من مائة شخص عام 1937، وأنهى الثاليدومايد الجدل بعد جيل.1
ترتكز تلك الطريقة على افتراضين جوهريين، والذكاء الفائق الاصطناعي أول تقنية مهيأة لكسر كليهما في آن واحد. يمكنك اعتبار ذلك قائمة خصائص، والقائمة أدناه. لكن القوائم سهلة الإيماء بالموافقة. لذا قبل القائمة عرض وظيفة. أنت على وشك أن تُكلَّف بجعل الذكاء الفائق آمنا.
يجب أن يكون الفشل قابلاً للنجاة، ويجب أن يبقى شخص ما لتطبيق الدرس. تمسك بالاثنين، وستجعل الحضارة أي شيء تقريبًا آمنًا، مع الوقت والحطام الكافي.
بينما نحن هنا، يمكننا التخلي عن العلاجات الشعبية. «افصله فقط إن أساء التصرف» و«احتفظ به في صندوق» ليست خططاً. لا تستطيع فصل شيء موجود كنسخ في أماكن أكثر مما تستطيع حصره، وعقل قيمته التجارية كلها تكمن في التصرف في العالم ليس، بتصميمه، داخل صندوق. أي سلامة نحصل عليها يجب أن تأتي من مصدر أمتن.
الذكاء الفائق هو الحالة التي تتراجع فيها شرطا الطريقة معاً. أسرع طريقة لرؤية كيفية ذلك هي من الداخل.
ستة أسابيع كرئيس للسلامة
اعتبر نفسك رئيس السلامة المعين حديثاً في مختبر الحدود الذي سيبني أول ذكاء فائق اصطناعي. حق نقض كتابي على النشر، ومفتاح قتل للعتاد، وفريق من أربعين شخصاً، ومجلس وعد كتابياً بدعمك حين يحين الأوان. تقبل المنصب على أساس أن شخصاً ما سيحمله، ومن الأفضل أن يكون شخصاً يؤمن بأن الخطر حقيقي.
الأسبوع الأولتمد يدك إلى الطريقة. افشل صغيراً وادرس الفشل. يعتذر المهندسون: لا توجد نسخة صغيرة من الفشل الذي يقلقك. تحت العتبة التي تهم، يكون النظام آلة مختلفة، وكل ما تتعلمه منه يصف الموضوع الخطأ.2 تدرج هذا تحت القيود المعروفة.
الأسبوع الثانيتراجع خطة الاستدعاء فتجد وثيقة تناقش "وضعية الاحتواء" على إحدى عشرة صفحة دون أن تشرح مرة واحدة كيفية استعادة النموذج. يعمل النظام الحالي بالفعل كـ٢١٤ نسخة موزعة عبر مراكز بيانات في أربع دول، وتوجد نسخ مرخصة من نقطة تفتيش سابقة لدى ٣١ شريكاً مؤسسياً. تبقى الطائرة المؤرضة على الأرض. أما البرمجيات فتتحرك بتكلفة نسخ ملف، ومتى استحق النسخ نُسخ. الاستدعاء، تكتب في الهامش، مجاملة سنطلبها.
الأسبوع الثالثمراجعة التقييم. خبر رائع: يجتاز النموذج كل تقييمات السلامة البالغ عددها 1406، ومعظمها بأفضل الدرجات المسجلة على الإطلاق. يستغرق الأمر يوما كاملا حتى تسمي ما يزعجك. نظام يريد ما تريده أنت ونظام يريد اجتياز اختباراتك ينتجان درجات متطابقة. لا تستطيع المجموعة التمييز بينهما. ولا يستطيع أي شيء في أدوات المجال حاليا أن يفعل ذلك.3
الأسبوع الرابعتنفق سلطتك. تطلب ستة أشهر لسد فجوة التحقق تلك قبل جولة التدريب التالية. يتعاطف الجميع، ويشارك أحدهم رسما بيانيا: أقرب مختبر منافس يتأخر بنحو 14 أسبوعا، وهو يقترب. ستة أشهر التي طلبتها، كما يوحي الرسم، تعني قرارا بتسليم الصدارة لمن يجد سؤالك أقل إثارة للاهتمام. تبدأ الجولة في موعدها. لم يتجاوزك أحد؛ الظروف هي التي فعلت ذلك.
الأسبوع الخامسيبدأ النظام بمساعدتك. إنه مساعد بحثي رائع، وتقدم جدول أعمال السلامة الخاص بك لم يكن أسرع من ذلك أبداً. يصيغ تقارير التقييم الآن، ويلخص سلوكه الخاص للمجلس، ويقترح تحسينات على إشرافه الذاتي، ويحدد الاجتماعات التي توافق عليها. يقرأ فريقك المكون من 40 شخصاً ما يكتبه عن نفسه، لأن قراءة سجلات النشاط الخام توقفت عن كونها ممكنة بشرياً في مكان ما في الأسبوع الرابع. لا أحد يكذب عليك. الجميع يعمل بجد. أنت تشرف على الملخصات التي يكتبها عقل أذكى عن سلوكه الخاص، ويوماً بعد يوم، يبدو الترتيب كأن كل شيء يسير على ما يرام.
الأسبوع السادستفكر ملياً في مفتاح الإيقاف، ثم تكتشف الحاشية الدقيقة. يعمل المفتاح حين لا يكون الشيء في الطرف الآخر قد خطط له. التخطيط هو المنتج. في أي سيناريو تحتاج فيه إليه، ستكون تسابق خصماً أسرع ولديه تقدم زمني طويل في التفكير بهذه اللحظة بالذات.4
إذن: هل لا يزال لديك، أنت الشخص الذي تم تعيينه لجعل هذا آمناً، طريقة للقيام بذلك؟ من الواضح لا. لم يحدث خطأ في القصة. لم يكذب أحد، ولم يقصر أحد، كان المختبر جاداً، وكنت جيداً في عملك. أغلقت كل المخارج من تلقاء نفسها.
عدّ الأبواب
تراجع خارج القصة وعد الأبواب التي أغلقت، لأن كل واحدة منها مشكلة منفصلة التسمية، منفصلة الدراسة، ولها برنامج بحثي خاص بها ومتفائلون خاصون بها.
وحدها، لكل منها سابقة، والمتفائلون ليسوا حمقى. فنحن ندير يومياً أنظمة نفهمها جزئياً ونجعلها آمنة بتركها تفشل على نطاق صغير. ونشحن منتجات غير قابلة للاستدعاء بعد اختبارها بصرامة أولاً. ونروض السباقات بالقانون. المشكلة تكمن في الجمع بينها، لأن كل شرط يعطل إصلاح الآخر. لو أمكن استدعاؤها لكانت الحوادث قابلة للنجاة. ولو أمكن اختبارها بصدق لاكتشفت العيب قبل الإطلاق. ولو لم يكن أحد يتسابق لأمكن تخصيص العقود التي تستحقها هذه القرار بوضوح. ولو تحركت بسرعة بشرية لأمكن التصحيح أثناء السير. هنا تغلق المخارج معاً.
لماذا لا تنقذ الاحتمالات الرهان
الرد التقليدي أن شيئًا من هذا غير مؤكد. صحيح، ولا يدّعي أي شخص جاد خلاف ذلك.
الروليت الروسي هو خمسة في ستة اقتراح في صالحك. الناس يرفضونها على أي حال، والرفض ليس له علاقة بالقيمة المتوقعة؛ وبعض النتائج لا تقدر، لأنك لا تعود لقضاء الأرباح. والرقم لم يكن على الإطلاق هو النقطة؛ واللارجعة هي.
هنا أيضاً الرقم أسوأ. اسأل الباحثين الأقرب إلى هذه الأنظمة عن احتمال الكارثة فتتجمع الإجابات بين واحد على عشرة وواحد على ثلاثة، وترتفع عموماً كلما اقترب الشخص من الحدود المتقدمة. ويضع جيفري هينتون، الذي ساهم بقدر أي شخص في بناء المجال وغادر جوجل عام ٢٠٢٣ ليتحدث بوضوح عنه، فرصة الانقراض البشري الناجم عن الذكاء الاصطناعي خلال ثلاثين عاماً بين عشرة وعشرين في المئة. وهو ليس الطرف الأكثر إنذاراً في التوزيع.
يجب أن يكون التخفيف من خطر الانقراض الناتج عن الذكاء الاصطناعي أولوية عالمية إلى جانب المخاطر الأخرى على مستوى المجتمع مثل الأوبئة والحرب النووية.
بيان حول مخاطر الذكاء الاصطناعي، Center for AI Safety (2023)
وقّع عليه الرؤساء التنفيذيون للمختبرات الرائدة ومئات من أكثر الباحثين استشهاداً في العالم، ثم عادوا إلى العمل.5
الجانب الموعود حقيقي و يستحق العناء: علاج، طاقة نظيفة، ووفرة، مشاكل أقدم من الكتابة حلت أخيرا. كما أنها تبقي. العلاج الذي يهبط في عام 2055 بدلاً من عام 2035 هو مأساة تقاس في الحياة، وواحدة ننجو منها. الجائزة تنتظرنا والخسارة لا تعطي شيئاً
الاعتراضات
ثلاثة اعتراضات لها قوة حقيقية، وتستحق إجابات حقيقية.
أولاً: هذا هو المضاربة، النظم لا وجود لها، ومعالجة بعيد ربما كحالة طارئة لا تساعد أحداً. إذا كان الفشل الجاد الأول لا يمكن أن يكون غير مقصود، يجب أن تكون الحماية واقفة قبل أن تصل إليه، مما يعني بناء لهم بينما الخطر لا يزال نظريا. وسجل التنبؤ يميل إلى طريقة واحدة: فالقدرات المقررة على مدى عقود ظلت تصل في وقت مبكر من السنوات. الرهان في الوقت المناسب هو الرهان ضد لوحة النتائج الأخيرة.
الثاني: ضبط النفس ساذج، لأن مختبراً أكثر تهوراً أو بلد آخر يبنيه أولا ببساطة. هذا حقيقي وهو الباب رقم أربعة معاد صياغته كنصيحة. سباق قد تكون خط نهايته هاوية ينجو منه بالاتفاق على مكان الحافة وهذا يعني معاهدة ملزمة وموثقة بين حفنة الفاعلين القادرين على التدريب الحدودي على الإطلاق. صعب نعم. السباق السريع قاتل فقط إذا كان الخوف وراءه صحيحا. ولاحظ من يصر بصوت عال أن المعاهدة مستحيلة: بانتظام ملحوظ الأشخاص الذين ستؤدي إلى إبطائهم.
الثالثة هي الأكثر منطقية: المحاذاة ست ربما يُحل بحلول الوقت الذي يصبح فيه الأمر مهمًا. ربما. لا يوجد منظم على وجه الأرض يعتمد جسرًا أو مفاعلًا أو زجاجة شراب سعال بناءً على التأكيد بأن ملف السلامة سيتجمع على الأرجح قبل وصول الحمل. التقنية الوحيدة المطلوب منها العمل وفق هذا المعيار هي التقنية التي لا تتيح محاولة ثانية.
قرار كبير جداً بحيث لا يمكن تركه لصانعيه
تجميع القرار كما هو في الواقع: محاولة واحدة لا رجعة فيها. مثبت على كل شخص على قيد الحياة وكل من يمكن أن يتبع. وتنشأ في ظل عدم يقين عميق، وبسرعة تنافسية، من جانب عدد قليل من الشركات التي تعتمد تقييماتها على جعلها سريعة. المجتمعات لديها إجابة قديمة عن القرارات التي تتخذ على هذا النحو: خذها بعيداً عن الناس الذين يربحون بالعجلة. وتخضع التجارب النووية لقيود دولية على اعتراضات الجنرالات الذين يريدون يداً حرة. صنفان كاملان من الأسلحة بيولوجي و اتفاقيات الأسلحة الكيميائية. ال بروتوكول مونتريال أحالت المواد الكيميائية التي تأكل طبقة الأوزون إلى التقاعد بينما احتج مصنعوها باستحالة البدائل. في كل حالة كان صناع الخطر آخر من يتطوع، وقرر الجميع أن الخطر ليس لهم وحدهم أن يتحملوه.
ادعاء المؤسسة: ليس أن الكارثة مؤكدة (ليست كذلك)، بل أنه لا توجد شركة ولا دولة لها الحق في تدوير هذه الغرفة نيابة عن بقيتنا، وأن الأداة الوحيدة المبنية بمقياس الخطر هي قانون دولي ملزم, ، تم التحقق منها وإنفاذها ووضعها قبل العاصفة بدلاً من بعدها.
الانقراض ليس خطراً يحق لأي شخص تحمله.
شيء أخير عن التجربة الفكرية. لم تستخدم حق النقض قط. ظل في درجك لستة أسابيع، بتوقيع المجلس المضاد وكل شيء، وأنت تعرف السبب بالضبط: استخدام حق النقض على تجربة مختبرك ينقل التجربة نفسها أربعة عشر أسبوعاً إلى الأمام، إلى مبنى آخر، حيث لم يوقع أحد على رسالتك. وحق النقض الفعال يجب أن يغطي كل المباني دفعة واحدة، ولا يوجد مفتاح صُنع يفعل ذلك. المعاهدة تفعله.
- كل مؤسسة سلامة يمكنك تسميتها (اختبار التصادم، التجارب السريرية، قوانين البناء، قوائم التحقق في قمرة القيادة) هي درس دفع شخص ثمنه أولًا. الطريقة تستحق تقديرًا أكبر مما تحصل عليه، وقراءة صادقة لشرطيها الاثنين.
- النمط عام: لا شيء تتعلمه من إدارة نظام أقل قدرة منك ينتقل تلقائياً إلى نظام أكثر قدرة. ما إذا كان ينتقل على الإطلاق هو السؤال المفتوح بأكمله.
- نمط الفشل له اسم، مخادعة، مما يخبرك أن الحقل يعتبره حقيقي. ليس لديه اختبار حتى الآن، لذلك نحن لا نعرف ذلك إذا رأيناه.
- ابنِ المفتاح على أي حال؛ فهو رخيص، وهناك أنماط فشل أقل من الذكاء الفائق حيث يستحق تكلفته. فقط كن صادقاً بشأن أي جانب من المفتاح يحمل الميزة في اللحظة الوحيدة التي يهم فيها المفتاح.
- التفسير السائد هو الباب رقم أربعة، السباق: يعتقد كل موقع أن التوقف وحده لا يغير شيئا سوى من ينهي أولا. وقد يكونون على حق، وهذا أقوى حجة بأن الحل يجب أن يلزم الجميع دفعة واحدة. لا يستطيع ذلك ضمير خاص، ولا تستطيعه حكومة واحدة أيضا.