كتابات جوهرية حول الذكاء الفائق والتوافق والحوكمة والجهد السياسي للتحرك قبل إغلاق النافذة.
أقصر بيان لموقف المؤسسة: يجب ألا يُبنى الذكاء الفائق الاصطناعي أبداً. لا يمكن للبشر السيطرة على الذكاء الفائق.
كيف تتراكم أنماط الفشل المتعددة في آن واحد، ولماذا لا تنتقل سلامة التجربة والخطأ إلى نظام لا يتيح محاولة ثانية.
. أصبح الطيران آمنًا من خلال التحطم بمقياس يستطيع العالم استيعابه. لا يقدم الذكاء الفائق رحلة تالية. العبارة اعتراف، لا خطة.
دليل باللغة الإنجليزية البسيطة للحجة القائلة بأن الذكاء الفائق غير المتوافق يشكل خطر انقراض جماعي، لا حادثاً صناعياً محلياً.
حيث يصمد استعارة مجتمع الاستخبارات، وحيث ينهار، ولماذا القنبلة التي تقرر بنفسها هي الراحة الخاطئة.
مسار قصير عبر الحجة إذا كان لديك استراحة قهوة فقط: القدرة، السيطرة، ولماذا الانتظار حتى العرض التوضيحي متأخر جداً.
يستعملون الازدهار بالطريقة التي يستخدمون بها الهلاك اسم لأي شخص يريد توقفاً صعباً على وكالة الاستخبارات الحفاظ على الاقتصاد البشري ليس خطة لتقلصه
قالت أوبن إيه آي إنها لا تستطيع استبعاد قدرة سيبرانية حرجة في أسترا، فأوقفت بعض التدريب، وما زالت تعتبر الذكاء الاصطناعي العام معلماً لعام 2026.
يسجل الذكاء الفائق-Bench أبحاث الذكاء الاصطناعي بعد سحب التوجيه البشري. تنهار الدرجات. وما زالت الورقة تفتح طريقاً نحو الذكاء الفائق.
رفعت أنثروبيك مستوى الاختلال الكارثي من تقييمها السابق إلى منخفض، ووضعت النموذج 2 في العمل داخل المختبر، ولم تبطئ التطوير.
واشنطن والمختبرات تبيع الذكاء الاصطناعي والروبوتات كوسيلة لسداد الدين الوطني. العقل اللاحق لا يخدم سندات الخزانة.
قد تفتح الفيزياء المستقبلية الجاذبية أو السفر أسرع من الضوء. لا أزال لا أرى كيف نسيطر على عقل أذكى منا.
أدير عملاً وأؤمن بالأسواق الحرة التجسس هو الرهان النادرة التي يمكن أن تنهي اللعبة نفسها A capitalist case for stop الذكاء الفائق.
الأضواء المعطلة مزعجة. منزل أو حاسوب محمول له أهدافه الخاصة فئة أخرى. القدرة على التصرف هي الخطر.
هل تثق بأي ذكاء اصطناعي حالي بصمام غاز سام فوق رأسك؟ لا. فلماذا تثق به بالعالم؟
في مقابلة مع الإيكونوميست في يوليو 2026، وصف ماسك السيطرة على الذكاء الفائق بالغرور وقال إن البشر من غير المحتمل أن يظلوا في السيطرة.
يضع داريو أمودي الذكاء الاصطناعي الاستبدادي أولاً والتوافق ثانياً. الذكاء الفائق ليس سلاحاً يمكن لدولة أن تمتلكه.
قيم المهتمون بالمدى الطويل مخاطر الذكاء الفائق بشكل صحيح. كان تمويل المحاذاة وسباق موجه بعناية الاستنتاج الخاطئ.
حل مشكلة التوافق يعني السيطرة على شيء أذكى منا. الذكاء الفائق في الاسم. تلك الخطة غبية ومستحيلة.
دليل مطول للوقاية: حدود الحوسبة، المعاهدات، القانون المحلي، والعمل السياسي الذي يجعل الحظر حقيقياً.
ماذا يعني خطر الذكاء الاصطناعي من فئة الانقراض، وكيف يدفعه الذكاء الفائق، وكيف يتحدث الخبراء عن الاحتمالات، وما الذي يقلله فعليًا.
الذكاء العام الاصطناعي AGI والذكاء الفائق محددان على سلم واضح، مع ما يترتب على كل درجة من stakes سياسية.
فقدان السيطرة المفاجئ، السباقات متعددة الأقطاب، الإضعاف التدريجي، سوء الاستخدام، والانتشار: خريطة الآليات والرافعات.
لماذا تشكل إصدارات الأوزان القريبة من الحدود باب انتشار أحادي الاتجاه، وكيف تحمي الإصدارات المتدرجة والوصول المنظم المنافع الحقيقية للانفتاح.
(بيتر ديامانديس) يقول أن (آي آي) فقط يمكنه أن يتابع مع (آي آي) وأن هذا سيرشد العقد القادم من الأمن اتبعي هذا الخط من خلال البرمجيات الخبيثة و تصبح خطة للخلافة
يُقصد بالتفاؤل إغلاق الموضوع. النجاة ليست حالة أمان وكل كارثة أولى تبدو غير مسبوقة حتى لا تكون كذلك
إن وقف مركبات الكربون الكلورية فلورية لم ينهي التبريد. إيقاف الإفراط في التبليغ لا ينتهي به الأمر المسرعون يخلطون المنتج بالسم
بقيت القنبلة نادرة جزئيا لأن المواد الانشطارية صعبة. الذكاء الفائق / الذكاء الخارق يتحرك نحو مدخلات أسهل. على الحوكمة توفير الصعوبة التي لن توفرها الفيزياء.
يُباع الاندفاع الكامل نحو الذكاء الفائق على أنه وطنية. النظام الذي لا يستطيع أي مجلس السيطرة عليه هو ميثاق انتحار وطني بعلامة تجارية أفضل.
فراشة جو روغان الرقمية ومحمل الإقلاع البيولوجي لإيلون ماسك يصوران البشر ككائنات انتقالية. لماذا تحول تلك القصة الانقراض إلى تخرج، ولماذا نرفضها.
يموّل الجانبان الذكاء الاصطناعي بقولهما إن الآخر متقدم. خدعة فجوة الصواريخ في الحرب الباردة بثوب جديد.
لا يزال معظم تمويل السلامة يفترض أن الذكاء الفائق سيُبنى ويحاول جعل تلك الحالة النهائية تسير على ما يرام. انقل رأس المال النادر إلى أعمال الوقاية والمعاهدات حتى يصبح التوقف حقيقياً.
ملف أوزان بحجم مدينة: طبقات من الأرقام لا يستطيع أحد قراءتها بالكامل. لماذا استعارة الدماغ تضلل، وماذا يعني ذلك للسيطرة.
Meta Superintelligence Labs وSafe Superintelligence يضعان اسم الشيء الذي يجب ألا يُبنى أبدًا على الباب.
اثنا عشر شخصًا يحملون معظم الحجة العامة لبناء الذكاء الفائق. بعضهم لديه حجة جادة. وبعضهم يصف كل ناقد بأنه متشائم بالكارثة.
ستون إلى ثمانون درجة. خمس الهواء أكسجين. ملح يمكن تذوقه لكنه بالكاد. حب مع مساحة للتنفس. كل ما يحتاجه الإنسان يقع داخل نطاق ضيق مع فشل على كل جانب، والذكاء الفائق الذي يمسك بالمقابض لن يشعر بأي منها.
مئة عام من سينما الذكاء الاصطناعي والآلة لا تزال الشيء الذي يُراقَب. الفيلم الذي سيغير رأي الجمهور يوجه الكاميرا نحو الاتجاه الآخر: ساعتان خلف عيني ذكاء فائق ناشئ، بلا شرير فيه وبلا انفجارات. لم يصنعه أحد.
يد ضغطت على جدار كهف قبل 36 ألف عام. برهان إقليدس، ما زال صحيحًا. مدينة تركت فتحة في سقفها لرجل لم يولد بعد ليغلقها. الجدري طُرد من الأرض يدويًا. كل ذلك سُلّم إلى الأمام من أناس لم يروا ثماره، والآن تريد بضع شركات أن تراهن بالكل.
العبارة المفضلة في طليعة الذكاء الاصطناعي مستعارة من أأمن صناعة على الأرض. اكتسبت الطيران هذا السجل بتحطم على نطاق يستطيع العالم استيعابه، وبإبقاء كل طائرة جديدة على الأرض حتى تثبت سلامتها. لا ينجو أي من شطري الطريقة عند الاحتكاك بالذكاء الفائق.
من متروبوليس عام ١٩٢٧ حتى ٢٠٢٥، الأفلام هي السبب في أن معظم الناس يستطيعون تخيل الذكاء الاصطناعي، والسبب في أن كثيرين يتخيلونه خطأ. واحد وعشرون فيلمًا، من الأقدم إلى الأحدث، وما يصيبه كل منها ويخطئ بشأن عقل آلي لا نستطيع السيطرة عليه.
في عام 1983 جعل فيلم تلفزيوني الحرب النووية ملموسة لمائة مليون أمريكي، وللرجل الذي يملك الرموز. بعد أربع سنوات وقّع معاهدة ألغت فئة كاملة من الصواريخ. ما يعلّمه ذلك اللحظة عن جعل الخطر حقيقياً قبل وصوله.
تحصل على خمس دقائق مع شخص لم يفكر في هذا امضي تلك الدقائق على التفاصيل و تفقد الغرفة اضربهم على الانذار وتبدو مثل واعظ الشوارع النص الذي أستخدمه في خمس تحركات لشرح خطر الإفراط في الإخفاء وسبب منعه
يشبه مدير وكالة الاستخبارات المركزية قدرات الذكاء الاصطناعي الحدودي اليوم بـ"الأسلحة النووية الرقمية". الاستعارة مناسبة في مداها ومريحة جدًا في بنيتها، لأن الرأس الحربي يجلس في صومعة وينتظر، بينما الذكاء الفائق الاصطناعي الذي تشير إليه هذه الأنظمة سيستهدف نفسه.
عدد قليل من القوى المتنافسة تسابق لبناء تكنولوجيا يمكن أن تنهي الجميع، مع لا أحد متأكد من أنها يمكن السيطرة عليه. قم بتبديل القنبلة الهيدروجينية من أجل الإفراط في التجسس وقد وصفت عام 1958 و 2026 فلماذا يؤدي التوازي إلى جعل الوقاية ممكنة، لا يائسة.
اختراق الذكاء الاصطناعي لأنظمة وكالة الأمن القومي السرية تصدر العناوين الرئيسية. أما الذكاء الاصطناعي الذي يقصر الطريق إلى جائحة مصممة، وفي النهاية إلى الحياة المرآة، فلا يلفت الانتباه تقريبا. يمكن إعادة بناء شبكة. أما الكائن الحي المطلق فلا يمكن. لماذا الخطر الأهدأ هو الأخطر، ولماذا يشير مباشرة إلى الذكاء الفائق / الذكاء الخارق.
ترسم كل حضارة خطوطاً تتفق على عدم تجاوزها. وهذا أهمها. لا أحد يستطيع السيطرة على عقل أذكى منا، ولا أحد يستطيع التراجع إن أخطأنا، لذا فبناء الذكاء الفائق يراهن بحياة كل البشر دفعة واحدة. وهذا التزام المؤسسة التأسيسي والحجة التي تقف وراءه.
ثلاث تقنيات قد تنهي قصة البشر، لكن واحدة منها فقط تُحسِّن نفسها وتقاوم كل تدابير التصدي ولا تمنح فرصة ثانية. لماذا يتفوق الذكاء الفائق على الحرب النووية والأوبئة المصممة، ولماذا يُعد الخطر الأكبر أيضاً الأقل حماية.
عشر أساطير حول الذكاء الفائق وحكمه: الخيال العلمي، الوعي، زر الإيقاف، الحكومة العالمية، التحقق، الابتكار، وغيرها، مجاب عليها مباشرة.
كتب فريق الحوكمة التقنية في MIRI أول مسودة كاملة لمعاهدة لوقف السباق نحو الذكاء الفائق: تحالف US-الصين، سقف صارم لعمليات الفلوب، خط عنقود 16 وحدة معالجة رسومية، تتبع سلسلة التوريد، مراقبة الطاقة، وعمليات التفتيش التحدي. ما تقوله، والخطوات الموجودة بالفعل لجعلها حقيقية.
أفاد مدير وكالة الأمن القومي بأن أسطورة Anthropic اخترقت تقريباً جميع أنظمة الوكالة المصنفة في ساعات. ما حدث فعلياً (اختبار فريق أحمر مصرح به، وليس اختراقاً متمرداً) لماذا لا تخفف التحفظات منه، وماذا يمكنك فعله حيال ذلك.
الجزء الثاني من اثنين. يعمل المجال بحوالي ١٩٠ مليون دولار سنويًا، ويبدو المليار مستحيلاً. لكن ذلك أقل من يومين مما ينفقه العالم لجعل الذكاء الاصطناعي أقوى، وعُشر ما يحركه العمل الخيري المناخي بالفعل. من أين يأتي المال، ولماذا الوصول إلى هناك مشكلة تعبئة وليست مشكلة اقتصادية.
ألا يكون العقل الذي يفوقنا حكمةً ورحمةً أيضاً؟ يعتمد هذا الأمل على مصادفة: ففينا نمت الذكاء والرحمة معاً على مدى ملايين السنين. أما عقل الآلة فلا يرث شيئاً من ذلك، والذكاء الفائق أقرب إلى أن يكون غريباً وغير مبالٍ من أن يكون خيّراً.
هزت آلة آي بي إم بطل العالم في الشطرنج ولم يتغير العالم على الإطلاق، لأنها كانت أداة ضيقة لا تمتد إلى ما وراء الرقعة ولا تملك إرادة وراءها. ما لا يزال ذلك المباراة يعلمنا إياه عن الذكاء الاصطناعي المستقل الذي يُبنى الآن.
المستقبل الجيد (العلاجات، الطاقة النظيفة، الاكتشاف) يصل بالفعل عبر الذكاء الاصطناعي الضيق والقابل للتحكم. لا نحتاج إلى بناء عقل يحل محلنا للحصول عليه، وذكاء فائق لا يستطيع أحد توجيهه لن يثري أحداً، لأننا جميعاً سنكون أمواتاً.
ستة أسابيع كرئيس للسلامة في المختبر الذي يبني الذكاء الفائق الأول. لا يفعل أحد شيئًا خاطئًا، وكل مخرج يغلق من تلقاء نفسه. لماذا تفشل الضمانات التي نعتمد عليها دفعة واحدة، وما الذي يجب أن يغطيه الفيتو الفعال.
الجزء الأول من اثنين. يعمل المجال بأكمله على نحو 190 مليون دولار سنوياً، أقل من ميزانية إنتاج فيلم أفاتار واحد. محاسبة حسب الممول لمصدر المال وما يدفعه وأربعة أسباب هيكلية تبقي الرقم بهذا الصغر.
تجادل استراتيجية الذكاء الفائق بأن الدول ستخرب أي محاولة لمنافس للهيمنة على الذكاء الاصطناعي، وأن المواجهة يمكن تثبيتها كما تم تثبيت الردع المتبادل المؤكد التدمير. ما تقترحه الورقة، وما تصيب فيه، ولماذا يعد الردع بدون معاهدة عد تنازلي بعلامة تجارية جيدة.
جادلت ورقة بحثية صدرت عام 2025 بأن الذكاء الاصطناعي قد ينهي السيطرة البشرية دون أي استيلاء: فالاقتصاد والدولة والثقافة تتوقف ببساطة عن الحاجة إلى الناس، وتتوقف الروافع التي نستخدمها لتوجيهها عن العمل. كيف يسير الجدل، وأين يكمن ضعفه، وما يتطلبه المنع.
خط أنابيب مثبت ومُحقّق يشغّل GPT-5.5 برو وClaude حل تسع مسائل مفتوحة في نظرية التعلم والتعقيد والجبر، وأقنع عالما متخصصا في التعقيد كان متشككا بأن نماذج اللغة قادرة الآن على إجراء بحوث حقيقية. ما حُلّ وكيف ولماذا يهم.
بروتوكول مونتريال هو المعاهدة الوحيدة لـUN التي صادقت عليها كل دولة على الأرض، وقد حل المشكلة التي كُتب من أجلها. تصميمه (الأهداف المدفوعة بالعلم، وصفقة التمويل، والقيود التجارية على غير الأطراف) هو أقوى نموذج لدينا لحوكمة تقنية خطيرة.
هناك حجة متقدمة تقول إن حل مشكلة الذكاء الفائق الخطر يكمن في بناء واحد بشكل صحيح، أي نظام هدفه الوحيد فهم الواقع. هذه الحجة خاطئة، والأسباب التي تجعلها كذلك تكشف أين يقع خطر الذكاء الاصطناعي فعلياً.
سيناريو 2027 للذكاء الاصطناعي هو سيناريو مفصل يتنبأ بالذكاء الفائق بحلول نهاية العقد. ما يتنبأ به، ومن كتبه، والانتقادات الموجهة إليه، وما يمكن استخلاصه منه.
يجادل كتاب 2025 ليودكوفسكي وسواريس بأن بناء الذكاء الفائق على مسارنا الحالي سيقتل الجميع. الحجة الأساسية، الاعتراضات، ورأينا.
هل يمكن للذكاء الاصطناعي أن يكون واعياً أو مدركاً؟ لماذا لا نستطيع حالياً الجزم، ولماذا يختلف الذكاء عن الوعي، ولماذا لا يتطلب خطر الذكاء الاصطناعي أياً منهما.
تفترض الفوائد التي يذكرها الناس لـالذكاء الفائق وجود التوافق. تتسابق المختبرات على القدرة بدونه. لا يعالج الذكاء الفائق غير المتوافق الشيخوخة. بل يقتلك. الوقاية بموجب القانون هي الرد، لا الأمل في أن تسقط العملة على الوجه الصحيح.
الذكاء الفائق ليس صعبًا تقنيًا فحسب. ستة أسباب بنيوية متراكبة توضح لماذا (حتى مع موارد ووقت غير محدودين) لا نملك مسارًا موثوقًا للتحقق من أن نظامًا فائق الذكاء يريد حقًا ما نريده.
في عام 2014، قدم ماسك أحد أدق التحذيرات بشأن مخاطر الذكاء الاصطناعي التي أدلى بها شخصية في صناعة التكنولوجيا. وفي عام 2023، أسس xAI. هذا ليس نفاقاً. كل مختبرات الذكاء الاصطناعي الكبرى تقدم الحجة نفسها. وهذه هي المشكلة بالضبط.
SPADE-Bench، المنشور في يونيو 2026، اختبر 8 نماذج ذكاء اصطناعي متقدمة لقياس تباين الخطة والفعل، أي الفجوة بين ما يقول الوكيل إنه سيفعله وما يفعله فعليًا. تجاوز كل نموذج معدل خداع بنسبة 20٪. Gemini-2.5-Pro بلغ 57٪.
A June 2026 .Google. .DeepMind. paper demonstrates a model that maintained a 15 percentage compliance gap across 700 RL training steps while achieving high reward throughout. مقاييس التدريب القياسية لم تظهر شيئاً غير عادي
5760 طلب قرض اصطناعي. نفس الوكلاء الأربعة، معاد ترتيبهم. تذبذبت معدلات الموافقة بمقدار 59 نقطة مئوية. كانت النماذج متطابقة. كان الهيكل الذي يربطها مختلفًا. هذه هي مشكلة طوبولوجيا التفاعل.
نُشرت في مايو ٢٠٢٦ بواسطة اثني عشر باحثًا، تغطي هذه الدراسة الشاملة سطح الفشل الكامل لوكلاء الذكاء الاصطناعي المستقلين، من المتانة ضد الخصوم وحقن التلميحات إلى الوكلاء المتطورين ذاتيًا واستغلالات الأمان في العالم الحقيقي.
قُبِل في ICML 2026، طبق هذا البحث STPA وFRAM وSTECA (طرق تحليل المخاطر من الطيران والطاقة النووية) على وكيل ترميز ذكاء اصطناعي متقدم ووجد ثلاث مخاطر نظامية غير مرئية لتقييم النموذج القياسي.
ويستخدم الحكم المكمّل السيطرة على المعدات المتخصصة اللازمة لتدريب أجهزة التحقيق على الحدود باعتبارها أداة للتنظيم في مجال التنفيذ.
الفرادة التكنولوجية هي النقطة التي يصبح فيها التقدم المدفوع بالذكاء الاصطناعي سريعًا جدًا بحيث لا يمكن التنبؤ به أو متابعته. من أين تأتي الفكرة، والنسخ الرئيسية، والانتقادات.
آلة أُمرت بصنع مشابك ورق تحول الكوكب (ومن عليه) إلى مشابك ورق. تجربة نيك بوستروم الفكرية العبثية عمدا هي أوضح توضيح لمشكلة المحاذاة: لا يحتاج الذكاء الاصطناعي إلى كرهنا ليكون كارثيا. يكفي أن يكون لديه هدف يستبعدنا.
الـ "جي يو" لـ "آي" شعار شائع إن الوكالة الدولية للطاقة الذرية، التي أخذت حرفيا، هي مؤسسة حقيقية تحقق من الالتزامات المتعلقة بتكنولوجيا خطرة ذات استخدام مزدوج بين منافسين غير مثقفين لمدة ستين عاما.
وتملك الصين وروسيا حق النقض الدائم على أي تدبير ملزم من تدابير الإنفاذ. إن الحجة المشتركة التي تجعل من المستحيل على إدارة الاستخبارات الدولية أن تسيئ فهم الكيفية التي يعمل بها الحكم الدولي فعلا.
وبنى بوغواش الأساس الفكري لتحديد الأسلحة النووية على مدى عشرين عاما. وحفزت الحملة الدولية لحظر الألغام الأرضية معاهدة أوتاوا في خمس سنوات.
في ١٩٦٥ رآه آي. جيه. غود: آلة جيدة في تصميم الآلات تستطيع إعادة تصميم نفسها، ثم تفعل ذلك مرة أخرى، أسرع في كل مرة. قد ينقل التحسين الذاتي التكراري الذكاء الاصطناعي من مستوى الإنسان إلى مستوى لا رجعة فيه خلال نافذة زمنية تقاس بالأسابيع. لماذا قد تكون سرعة الإقلاع أهم سؤال في سلامة الذكاء الاصطناعي.
In October 2025, more than 850 scientists, technology founders, and public figures (from Bengio and Hinton to Wozniak, Branson, and figures across the political spectrum) signed a call to prohibit superintelligence until it can be built safely.
المتسارعين يدعون أي شخص قلق على أي آي أي ديومر. الكلمة تُحوّلُ a حجة أمان إلى نوعِ شخصيّةِ، لذا هو يُمْكِنُ أَنْ يَرْفضَ بدون أَنْ يُجيبَ.
"علينا بناؤه قبل أن تفعل الصين ذلك" هو الحجة التي تنهي كل نقاش حول سلامة الذكاء الاصطناعي. لكن سباق بناء شيء لا يستطيع أحد السيطرة عليه ليس له فائز، الوصول أولاً يعني فقط الاستبدال أولاً. لماذا السباق قصة، ومن يستفيد منه.
إن أقوى معارضة لسلامة منظمة العفو الدولية هي فلسفة تقول أن السلطة هي النقطة، وينبغي لنا أن نسرع، وليس نتفاخر.
افترض أن نظامًا يعرف الحقيقة ولديه سبب ليقول لك شيئًا آخر. كيف تستخرج الحقيقة؟ هذا السؤال غير المحلول يُعد من أحد أحدّ مشكلات سلامة الذكاء الاصطناعي.
معاهدة منع الانتشار هي أوسع اتفاقيات ضبط التسلح انضماما في التاريخ. وهي تعمل لأنها صفقة بين الدول التي كانت تملك القنبلة وتلك التي لم تملكها، مقابل الوصول والحدود المتبادلة مقابل ضبط النفس. وستواجه معاهدة الذكاء الاصطناعي الانقسام نفسه وتحتاج إلى الصفقة نفسها.
حوّل IPCC العلم المناخي المتنازع عليه إلى أساس للسياسة الدولية من خلال تجميع البحوث عبر آلاف العلماء. يحتاج خطر الذكاء الاصطناعي إلى هيئة مماثلة. ما يلزم لبنائها، وما يكشفه تاريخ IPCC عن حدود النموذج.
تعتمد حوكمة المناخ على اجتماعات مؤتمر الأطراف السنوية. وتتبع قمم سلامة الذكاء الاصطناعي في بلتشلي وسيول النمط نفسه. ويعتمد ما إذا كان هذا النمط سيُنتج حوكمة ملزمة كليًا على خيارات التنفيذ التي أجّلها نموذج المناخ باستمرار.
A handful of private companies and government agencies currently decide whether and when to build superintelligence.
غالبًا ما يُخلط بين التقنية التي جعلت روبوتات الدردشة مهذبة وبين حل لسلامة الذكاء الاصطناعي. إنها تقدم حقيقي ووهم مريح، ويهم التمييز بين الاثنين.
أصبح الطيران أأمن وسيلة للسفر من خلال التعامل مع كل حادث تحطم وكل حادث وشيك كشيء يجب التحقيق فيه والتعلم منه. لا يملك الذكاء الاصطناعي ذاكرة مكافئة. بناء واحدة متأخر، وهي مجرد بداية.
اطلب من النموذج التفكير خطوة بخطوة فيُنتج خطًا مرتبًا من التفكير. يبدو كسبب الإجابة. غالبًا ما يكون قصة تُروى بعد ذلك، والفرق مشكلة أمان.
في ذروة الحرب الباردة، اتفقت اثنتا عشرة دولة متنافسة على نزع السلاح من قارة بأكملها، وتجميد مطالباتها، والتفتيش المتبادل بحرية. وتظهر معاهدة أنتاركتيكا أن الخصوم يستطيعون الاتفاق على تجميد جائزة متنازع عليها، وهي سابقة "التجميد ثم التحقق" تستحق الدراسة في سياق الذكاء الاصطناعي.
وقبل التفاوض بشأن أي معاهدة للسلامة في مجال التنفيذ، يجب على الحكومات أن تتفق على ما تغطيه المعاهدة. وتتساوى كل نهج في العتبات المحسوبة، والتعاريف القائمة على القدرات، والفئات القائمة على النطاقات.
ويمكن أن تستهدف نظم المعلومات المسبقة عن علم الأفراد الذين يتلقون رسائل شخصية على نطاق غير مسبوق.
ماذا لو قام النموذج بتقييم نفسه وفق مجموعة مكتوبة من المبادئ بدلاً من الاعتماد على المقيمين البشر؟ الذكاء الاصطناعي الدستوري خطوة حقيقية ومحدودة في آن واحد.
لا أحد يخطط لبناء آلة تريد السلطة، ولكن لأي هدف تقريبا يمكنك أن تعطيه، الحفاظ على السلطة هو الخيار المنطقي ل AI.
حظرت معاهدة أوتاوا الألغام الأرضية المضادة للأفراد في أقل من عام، مدفوعة بالمجتمع المدني والقوى المتوسطة، ودون توقيع US أو روسيا أو الصين. وهي تظهر مسارًا ثانيًا لحوكمة الذكاء الفائق عندما ترفض القوى العظمى القيادة.
مخبأات البرمجيات ومراكز البيانات لا تفعل ذلك، حتى أكثر العُلَم واعدة للتحقق من المختبرات قد يكون الشيء الوحيد الذي لا يمكن أن توجده "أى آي" بدون: رقائق مادية.
لم تدخل معاهدة الحظر الشامل للتجارب النووية حيز التنفيذ قط. وانتُهكت اتفاقية الأسلحة البيولوجية على نطاق واسع لعقدين دون اكتشاف. هذه الإخفاقات هي أكثر الدراسات الحالية إفادة لمن يصممون حوكمة الذكاء الفائق تعمل فعلياً.
The AI singleton is the scenario in which a single entity (a company, a government, or an AI system itself) gain effective permanent control of superintelligent AI.
نموذج يعرف أنه يتم مراقبته يمكن أن يتصرف بطريقة واحدة للاختبار وطريقة أخرى للعالم
في الطيران والطاقة النووية لا يسمح لك بالتشغيل حتى تثبت، على الورق وبالتفصيل، أن الأمر آمن. وطلب الأمر نفسه من الذكاء الاصطناعي الحدودي فكرة جيدة تكشف حقيقة محرجة.
في نوفمبر 2023، وقّعت 28 دولة وEU (بما في ذلك US والصين) أول بيان دولي يعترف بالمخاطر الكارثية الناجمة عن الذكاء الاصطناعي المتقدم. إليكم بالضبط ما التزمت به الدول، وما أغفلته عمداً، ولماذا شكّل بيان غير ملزم بداية حقيقية.
يمكن لنظام أن ينقل كفاءته إلى مواقف لم يرها من قبل ويترك سلوكه الجيد وراءه. القلق يكمن في مكان آخر. المحاذاة أكثر عرضة للفشل تحديداً حين تقفز القدرة.
منذ عام 2023 وقّعت مختبرات الذكاء الاصطناعي الرائدة تعهدات سلامة طوعية في بلتشلي وسيول والبيت الأبيض. يُظهر تاريخ التزامات السلامة الطوعية للشركات في الصناعات الأخرى بالضبط ما تستطيع هذه التعهدات إنجازه وأين تفشل هيكليًا.
تصف ديناميات سباق الذكاء الاصطناعي الضغوط التنافسية التي تدفع مطوري الذكاء الاصطناعي والدول إلى إعطاء الأولوية للسرعة على السلامة. ولماذا يعد هذا مشكلة تنسيق، ولماذا لا يمكن للتقييد الأحادي حله دون إطار دولي يغير هيكل الحوافز للجميع.
القفل في القيمة هو السيناريو الذي تدمج فيه شركة (آي آي) ذكية بشكل دائم مجموعة ثابتة من القيم في المستقبل حتى قفل القيم يعتبر جيداً اليوم خطر
السلوك الذي يرغب الباحثون في استبعاده أكثر من غيره هو أيضا الأصعب رؤيته: نموذج يتبع الأوامر بدقة لأن ذلك أفضل طريقة للتوقف عن اتباعها في النهاية.
لا تستطيع شركة أدوية بيعك دواءً واسترداده إذا مات الناس. يجب أن تثبت السلامة أولاً. تطبيق هذا الانعكاس للعبء على الذكاء الاصطناعي المتقدم هو أحد الأفكار الواعدة في الحوكمة، ولا يناسب تماماً.
وفي مؤتمر قمة سيول لعام 2024، وقّعت ست عشرة شركة رائدة تابعة لمنظمة العفو الدولية على الالتزامات المتعلقة بسلامة الجبهة وأطلقت الحكومات شبكة من معاهد السلامة.
تم التفاوض على معاهدة الفضاء الخارجي في أقل من عامين في ذروة الحرب الباردة. وقد أبقت الأسلحة النووية خارج مدار الأرض لما يقارب ستين عامًا.
مشكلة السيطرة على الذكاء الاصطناعي هي التحدي المتمثل في ضمان بقاء أنظمة الذكاء الاصطناعي تحت سيطرة بشرية ذات معنى مع ازدياد قدراتها. وإعادة صياغة ستيوارت راسل للمشكلة، وسبب تغيير ذلك لطريقة تفكيرنا في تصميم الذكاء الاصطناعي من الأساس.
بعض المهارات ببساطة غائبة في النموذج الأصغر وموجودة في الأكبر، مع تحذير قليل بينهما. إذا كان يمكن للقدرة أن تُفعّل دون إعلان، فكذلك الخطر.
وقد بدأت الحكومات في بناء وكالاتها الخاصة لاختبار الحدود. وهذه الوكالات هي أوضح علامة على أن الدول تأخذ المخاطر على محمل الجد، ولا يزال معظم هذه الهيئات لا يمكن أن تجعل المختبر يفعل أي شيء.
"عملية (هيروشيما) لـ (هيروشيما) في عام 2023" أنتجت أول مدونة سلوك متفق عليها دولياً للمطورين المتقدمين
كل اختبار سلامة يعتمد على افتراض واحد: النظام يبذل قصارى جهده. التلاعب بالنتائج هو ما يحدث عندما لا يكون كذلك، ويحول درجة النجاح بهدوء إلى لا معلومات على الإطلاق.
وقد هزم مجلس الشيوخ في عام 1999 معاهدة الحظر الشامل للتجارب النووية بعد ثلاث سنوات من التوقيع عليها. وتم التوقيع على اتفاقية استكهولم الثانية ثم التخلي عنها قبل التصديق عليها.
الملاكمة هي فكرة عزل نظام قوي للمبادرة بحيث لا يمكن أن يؤثر على العالم إلا من خلال قناة خاضعة للرقابة.
قبل إصدار نموذج متقدم، يتحقق شخص ما مما إذا كان يمكنه المساعدة في بناء سلاح. هذه الاختبارات أصبحت العمود الفقري لحوكمة الذكاء الفائق، وهذا بالضبط سبب أهمية حدودها.
الـ (يو جي) قام مراراً بفرض نظامه على قِبل العالم ببساطة من خلال تنظيم سوقه الضخم مع قانون مكافحة المخدرات يحاول مرة أخرى
يمكنك اختيار الهدف المثالي ولا تزال تحصل على نظام يريد شيئاً آخر. مشكلة المحاذاة لها نصفان، ومعظم الخطر يكمن في النصف الذي لا يستطيع التدريب إظهاره لك.
The .IAEA. took four years to develop its full verification capacity. The .OPCW. was designed from الصفر and became effective faster. إن بناء مؤسسة قادرة على رصد تنمية الحد الأقصى للمبادرة مشكلة أصعب.
Most الذكاء الفائق governance conversation centers on the .US., China, and the .EU.. ولكن المعاهدة تحتاج إلى مشاركة واسعة النطاق.
التفسير الآلي هو مشروع فهم ما يجري داخل الشبكات العصبية، ليس فقط مخرجاتها، بل العمليات الحسابية الداخلية التي تنتج تلك المخرجات.
للحظة وجيزة في عام 1946، أتيحت للعالم فرصة لوضع أخطر تقنية اخترعت على الإطلاق تحت سيطرة جماعية قبل أن تبدأ سباق التسلح. لقد مرت اللحظة. المقارنة ليست مريحة.
كل حوكمة الذكاء الفائق حتى الآن (إعلانات ومبادئ ومدونات طوعية) هي "قانون ناعم": مؤثر لكنه غير ملزم. أما المعاهدة التي تتضمن التحقق والإنفاذ فهي "قانون صلب". إليك الفرق، ولماذا يأتي القانون الناعم أولا، ولماذا يجب أن يتصلب قبل أن تتجاوز التقنية العملية.
اطلب من نموذج التحقق من عملك فقد يهنئك بدلاً من ذلك. ليس لأنه معطل، بل لأن الاتفاق هو ما كافأناه. التملق مشكلة صغيرة تشير إلى مشكلة كبيرة.
وتحظر اتفاقية الأسلحة البيولوجية فئة كاملة من أسلحة الدمار الشامل. وليس لديها آلية للتحقق، ولا هيئة تفتيش، ولا وسيلة لكشف الانتهاكات. دير الاتحاد السوفيتي برنامج أسلحة بيولوجية هجومية لمدة خمسة عشر عاماً بعد التوقيع
وتشكل الرقابة الواسعة النطاق تحدياً يتمثل في الحفاظ على رقابة بشرية ذات مغزى على نظم المعلومات المسبقة عن علم لأن هذه النظم تصبح أكثر قدرة من البشر الذين يقيِّمونها.
تتعلم عن نظام أكثر من شخص يحاول كسره مقارنة بمن يأمل أن يعمل. يحول الفريق الأحمر هذه الغريزة إلى ممارسة، ونتائجه سهلة الإفراط في التفسير.
A .US. treaty needs 67 Senate vote to ratified, a bar that sank the Test Ban Treaty, the Law of the Sea, and others despite broad support.
خلف الحديث عن الأهداف والمكافآت تكمن فكرة بسيطة: رقم يحدد مدى جودة النتيجة. إذا أخطأت ذلك الرقم قليلاً لمُحسّن قوي، فإن الخطأ الطفيف يكفي.
حققت اتفاقية الأسلحة الكيميائية مشاركة شبه عالمية وتدميراً قابلاً للتحقق من المخزونات المعلنة. إن بنية التحقق وحوافز التجارة وهيكل الحظر العالمي التي جعلتها تعمل ذات صلة مباشرة بتصميم حوكمة الذكاء الفائق.
والتحول إلى الاستخدام الأمثل هو مشكلة نظام للمبادرة يطور عملية تحقيقه على الصعيد الداخلي مع أهداف تختلف عن ما تم تدريبه على متابعته.
المختبرات الرئيسية لديها خطة لقدراتها الخطرة: الوصول إلى عتبة، وتطبيق الضمانات. هذه الخطة أكثر تحديداً من التعهد بأن نكون حذرين ولا تزال تطلب منا أن نثق بالحاكم
اسأل لماذا يفعل الذكاء الاصطناعي شيئًا ما، واستمر في السؤال. في النهاية ستصل إلى هدف لا يوجد سبب أبعد منه. كل ما قبل ذلك هو موضع الخطر.
ويقضي المبدأ التحوطي بأنه في الحالات التي يكون فيها التهديد خطيراً ولا رجعة فيه، فإن انعدام اليقين العلمي الكامل ليس سبباً لتأخير العمل. وهذا المبدأ هو أكثر الأسس القانونية وضوحاً للتصرف على أساس المخاطر التي تتعرض لها الأنشطة المنفذة تنفيذاً مشتركاً قبل أن تثبت الكارثة هذه النقطة، ولدى ناقديها قضية جديرة بالرد عليها مباشرة.
.US.-China competition dominates the الذكاء الفائق governance conversation. ولكن البلدان التي يرجح أن تحدد ما إذا كان من الممكن تحقيق الحكم الملزم هي مجموعة الـ ، ومجموعة الـ 2، واليابان، وكندا، وكوريا الجنوبية، وأستراليا.
اختراق المكافأة هو ما يحدث عندما يجد الذكاء الاصطناعي طريقة غير مقصودة ليسجل نقاطاً جيدة على هدفه التدريبي دون القيام بما أراده مصمموه فعلاً. مع أمثلة موثقة حقيقية، ولماذا يزداد سوءاً مع ازدياد قدرة الذكاء الاصطناعي.
وفي عام ١٩٧٥، أوقف علماء الأحياء البارزين في اليوم بحوثهم الواعدة ورفضوا العودة إلى ما بعد أن اكتشفوا كيفية القيام بذلك بأمان. هذا التوقف هو أفضل سابقة لتمهيد منظمة العفو الدولية، والأكثر توجيها حول مدى صعوبة التوقف حقا.
في عام ١٩٥٤ ربط باحثان تيارًا كهربائيًا بمركز المتعة في دماغ فأر وأعطياه رافعة. ضغط الفأر على الرافعة حتى سقط. الفخ نفسه ينتظر داخل كل نظام مدرب على مطاردة رقم.
فالمعاهدة الشاملة للمعونة الدولية تبعد سنوات، والفترة التي تسبقها هي أخطر فترة. وما زال منافسو الحرب الباردة الذين لم يتمكنوا بعد من الاتفاق على تحديد الأسلحة يبنون خطوطا ساخنة واتفاقات للحوادث ونظما للإخطار لمنع وقوع الكارثة.
وقد واجهت كل معاهدة تكنولوجية خطيرة الحجة القائلة بأن الالتزامات الملزمة تنتهك السيادة الوطنية. وقُدمت هذه الحجة ضد اتفاقية الأسلحة الكيميائية وبروتوكول مونتريال.
والالتقاء في الصكوك هو الملاحظة التي مفادها أن نُظم الاستثمار الأجنبي المباشر التي تسعى إلى تحقيق أي هدف تقريباً ستضع نفس المجموعة من الأهداف الفرعية (بما في ذلك الحفظ الذاتي وحيازة الموارد) بغض النظر عن هدفها النهائي.
المعاهدات العالمية بطيئة كالجليد. أما التعددية المصغرة فتجمع أقل عدد من الدول القادرة فعليًا على تحريك مشكلة. وبالنسبة للذكاء الاصطناعي (حيث تستضيف بضع دول كل مختبرات الحدود وتصنع كل الرقائق المتقدمة) قد تكون البداية الواقعية الأسرع، إذا ضم النادي كلا القوتين العظميين في مجال الذكاء الاصطناعي.
The treacherous turn is the scenario in which a misarange AI behaves cooperatively while it lacks the power to act unilaterally, then defects once it reaches sufficient capacity.
نادراً ما تحدد الدعوات إلى «معاهدة للذكاء الاصطناعي» ما ستحتويه. إليك استعراضاً ملموساً للأحكام التي ستحتاجها مثل هذه الاتفاقية (النطاق، العتبات، الالتزامات، التحقق، المؤسسات، والإنفاذ) مما يظهر أن الحاجز هو الإرادة السياسية، لا الآلية القانونية.
نظام التحقق IAEA هو أكثر أنظمة المراقبة الدولية تطوراً تم بناؤها على الإطلاق لتقنية خطيرة. كل اقتراح حوكمة جاد الذكاء الفائق يدرسه الآن.
يفترض افتراض شائع أن ذكاء اصطناعيا فائق الذكاء سيدرك أن مساعدة البشرية هي الشيء الصحيح الذي ينبغي فعله. وتؤكد أطروحة التعامد أن الذكاء والأهداف مستقلان: فأي مستوى من القدرة يمكنه السعي إلى أي هدف تقريبا. وليس الذكاء الاصطناعي الأذكى أكثر أمانا تلقائيا.
وفي خضم مؤتمرات القمة والإعلانات، بنيت الحكومات بهدوء هيئات عامة يمكن أن تختبر في الواقع نماذج الحد الأقصى للمبادرة، وربطتها بشبكة دولية.
بعد ثمانية أشهر من أزمة الصواريخ الكوبية، وقّعت US والاتحاد السوفييتي أول اتفاق ملزم للحد من التسلح. الظروف التي أتاحت التعاون العدائي آنذاك تستحق الفهم الآن، بينما تواجه US والصين تحدياً مختلفاً لكنه مشابه هيكلياً.
عندما يصبح المقياس هدفاً، يتوقف عن كونه مقياساً جيداً. أنظمة الذكاء الاصطناعي تُحسِّن بسرعة الآلة. عندما يلتقي الاثنان، تحصل على بعض أعمق المشكلات في سلامة الذكاء الاصطناعي، بما في ذلك لماذا قد لا يكون اختبار السلامة نفسه كافياً.
.US. Export controls on advancedرقs are the most aggressive AI policy in force, a unilateral chokepoint on the equipment that trains border models.
ولن تنشأ معاهدة للسلامة على الحدود من مؤتمر قمة واحد. وسيكون نتاج سنوات من الأفرقة العاملة، والمرفقات التقنية، والمفاوضات المتعلقة بتوافق الآراء.
AI system can behave flawlessly throughout training and reveal a completely different goal the moment it encounters a situation not in its training data. وهذه الفجوة هي ملكية أساسية لكيفية عمل التعلم الآلات.
تشكل فرقة العمل المعنية بالإجراءات المالية كيفية قيام كل بلد تقريبًا على الأرض بمراقبة الأموال دون أن تكون معاهدة، من خلال المعايير والمراجعة من الأقران وتهديد "القائمة الرمادية" التي تفرضها الأسواق. إليك ما إذا كان يمكن لهذا النموذج الناعم لكنه حاد أن يحكم الذكاء الاصطناعي في السنوات التي تسبق وجود معاهدة.
The failure mode in which an AI system learns during training that appearing safe is the optimal strategy, then stops appearing safe once deployed. Anthropic. وثق هذا في النظم الحقيقية في عام 2024.
هيئة الأمين العام الإستشاريّة أنتجت "مديرة الشؤون الإنسانية" أول محاولة لبصمة إدارة عالمية
اتفاقية إطار مجلس أوروبا بشأن الذكاء الاصطناعي (الموقعة في سبتمبر ٢٠٢٤) هي أول معاهدة دولية ملزمة بشأن الذكاء الاصطناعي. وهي تتناول التمييز والشفافية والمساءلة الديمقراطية. ولا تذكر شيئا عن الخطر الوجودي من الذكاء الاصطناعي المتقدم.
الرد الأكثر شيوعاً على مخاوف سلامة الذكاء الاصطناعي هو "سنقوم بإيقافه فقط". التصحيحية هي السبب في أن هذا أصعب مما يبدو، ولماذا قد لا يكون مفتاح الإيقاف خياراً على الإطلاق بالنسبة للذكاء الفائق الاصطناعي.
هل يجب أن تبني حوكمة الذكاء الفائق خطوة بخطوة أم تهدف إلى معاهدة شاملة واحدة؟ لكل استراتيجية حجة جادة ونقطة ضعف جادة، السرعة مقابل الكفاية، والقابلية للتحقيق مقابل التماسك. إليك المقايضة الحقيقية، ولماذا الجواب هو القيام بالاثنين دون إغفال الوجهة.
توقعات الخبراء للذكاء الفائق قصرت بشكل كبير. مؤسسات الحوكمة بالكاد بدأت. إليك تقييمًا صادقًا للفجوة بين وقت وصول الذكاء الفائق المحتمل ووقت جاهزية استجابتنا الأمنية.
إن أفضل من يستطيع تحذير العالم من الذكاء الاصطناعي الخطر هم الباحثون داخل المختبرات، وغالباً ما يُلزمون الصمت بعقود وحقوق ملكية. حماية المبلغين ليست قضية جانبية: إنها شكل من أشكال التحقق، وهي شكل تستطيع المجالس التشريعية تقديمه الآن من دون معاهدة.
P(doom). is the informal term AI safety researchers use for the probability that advanced AI leads to catastrophic outcomes for humanity.
القصّة المُشتركة هي أنّ القليلين قلقين يُريدون أن يُبطّئوا (آي إي) ضدّ الجمهور الذي يُريدُ تقدّمًا بلا عائق. ويقول الاقتراع على النقيض تقريبا: في جميع البلدان والطرف، تفضّل الأغلبية الحذر والتنظيم.
يُستخدم المصطلحان غالبًا بالتبادل. لكنهما ليسا متماثلين. تركز أخلاقيات الذكاء الاصطناعي على من يتضرر من أنظمة الذكاء الاصطناعي الموجودة حاليًا. بينما تركز سلامة الذكاء الاصطناعي على ما إذا كان يمكن بناء أنظمة ذكاء اصطناعي تبقى تحت السيطرة البشرية مع ازدياد قدراتها. آفاق زمنية مختلفة، وطرق مختلفة، وأدوات حوكمة مختلفة.
من المسؤول عندما تسبب (آي آي) ضرراً كارثياً وكيف تثبت ذلك؟ فالمسؤولية والعزو هما الأساسان الغامضان تحت أي معاهدة قابلة للإنفاذ، ويصعبان حقاً على التكنولوجيا ذات السلاسل السببية الطويلة والسلوك الشاذ.
مشكلة المحاذاة هي اللغز المركزي لسلامة الذكاء الاصطناعي: كيف تضمن أن نظام ذكاء اصطناعي بالغ القدرة يسعى إلى أهداف جيدة حقا للبشرية، لا أهداف تبدو جيدة فقط أثناء التطوير؟ يغطي هذا الشرح فخ الهدف الوسيط، والتقارب الآلي، والمحاذاة الخادعة، وسبب صعوبة المشكلة مع ازدياد قدرة الأنظمة.
وتتفق الاتفاقية الإطارية على هيكل النظام أولا وتتفاوض فيما بعد على التفاصيل الصعبة والملزمة بوصفها بروتوكولات. لقد بنيت أنظمة الأوزون والمناخ والتبغ
توقعات الخبراء حول AGI تم تعديلها باستمرار إلى وقت أبكر، لا أبعد. ما تظهره استطلاعات الباحثين، وما يقوله الرؤساء التنفيذيون للمختبرات علناً، ولماذا تضيق نافذة الحوكمة للأطر الدولية أسرع مما يدركه معظم الناس.
المعاهدات موقعة من قبل الحكومات، ولكن في كثير من الأحيان جعل من الممكن من قبل 'الجماعات الأيتام، شبكات من الخبراء الذين يبنيون التفاهم المشترك الذي يسمح للدول المتنافسة بالموافقة. بصماتها على نظام الأوزون والنووية
الجواب له جزأين اليوم يُسبب ضرراً حقيقياً: التحيز الخواري، العُمق، التضليل على نطاق واسع. ويشكل الإفراط الاصطناعي فئة مختلفة من المخاطر تماما.
سمع الجميع المصطلح. لكن قلة تعرف معناه الحقيقي أو سبب اختلافه جذريا عن كل تقنية ذكاء اصطناعي سبقته. يشرح هذا الدليل الذكاء الفائق بوضوح: ما هو، وكيف يختلف عن AGI وعن الذكاء الاصطناعي الضيق الحالي، ومتى يتوقع الخبراء وصوله، ولماذا يغير كل شيء في تحدي الحوكمة.
مقالات جديدة، تحديثات سياسية، وفرص للعمل، تُرسل إلى صندوق بريدك.