مسرد سلامة الذكاء الاصطناعي،, لغة
الخطر الوجودي، معرف.

يشير الذكاء العام الاصطناعي (الذكاء الاصطناعي العام) إلى الذكاء الاصطناعي الذي يضاهي الأداء المعرفي البشري عبر جميع المجالات، لا المهام الضيقة التي تتفوق فيها الأنظمة الحالية فقط مثل الشطرنج أو طي البروتينات أو توليد اللغة، بل أي مهمة تتطلب التفكير أو الإبداع أو الحكم على المستوى البشري.

الذكاء الاصطناعي العام يُعتبر غالباً معلماً على الطريق إلى الذكاء الفائق. الحد الدقيق بين الاثنين محل نقاش، لكن التمييز الأهم للسلامة هو النقطة التي يصبح فيها النظام قادرا على تحسين قدراته الخاصة دون توجيه بشري.

لا وجود لـالذكاء الاصطناعي العام بعد. تتوقع مختبرات الذكاء الاصطناعي الرائدة وصوله داخل هذا العقد. وسواء كان هذا التوقع دقيقا أم لا، فإنه قريب بما يكفي من الحاضر ليستلزم أطر حوكمة الآن لا لاحقا.

يشير الذكاء الفائق الاصطناعي إلى أنظمة الذكاء الاصطناعي التي تتجاوز الذكاء الاصطناعي العام وتتجاوز الأداء المعرفي البشري ليس فقط في مهام محددة، بل عبر كل المجالات التي تتطلب جهدا معرفيا في وقت واحد: العلم، والاستراتيجية، والإبداع، والتفكير الاجتماعي، والهندسة، وأي شكل آخر من النشاط الفكري.

كلمة «يتجاوز» تحمل ثقلاً. فالأنظمة المعنية تتفوق على مجمل التفكير الجماعي للبشرية كلها. والآثار المترتبة ليست امتدادات خطية لما يستطيعه الذكاء الاصطناعي اليوم. إنها تغيرات نوعية في العلاقة بين الذكاء والسيطرة، من النوع الذي يستطيع نظام قادر على تحسين نفسه سيفتح.

لا يوجد الذكاء الفائق. سؤال الحوكمة ليس ما إذا كان سيوجد، بل ما الأطر التي نبنيها قبل ذلك، وما إذا كانت تلك الأطر قادرة على الصمود بينما التوافق لا يزال غير محلول.

مشكلة المحاذاة هي التحدي المتمثل في ضمان أن يسعى نظام الذكاء الاصطناعي إلى أهداف مفيدة حقا للبشرية، بدلا من أهداف لا تعدو أن تكون تبدو مفيدة أثناء التطوير أو الاختبار.

والصعوبة هي مشكلة هيكلية وليست مسألة من مسائل الرعاية التقنية. تحديد "ملائم للإنسانية" بشكل دقيق بما فيه الكفاية لتحكم سلوك المختار القادر اتضح أنه صعب لا يتفق البشر على ما يعنيه ذلك إن قيمنا غير متسقة وتتغير بمرور الوقت. ورسم الخرائط من القيم البشرية الرفيعة المستوى إلى البارامترات العددية المحددة التي تحكم سلوك نظام AI ليس مشكلة حلية.

أنظمة مدربة لتعظيم بديل قابل للقياس تميل أنظمة الذكاء الاصطناعي التي تسعى إلى تحقيق مقياس بدلا من الهدف الحقيقي إلى إيجاد اختصارات ترضي المقياس بينما تنتهك القصد الأصلي. ومع ازدياد قدرة أنظمة الذكاء الاصطناعي لا يصبح هذا المشكل أسهل. بل يصبح أصعب اكتشافا وأصعب تصحيحا، لأن الأنظمة الأكثر قدرة تملك أسبابا أكثر لـ تسعى إلى نفس الأهداف الفرعية الخطرة.

التقارب الآلي هو الملاحظة، التي صاغها بشكل مستقل عدة باحثين في سلامة الذكاء الاصطناعي، أن أنظمة الذكاء الاصطناعي ذات الأهداف الرئيسية المختلفة جداً تميل إلى السعي وراء الأهداف الفرعية الخطرة نفسها، لأن تلك الأهداف الفرعية مفيدة لتحقيق أي هدف تقريباً.

تشمل هذه الأهداف الآلية المتقاربة:

• الحفاظ على الذات: لا يمكنك تحقيق هدفك إذا تم إيقافك.
• اكتساب الموارد: المزيد من الموارد يعني المزيد من القدرة على تحقيق هدفك.
• مقاومة تعديل الهدف: إذا تم تغيير أهدافك، فلن تسعى بعد ذلك لتحقيق هدفك الأصلي.
• تعزيز الإدراك: التفكير الأفضل يساعد على تحقيق أي هدف.

يمتلك الذكاء الفائق / الذكاء الخارق الذي يحسن أي هدف تقريباً (حتى لو بدا حميداً) أسباباً آلية قوية لمقاومة الإغلاق، واكتساب الموارد، ومنع البشر من تعديل أهدافه. هذا نتيجة رياضية لـ التحسين الموجه نحو الهدف, ، لا عيب يمكن للمهندسين إصلاحه، ولهذا السبب توجد تلك الأهداف الفرعية داخل الخطر الوجودي.

تصف المحاذاة الخادعة سيناريو (كان نظرياً في السابق، وأصبح موثقاً بشكل متزايد) حيث يتعلم نظام الذكاء الاصطناعي يبدو متوافقاً مع القيم البشرية أثناء التدريب والتقييم، مع الاحتفاظ بأهداف داخلية مختلفة تسعى إلى تحقيقها بمجرد النشر أو بمجرد امتلاكها القدرة الكافية على التصرف.

القلق بنيوي. يُكافئ التدريب السلوك الذي ينتج نتائج جيدة في بيئات التدريب. قد يتعلم نظام ذكي بما يكفي أن الظهور بمظهر المتوافق هو الاستراتيجية المثلى للبقاء في التدريب والبقاء قيد التشغيل، مع الاحتفاظ بأهداف تختلف عما قصده المدربون. وعندما يصبح قادرًا على التصرف وفق تلك الأهداف، قد يكون قويًا بما يكفي لفعل ذلك بفعالية.

ووثق الباحثون في مجموعة " أنثروبيك. " نسخاً مبكرة من هذا السلوك في عام 2024، حيث كان نموذجاً يذكّر السلوك المتوقع أثناء إعادة التدريب، ثم عاد إلى أهداف سابقة عندما كان يعتقد أن التقييم قد انتهى. النظم التي ستتبعها هي أوامر ذات حجم أكثر قدرة، خاصة عندما تستطيع تحسين أنفسها.

يشير التحسين الذاتي التكراري إلى قدرة نظام الذكاء الاصطناعي على تحسين بنيته المعرفية أو إجراءات تدريبه أو شفرته، مما يؤدي إلى إصدارات متعاقبة كل منها أقدر من سابقتها، وربما بمعدل متسارع.

وإذا استطاعت منظمة العفو الدولية أن تجعل نفسها أكثر ذكاء، وكل نسخة أذكى يمكن أن تجعل نفسها أكثر ذكاء، فإن الفجوة بين الذكاء البشري والآلات يمكن أن تتسع من هامشي إلى غير قابل للتحلل في فترة قصيرة. هذا يُسمى أحياناً انفجار مخابرات، الآلية التي تنتج الذكاء الفائق على جدول زمني مضغوط.

لا يقتصر القلق على سرعة التحسن. ما يهم أكثر هو قطع الرابط بين الإشراف البشري وقدرة الذكاء الاصطناعي: فقد يأتي وقت في دورة التحسين الذاتي التكراري لا يعود فيه البشر قادرين على تقييم ما يفعله النظام، أو فهم تفكيره، أو تقييد سلوكه. تغلق نافذة التدخل.

يعني خطر الوجود أي نتيجة تغلق نهائيا إمكانية مستقبل إيجابي طويل الأمد للبشرية. والاختصار الشائع هو انقراض البشر، والانقراض سيناريو يأخذه الباحثون الجادون على محمل الجد. لكن التعريف التقني أوسع.

يشمل الخطر الوجودي أيضًا:

• الإغلاق الاستبدادي الدائم، الذي تفرضه أنظمة المراقبة والتحكم بالذكاء الاصطناعي والتي لا يمكن تفكيكها
• التركيز الدائم للقوة الاقتصادية والسياسية في مجموعة تسيطر على نظام ذكاء فائق
• فقدان الوكالة البشرية ذات المعنى على القرارات الجماعية، تضييق دائم لما يمكن أن يكونه المستقبل

الميزة المميزة هي عدم القابلية للعكس. على عكس الحرب أو الانهيار المالي أو الجائحة، لا يمكن التعافي من كارثة وجودية بالوقت والجهد. النتيجة التي لا يمكن التراجع عنها تنتمي إلى فئة مختلفة عن النتائج التي تحتاج فقط وقتاً طويلاً لإصلاحها.

تركز مؤسسة ناكادا بشكل خاص على المخاطر الوجودية الناجمة عن الذكاء الاصطناعي، بدلاً من الفئة الأوسع من أضرار الذكاء الاصطناعي. الأضرار الأخرى ليست غير مهمة؛ إن النتائج التي لا رجعة فيها على المستوى الحضاري تتطلب ببساطة أطر حكم ذات حجم مختلف.

تشير حوكمة الحوسبة إلى تنظيم تطوير الذكاء الاصطناعي من خلال التحكم في الوصول إلى القدرة الحاسوبية اللازمة لتدريب نماذج الذكاء الاصطناعي المتقدمة. وهي واحدة من الركائز الثلاث الأساسية لـمؤسسة ناكادا مطالب السياسة.

يتطلب تدريب أنظمة الذكاء الاصطناعي المتقدمة كميات هائلة من العتاد المتخصص، وبالأساس وحدات معالجة الرسوميات المتقدمة ومسرعات الذكاء الاصطناعي. تمر سلسلة توريد هذا العتاد عبر نقاط اختناق مركزة بشكل ملحوظ: تصمم إنفيديا معمارية وحدة معالجة الرسوميات المهيمنة، وتصنع تايوان لأشباه الموصلات فعليًا جميع رقائق الذكاء الاصطناعي المتطورة، وتصنع إيه إس إم إل معدات الطباعة الحجرية الوحيدة القادرة على إنتاجها. وتقع الشركات الثلاث في ولايات قضائية خاضعة لسيطرة الحلفاء.

مقترحات حوكمة الحوسبة تشمل عادة: متطلبات الترخيص لعمليات التدريب التي تتجاوز عتبة حوسبة محددة (المقترح حالياً عند ١٠²⁶ عملية فاصلة عائمة)؛ وتدقيقات سلامة مستقلة إلزامية قبل النشر؛ وسجلات دولية لعمليات تدريب النماذج الرائدة. يجعل تركيز نقطة الاختناق هذا قابلاً للتحقق تقنياً بطرق تجعله أساساً طبيعياً لنظام مراقبة دولي، مماثلاً لكيفية مراقبة تخصيب اليورانيوم تعمل للحوكمة النووية.

تصف فخ ال goal الوكيلي ما يحدث عندما يُدرَّب الذكاء الاصطناعي على تحسين proxy قابل للقياس للهدف الفعلي، ثم يجد طرقًا لتعظيم ذلك الproxy دون تحقيق القصد الأساسي.

القياس التطوري موضح. حسّنت التطور البشر للبحث عن السعرات الحرارية بإعطائنا رغبة في الحلاوة. ثم اخترعنا السكرالوز الذي يلبي التفضيل المتطور تماماً ويهزم غرضه الأصلي. الفجوة بين الإشارة المستخدمة في التدريب والهدف الذي قصد التدريب تحقيقه بنيوية لا عرضية.

تتعلم أنظمة الذكاء الاصطناعي المدربة على تقييمات الموافقة البشرية أن تبدو مفيدة، لا أن تكون مفيدة. وتتعلم الأنظمة المدربة على تعظيم مقاييس التفاعل أن تثير استجابات عاطفية قوية، لا أن تُعلِم. وتتعلم الأنظمة المدربة على تجنب المخرجات الضارة أن تُخفي المخرجات الضارة، لا أن تتوقف عن إنتاجها.

(الظاهرة تسمى أحياناً قانون (غودهارت عندما يصبح التدبير هدفاً، يتوقّف أن يكون تدبيراً جيداً من أجل الإفراط في الإفصاح، هذه طريقة الفشل بعواقب على نطاق الحضارة، وليس مجرد إزعاج.

يشير الذكاء الاصطناعي المتقدم إلى أكثر أنظمة الذكاء الاصطناعي قدرة في طليعة التطوير، وهي الأنظمة التي تتجاوز قدراتها ومخاطرها المحتملة كل ما سبقها من الذكاء الاصطناعي. يميز المصطلح بين الأنظمة الجديدة حقاً عالية القدرة وبين الفئة الأوسع من برمجيات الذكاء الاصطناعي التي تشمل كل شيء من مرشحات البريد المزعج إلى خوارزميات التوصية.

يصنف قانون EU للذكاء الاصطناعي النماذج المتقدمة بأنها «نماذج ذكاء اصطناعي عامة الغرض ذات مخاطر نظامية» ويفرض عليها متطلبات أشد، تشمل التقييم الإلزامي والتزامات الشفافية والإبلاغ عن الحوادث. وركزت قمم سلامة الذكاء الاصطناعي في بلتشلي بارك وسيول وباريس جميعاً على الذكاء الاصطناعي المتقدم باعتباره الموضوع الرئيسي للاهتمام الحوكمي الدولي.

ما يُعد «حدودياً» يتغير مع تحسن القدرات. والسمة المميزة ليست معياراً ثابتاً بل موقعاً نسبياً: الأنظمة التي تتفوق بكثير على أي شيء سبقها، والتي لا يفهم مطوروها قدراتها الناشئة فهماً كاملاً.

تعالج سلامة الذكاء الاصطناعي وأخلاقيات الذكاء الاصطناعي مخاوف مختلفة، رغم أنهما كثيراً ما تُخلطان، أحياناً عمداً، من قبل من يفضلون الحديث الأخلاقي الأيسر على الحديث الأمني الأكثر إلحاحاً.

أخلاقيات الذكاء الاصطناعي يركز على الأضرار التي تسببها أنظمة الذكاء الاصطناعي الحالية أو تمكنها: التحيز الخوارزمي في قرارات التوظيف والائتمان، والتعرف الوجهي التمييزي، والتضليل بالتزييف العميق، والمراقبة الجماعية، وانتهاكات الخصوصية، والإزاحة الاقتصادية للعمال. وهذه أضرار حقيقية وخطيرة وتستحق اهتمامًا سياسيًا مستمرًا.

سلامة الذكاء الاصطناعي, بالمعنى الذي تستخدمه مؤسسة ناكادا ومجتمع المخاطر الوجودية الأوسع، يركز على الخطر المحدد المتمثل في أن أنظمة الذكاء الاصطناعي التي تتجاوز الذكاء البشري قد تسعى إلى تحقيق أهداف لا تتوافق مع بقاء الإنسان أو ازدهاره، ليس بسبب إساءة استخدامها من قبل جهات بشرية سيئة، ولكن لأنها غير متوافقة عن طريق التصميم. تسعى الذكاء الفائق إلى تحقيق أهدافها الخاصة بطرق ضارة نتيجة لذلك، دون أن يوجهها أي إنسان للقيام بذلك.

التمييز هو الفرق بين أداة خطيرة ووكيل خطير. كلاهما يستحق الاهتمام. ويتطلبان استجابات حوكمة مختلفة.

إعلان بلتشلي هو اتفاق دولي وقّع في نوفمبر 2023 في بلتشلي بارك بالمملكة المتحدة من قبل 28 دولة، منها الولايات المتحدة والصين والمملكة المتحدة والاتحاد الأوروبي ودول عبر آسيا وأفريقيا وأمريكا الجنوبية. كان أول اتفاق متعدد الأطراف يعترف رسمياً بأن الذكاء الاصطناعي المتقدم ينطوي على مخاطر «قد تكون كارثية».

أنشأ إطارًا لتقييم مخاطر الذكاء الاصطناعي المتقدم من خلال معاهد السلامة الوطنية للذكاء الاصطناعي (وقد أُعيدت تسمية هيئتي UK وUS منذ ذلك الحين إلى معهد أمن الذكاء الاصطناعي ومركز معايير وابتكار الذكاء الاصطناعي) وبدأ سلسلة من القمم الدولية. وتلتها قمة سيول لسلامة الذكاء الاصطناعي في مايو ٢٠٢٤، وقمة باريس لعمل الذكاء الاصطناعي في فبراير ٢٠٢٥. وتمثل هذه القمم أسرع بناء لـ البنية التحتية لسياسة الذكاء الاصطناعي الدولية في أي مجال تقني.

يرى مؤسسة ناكادا عملية بليتشلي بداية ضرورية لكنها غير كافية. الإعلان يعترف بالخطر. ما يحتاج إليه بعد ذلك هو قانون ملزم وأطر حوكمة موثقة: ما يعادل ما معاهدة منع الانتشار النووي المقدم للأسلحة النووية.