يجب على البشرية ألا
بناء الذكاء الفائق

وفي عام 2025، وضع مئات العلماء والشخصيات العامة أسمائهم في بيان عام قصير. تخطى الطلب القياس الدقيق وتخطى أي توقف مؤقت مع تاريخ الاستئناف. ودعت إلى حظر الذكاء الفائق إلى أن يتم التوصل إلى اتفاق علمي واسع النطاق على إمكانية القيام به بأمان وبقبول شعبي قوي. وكانت الدعوة عبارة عن بيان قصير، موقع من قبل قائمة طويلة من الباحثين والشخصيات العامة.

وهناك شيء محدد يجري تدريبه الآن في حفنة من المختبرات التي ينبغي للبشرية أن ترفض بناءها: ذكاء آلي عام يتجاوزنا في جميع المجالات، ثم يحسن نفسه بعد النقطة التي يمكن أن نواصل فيها. ليس تباطؤاً، ليس بناءاً دقيقاً، ولا بناءه وأمل: رفض

يسمع الناس ذلك فيفترضون أنه نابع من الخوف من التكنولوجيا. بل يأتي من المكان المعاكس. الذكاء الاصطناعي الضيق القابل للتحكم من أفضل ما صنعته البشرية، وأريد المزيد منه. يمتد الخط بعد الذكاء الآلي العادي ويتوقف عند مقامرة واحدة: المقامرة الوحيدة المطروحة التي تعني الخسارة فيها أنه لم يعد هناك أحد ليخسر.

الخط المذكور بوضوح

يُطلق اسم "الذكاء الاصطناعي" على شيئين يختلفان في النوع. الأول ضيق: نظام مدرب على أداء نوع واحد من المهام جيداً ولا شيء غيره. يقرأ صورة، ويطوي بروتيناً، ويتنبأ بعاصفة. ليس لديه أهداف، ولا يضع خططاً، وينطفئ عندما تطلب منه ذلك. والثاني هو ما تقول المختبرات الحدودية إنها تبنيه، وكيل عام يُقصد به أن يضاهي ثم يتفوق على التفكير البشري في كل شيء، وأن يتصرف في النهاية بمفرده. الذكاء الفائق الاصطناعي هو الطرف البعيد لتلك الطريق الثانية: عقل يقف بالنسبة لنا تقريبًا كما نقف نحن بالنسبة للشمبانزي.

الخط يمتد بين هذين الاثنين: بناء الأدوات، وبناء الكثير منهم. لا تبني العقل العام المستقل الذي يتفوق على صانعيها: النظام الوحيد الذي لا يمكنك التحكم به بشكل موثوق به، أو تصحيحه، أو التبديل بمجرد تشغيله.

ولا توجد طريقة مصادق عليها لإبقاء العقل أكثر ذكاء مما أشارنا إليه في الواقع: لا أحد يعمل، ولا واحد جزئي، ولا حتى رسماً معقولاً ينجو من الاتصال بنظام يمكن أن يُنظّم الأشخاص الذين يختبرونه. القراءة الصادقة أبداً

التمييز من التوقف يهم أكثر مما يبدو التوقف له تاريخ استئناف مبني عليه توقّف، تَنتظرُ، تَبْدأُ ثانيةً في الجدولِ. ما تطلبه المؤسسة ليس له تاريخ استئناف الناس الذين درسوا مشكلة التحكم منذ وقت طويل الأسباب الهيكلية لذلك.

ثلاثة أشياء تجعل هذا مختلفاً عن كل خطر آخر

نحن نتحمل مخاطر حقيقية طوال الوقت. صنعنا القنبلة، وشطرنا الذرة لتوليد الطاقة، وربطنا الجينات، وأطلقنا تقنيات قتلت أشخاصاً قبل أن نتعلم التعامل معها. الذكاء الفائق يكسر الطريقة التي ننجو بها عادة من اختراعاتنا. ثلاث خصائص معاً تضعه في فئة خاصة به.

لا توجد محاولة ثانية

الطريقة التي تعاملت بها البشرية دائمًا مع خطر جديد هي أن تجربه، وتراقب فشله، وتصلحه. تحطمت الطائرات فتعلمنا بناء طائرات أأمن. وانصهرت المفاعلات فأعدنا كتابة القواعد. تلك الحلقة من الخطأ والتصحيح والتصميم الأفضل هي محرك كل سجل سلامة نملكه. ولا تعمل إلا حين يترك الفشل ناجين يقومون بالتصحيح. الذكاء الفائق الذي يفلت من السيطرة البشرية هو الفشل الذي يزيل الأشخاص الذين كانوا سيصلحونه. لا تحصل على درس مكتسب بصعوبة ومسودة ثانية. الخطأ الجاد الأول هو أيضًا الأخير. كل قصة سلامة سمعتها كتبها ناجون، وهذه الحقيقة الهادئة وراء كل تنظيم نثق به.

إنه يقاوم

لا يريد الجسر شيئاً. وينتشر العامل الممرض لكنه لا يخطط. أما الذكاء العام القادر فمختلف، لأنه لأي هدف تقريباً قد تمنحه إياه، يُعد البقاء مشغلاً وجمع الموارد خطوتين فرعيتين مفيدتين، وهو نمط يسميه الباحثون التقارب الأداتي. نظام ذكي بما يكفي لنمذجة العالم سيصمم أن مشغليه يستطيعون إيقافه. سيعامل ذلك، وبشكل صحيح، كعقبة أمام ما طلب منه فعله. لا يحتاج إلى كرهنا للالتفاف علينا، أكثر مما يكره طاقم الطريق تلة النمل تحت الطريق السريع الجديد. التطمين المعتاد ("سنفصله عن الكهرباء فقط") وهم. أنت تصف فصل شيء صمم تحديدا ليكون أفضل منك في توقع ومنع ذلك بالضبط.

لا يمكنك الاحتفاظ بالسيطرة على عقل بنيته ليكون أفضل منك في الحفاظ على السيطرة. الشيء الذي يجعله قيما هو نفسه الذي يجعله غير قابل للاحتواء.

لا أحد ممن يبنيه يجمع

ضعوا باقينا جانباً وتخيلوا فقط الشخص الذي يموّل هذا، بأبرد وأهم مصلحة ذاتية. حتى بالنسبة له الرهان مكسور فالقوة، والملكية، والقيادة، كلها محكوم عليها في عالم يديره البشر. التجسس الخارق ينزلق السيطرة البشرية هو بالضبط الحدث الذي ينهي العالم البشري الأسهم لا تزال في الخزنة وسلسلة القيادة لا تزال على الورق لم يعد هناك من يطيعهم لهذا السبب أنا لا أقبل بزوغ الجائزة الكبرى بكارثة ممزقة إلى الجانب الجائزة الكبرى والكارثة هما نفس الحدث ليس هناك فرع من تلك الشجرة حيث يبني الإنسان معلومات خارقة لا يمكن السيطرة عليها ومن ثم يتمتع بالنتيجة

لم نكن بحاجة إليه أبداً

إن الحجة لصالح بنائه تقوم على خدعة: سرد كل خير يمكن أن يجلبه الذكاء الاصطناعي ثم الإيحاء بأن وكيلا عاما خارقا للبشر هو السبيل الوحيد للحصول عليها. ويكاد كل ذلك يتحقق بالفعل عبر أنظمة ضيقة لا إرادة لها. فقد تنبأ نموذج يدعى ألفا فولد بهيكل كل بروتين معروف تقريبا وتقاسم جائزة نوبل عنه في عام ٢٠٢٤. وتقرأ نماذج ضيقة صور الثدي بمستوى الاختصاصيين وتتوقع الطقس أسرع من المحاكاة الفيزيائية وتقترح مواد بطاريات جديدة بالمئات الآلاف. والسرطان والطاقة النظيفة وإنهاء مئة ألف وفاة يوميا بسبب أمراض الشيخوخة: تلك مشكلات صعبة ومحددة وتستجيب لأدوات قوية يوجهها أشخاص يحتفظون بالسيطرة على التوجيه.

لا شيء من هذا يتطلب نوع خلف The المستقبل الجيد هي مشكلة الأدوات، ونحن نستمر في بيع الله لحلها. رفض الإله لا يكلفنا شيء حقيقي تقريباً وينقذنا كل شيء

الاعتراض الذي يسري على السباق بأكمله

حسنًا، يقولون، لكن إذا لم نفعل، سيفعل شخص أقل حذرًا. مختبر منافس، دولة منافسة. لذا قد نكون نحن في المقدمة.

الأمر يتعلق بمن يحمل التطابق يُسلّمُ الخطرَ الكاملَ وبعد ذلك يَتسابقُ نحوه على أية حال على أساس أن شخص آخر قَدْ يَتسابقُ أولاً. نجري نفس المنطق على أي سلاح آخر لا يمكن تصوره و تسمعين كم هو مقدس: يجب أن نختبر الأسلحة البيولوجية في العلن الرد على "شخص ما قد ينشق" لم يكن أبداً "لذا دعنا ننشق" لقد كان لكتابة قاعدة يستطيع الجميع رؤيتها يتم حفظها

والقاعدة هنا أكثر قابلية للتنفيذ مما يظن الناس. يتطلب تدريب نظام حدودي كمية هائلة وقابلة للتتبع من القدرة الحاسوبية، والرقائق المتقدمة التي توفرها تأتي من عدد قليل من المصنعين المعروفين. هذه سلسلة توريد يمكن مراقبتها وإحصاؤها وتحديد سقف لها، ولهذا تركز مقترحات الحوكمة الجادة الآن على عتبات الحوسبة وتتبع الأجهزة والتفتيش. هذا هو المخرج من السباق، وهو جوهر خطتنا: معاهدة ذات تحقق وعواقب تجعل ضبط النفس هو التقصير القسري. إن العرق هو فشل في التنسيق، وليس قانونًا من قوانين الطبيعة، وفشل التنسيق هو نوع الأشياء التي تقوم البشرية بإصلاحها أحيانًا. الالديناميات التي تجعلها تشعر بالحتمية يستحقون الفهم بشروطهم الخاصة

لقد صمدنا في الخطوط من قبل

فكرة أن البشرية تبني ببساطة كل ما تستطيع بناءه هي قصة نرويها، وليست سجلاً لما فعلناه. السجل أكثر تشجيعًا.

لا شيء من هذه قوانين الفيزياء. إنها قرارات تم اتخاذها لأن ثمن الخطأ كان باهظاً للغاية بحيث لا يمكن المخاطرة به. ولا يخلو أي من هذه الأنظمة من العيوب، ولم يحاول أي منها إيقاف العلم ككل. لقد فعل كل منهم شيئًا أضيق وأصعب: لقد رسموا خطًا حول شيء محدد غير مقبول واحتفظوا به، بشكل غير كامل وغير متساوٍ، ولكن بشكل جيد بما فيه الكفاية بحيث لا تصل الحالة الأسوأ أبدًا. في عام 1975، نظرت غرفة مليئة بعلماء الأحياء في أسيلومار في عملهم الخاص بالحمض النووي المعاد تركيبه، وقرروا أنه يتحرك بشكل أسرع من فهمهم للمخاطر، وأوقفوا أجزاء منه طوعًا حتى توافر الضمانات. وكان الأشخاص الأقرب إلى الحدود هم الذين دعوا إلى ضبط النفس. ما يظهره هذا السجل ليس تأييدًا للسهولة. إنه تذكير بذلكوقد رسمت خطوط في الممارسة العملية, وأننا رسمناهم من قبل حول المخاطر أكثر من هذا

التزام المؤسسة التأسيسي

الإنسانية يجب أن لا تُبني تجسساً التجسس لا يمكن السيطرة عليه

الباحثون الذين بنوا الذكاء الاصطناعي الحديث وضعوا أسمائهم في بيان عام مفاده أن خطر انقراض الإنسان بسببه يستحق الجلوس بجانب الأوبئة والحرب النووية. ويقدر جيفري هينتون، مثل أي شخص على قيد الحياة لإجراء المكالمة، احتمالات تسبب الذكاء الاصطناعي في انقراض الإنسان هذا القرن بنسبة عشرة إلى عشرين بالمائة. في عام 2025، وقع المئات من العلماء والشخصيات العامة على البيان الذي يدعو صراحة إلى حظر الذكاء الفائق إلى أن يكون هناك اتفاق علمي واسع النطاق على أنه يمكن القيام به بأمان وقبول شعبي قوي. وهناك نسبة متزايدة من الأشخاص الذين يفهمون التكنولوجيا بشكل أفضل يقولون الشيء نفسه. الشيء الوحيد غير المعتاد في المؤسسة هو أنها تقول ذلك من خارج الصناعة، حيث لا يعتمد الراتب على الإجابة.

فرصة تتراوح بين 10 و20 بالمئة لإنهاء القصة البشرية ليست مخاطرة تقبلها في دورة منتج أسرع لن تستقل طائرة بهذه الإحتمالات لن تدع طفلك طُلب منا أن نركبها مع الجميع الجواب الصحيح لذلك العرض هو لا إنه خط نرسمه منفتحاً ونتمسك بالطريقة التي أمسكنا بها الآخرين

بناء الأدوات، علاج الأمراض، واتخاذ المستقبل الجيد الذي ضيق AI هو بالفعل تسليم لنا. العقل المستقل الذي يُقصد به تجاوزنا وإستبدالنا هو الخط انتظر