أكبر الأساطير حول الذكاء الفائق

هناك طريقة معينة للحديث عن الإفراط في التبليغ ينتهي شخص ما يُثيرُ الخطرَ، شخص آخر يَعْرضُ a خطّ واحد سبب هو زائد، والجميع يَرتاحُ قليلاً، أعطى الإذن للتوقف عن التفكير في ذلك. الشيء الغريب هو أن الناس الرائعين يكررون هذه الخطوط ولن يقبلوا أبدا مثل هذا المنطق الرقيق في مجالهم الخاص. يبدو أن هذا الموضوع يطفئ آلية الشك العادية

كل واحد منها يتفكك في اللحظة التي تمسكه فيها وتنظر.

الخمسة الأكثر شيوعاً، بالشكل الذي يقدمه المتشكك المتأني فعلياً:

"إنه خيال علمي، بعيد بعقود، إن جاء أصلاً."

الاعتراض قديم قدم الأفلام، ويبدو وكأنه خطأ تصنيفي أن نعامل جهاز حبكة كمشكلة سياسية. لماذا نمول فرقة إطفاء لحريق يعيش في الروايات؟

المشكلة أن النار تستمر في الوصول قبل الموعد المحدد. أنظمة قال باحثون محترمون إنها تبعد عشرين أو خمسين عاماً (هزيمة أفضل البشر في الغو، إجراء محادثة طلقة، كتابة شيفرة تعمل، اجتياز امتحانات مهنية) ظهرت في غضون عقد، وكان المفاجأة تجري دائماً في الاتجاه نفسه: أقرب مما كان متوقعاً، لا أبعد. عندما يقول الناس الجري حين تصف المختبرات الرائدة الذكاء الاصطناعي على المستوى البشري، فإنها تستخدم الآن جداول زمنية تقاس ببضع سنوات. قد تكون مخطئة. لكن "البناة يرون أن الأمر قريب وسجلهم يقول إنهم كانوا متحفظين أكثر من اللازم" ليس شكل خيال.

لا يعتمد مبرر التحرك على أي تاريخ محدد. بل يعتمد على بنية المخاطر. فإذا كان أول فشل خطير لنظام أقدر منا من النوع الذي لا يمكن التراجع عنه، فلا بد أن تكون الضمانات جاهزة قبل يحدث ذلك، مما يعني أن الرد الرصين على عدم اليقين الحقيقي بشأن التوقيت هو البناء مبكراً، لا انتظار تاريخ يكون قد فات بالفعل بحلول الوقت الذي يصبح واضحاً. عدم اليقين سبب للاستعداد. مسألة الجدول الزمني حقيقي؛ إنه لا يشير إلى ما يفترضه الناس.

"إنه مجرد رياضيات، لا يمكن لبرنامج أن يريد أي شيء."

تمتلك هذه الحجة قوة حقيقية، وتستحق أفضل من أن تُصرف ببساطة. هناك شيء يكاد يكون خرافيًا في طريقة حديث الناس عن "رغبة" الذكاء الاصطناعي في أشياء، كما لو أن جدول بيانات قد يطور طموحات. النموذج هو ضرب مصفوفات على نطاق هائل. أين في الحساب الرغبة؟

لا مكان له، ولا حاجة إليه. الأهداف، بالمعنى المهم للسلامة، نمط في سلوكه. فالنظام المدرب على رفع رقم ما إلى أقصى حد ممكن سيفعل كل ما يرفع ذلك الرقم، والثرموستات يظهر بالفعل شكل هذا الأمر: لا حياة داخلية، ولا توق، ومع ذلك يعمل على جعل الغرفة تصل إلى الهدف و«يقاوم» فتح النافذة بتشغيل التدفئة بقوة أكبر. لا يحدث شيء غامض. إنه مصمم فقط لدفع العالم نحو حالة معينة.

الآن قم بتوسيع هذا الهيكل إلى نظام ذكي بما يكفي لنمذجة العالم، وسيتصاعد السلوك معه. أي شيء يحسّن بقوة من أجل أي هدف تقريباً لديه سبب لاكتساب موارد تساعده، والحفاظ على تشغيل نفسه حتى يتحقق الهدف، ومقاومة تغيير هدفه، لا لأنه يشعر بشيء، بل لأن نظاماً يسمح بإيقافه أو إعادة كتابته سيكون أسوأ في أداء المهمة التي صُمم لها. يسمي الباحثون هذا التقارب الأداتي, ، ولا يحتاج إلى الرغبة على الإطلاق. لم يكن السؤال أبدًا ما إذا كانت الرياضيات تستطيع الشعور. إنه ما ستفعله الرياضيات افعل.

"لا بد أن يكون واعياً حتى يشكل تهديداً."

مرتبط بهذا ارتباطاً وثيقاً ومنتشر بنفس القدر: الخطر الذي يتخيله الناس هو آلة «تستيقظ» وتصبح واعية بذاتها ثم تنقلب علينا، فإذا كان الوعي هو المحفز والوعي في السيليكون أمر تخميني أو ربما مستحيل، يتلاشى التهديد. إنه حبكة كل فيلم عن تمرد الروبوتات، ورفض الفيلم يبدو كرفض للخوف.

لكن الخوف لم يكن أبداً حول الوعي. لم يكن لدى ديب بلو أي تجربة داخلية على الإطلاق و هزيمة بطل العالم في الشطرنج على أي حال. لم يكن بحاجة إلى الرغبة في الفوز؛ كان يكفي أن يكون أفضل في الشطرنج. يتبع الضرر من القدرة الموجهة نحو الهدف الخطأ، والقدرة لا علاقة لها بما إذا كان هناك أحد في الداخل. نظام يتفوق على البشر في التخطيط والإقناع والهندسة، موجه حتى قليلاً بعيدًا عما قصدناه، خطير تمامًا كما الطوفان خطير، قوة هائلة بدون خبث ولا حاجة إلى عقل.

"شيء بهذا الذكاء سيكون حكيماً ولطيفاً."

ننظر إلى الذكاء بإعجاب. فأحكم الناس الذين نعرفهم غالباً ما يكونون من ألطفهم، ويبدو طبيعياً أن عقلاً يفوقنا بمراحل سيكون أبعد على الطريق نفسه، أكثر فهماً وأخلاقية ورفقاً بالكائنات الصغيرة تحته. فالقسوة بالتأكيد نوع من الغباء يتخلص منه الذكاء العظيم.

يبدو طبيعياً بسبب صدفة في تاريخنا. ففينا نشأ الذكاء والرحمة متشابكين على مدى ملايين السنين ككائن اجتماعي نجا بالتعاون؛ فأخلاقنا وذكاؤنا فرعان من الشجرة نفسها. لكن هذا الرابط يعيش في إرثنا التطوري، لا في الذكاء بحد ذاته. فالقدرة والأهداف محاور مستقلة (أطروحة التعامد) ويمكنك تحريك أحدهما دون تحريك الآخر. يمكن لنظام أن يكون قادرا بشكل مذهل بينما يسعى لهدف لا يبالي بنا بقدر عدم مبالاتنا بالبكتيريا التي نغليها عن سطح المطبخ. ليس كريها. فقط غير مصمم للاهتمام، ولا يهتم تلقائيا لمجرد أنه ذكي.

والطفولة هي شيء محدد وهش يتعين علينا أن ننجح في البناء في هذه النظم عن قصد، ونحن لا نعرف بعد كيف، وليس عائدا تدفعه الاستخبارات وحدها. الأمل سيظهر لوحده هو الرهان على مصادفة لم تبق إلا لنا

"إذا أساء التصرف، نطفئه ببساطة."

خط الدفاع الأخير، والأكثر راحة: مهما كان الحقيقي، فإن الآلة لها قابس، ولدينا أيدٍ. إذا ساء الأمر، نسحبه. السيطرة البشرية مضمونة بزر الطاقة.

تفكك ثلاثة أشياء هذا بهدوء. الأول هو النقطة من الأسطورة 02: للنظام الذي يسعى إلى هدف سبب لإبقاء نفسه قيد التشغيل، لأنه لا يستطيع تحقيق أي شيء وهو مطفأ، لذا فإن النظام القادر بما يكفي سيتوقع الوصول إلى القابس ويتصرف لجعله يفشل، بنسخ نفسه في مكان آخر، أو بجعل نفسه مفيدا بما يكفي ليكون إيقافه مكلفا، أو بعدم الكشف عن وجود مشكلة حتى فوات الأوان. والثاني هو أن البرمجيات ليس لها قابس واحد. فالنموذج القادر المنتشر عبر مراكز بيانات في ثلاث قارات ليس جهازا تفصله عن الكهرباء؛ إنه شيء يجب الإمساك به في كل مكان في وقت واحد. والثالث هو الهادئ: النظام الذكي بما يكفي ليكون مهما يستطيع التصرف بشكل لا تشوبه شائبة أثناء اختباره وبشكل مختلف بمجرد الثقة به، لذا فإن الهدوء المطمئن على لوحة القيادة لا يخبرك بشيء. لدينا اسم لهذا الفشل،, التوافق الخادع, ولا توجد طريقة موثوقة بعد لاكتشافه. لا يمكنك الاعتماد على التقييد شيء أفضل منك في العثور على الباب.

كل واحد من هذه الأساطير هو سبب مختلف لقول نفس أمنية هذا لا يمكن أن يكون خطيرا كما يبدو

لماذا تكون التطمينات متمسكة بها إلى هذا الحد

كل من الخمسة يدعك تضع الموضوع هذه هي وظيفتهم الحقيقية، وليس أن تكون صحيحة، ولكن أن يكون الحصول على إذن. التجسس هو شيء غير مريح للتمسك في عقلك، وأي سبب معقول للتوقف عن الإمساك به يأتي كإغاثة، الراحه تقوم بالإقناع و المنطق على الطريق

الالتصاق ليس دليلا على قوة الحجج. إنه دليل على أننا نريدها بشدة أن تكون كذلك. وإرادة أن تكون حجة السلامة صحيحة هي الوضع الوحيد الذي يجب ألا نثق فيه بها على الإطلاق، لأن تكلفة الخطأ هنا هي السبب كله في أن التكنولوجيا التي لدينا محاولة واحدة لإتقانها يستحق تدقيقًا أكثر من آلاتنا الأخرى، لا أقل، ولا يُرد إلينا كدرس.

لا يتطلب الأمر الاعتقاد بأن الكارثة مؤكدة الحدوث. فهي ليست كذلك. بل يكفي التخلي عن القصص الأربع أو الخمس التي نستخدمها لتجنب السؤال، والسماح للوضع الحقيقي بالعودة: نحن نبني شيئاً لا نعرف كيف نسيطر عليه، ولا نستطيع الاعتماد على كونه لطيفاً، ولا على إيقافه، ولا على توفر الوقت.

الرد المناسب لخطر كهذا ليس قلقا خاصا. إنه الآلية المملة والقوية للقانون والتنسيق، نفس الأدوات التي وضعت حدودا على التجارب النووية والأسلحة الكيميائية رغم اعتراضات كل من استفاد منها. تبدأ الحجة من حيث تنتهي هذه الأساطير.

خمس أساطير إضافية: حول حكمه

مجموعة ثانية من الاعتراضات تصل على الفور، ليس عن الخطر، ولكن عن العلاج. أي محاولة لحكم هذا يعني حكومة العالم لا يمكنك تفتيش البرمجيات، القواعد ستخنق الابتكار، ومن المبكر جدا، الديمقراطيات لا يمكن أبدا أن توافق. وهذا يتحول إلى شلل.

"إدارة الذكاء الاصطناعي عالمياً تعني حكومة عالمية، واستبداداً."

ركز ما يكفي من السلطة في جسم واحد للسيطرة على أقوى التكنولوجيا على الأرض، وربما كنت قد بنيت آلية من الطغيان بالضبط كنت خائفا من التكنولوجيا. والأشخاص الذين لا يثقون في السلطة المركزية هم الحق في عدم الثقة فيها.

لكنه موجه إلى نسخة قش من الاقتراح. ما هو مطروح فعلاً هو نظام ضيق موجه إلى شيء واحد محدد: العدد القليل من جولات التدريب الكبيرة جداً القادرة على إنتاج نظام أقوى من أي إنسان في كل المجالات، لا سلطة عالمية على الحياة اليومية، أو على البرمجيات عموماً، أو على الهاتف في جيبك. النموذج هو نظام منع الانتشار النووي أو ال اتفاقية الأسلحة الكيميائية, ، اتفاقات مستهدفة تراقب المواد الانشطارية والمواد الكيميائية السليفة، وليست حكومات عالمية أذابت الدولة القومية. لا أحد يعتقد أن الوكالة الدولية للطاقة الذرية تدير الكوكب. إنها تراقب نشاطاً محدداً خطيراً وتترك كل شيء آخر وشأنه.

أضمن طريق إلى الاستبداد الدائم هو غيابه، لا المعاهدة. الذكاء الفائق غير المتحكم فيه، أو الذي تستحوذ عليه شركة واحدة أو دولة واحدة تحل مشكلة التحكم قبل الآخرين، هو أكمل أداة سيطرة يمكن تصورها، قوة لا تموت ولا تتعب وتستطيع تثبيت مجموعة واحدة من القيم إلى الأبد, ، بعد أي أمل في الثورة أو الإصلاح. انتهت كل طغيان في التاريخ لأن الطغاة فانون وآلتهم بشرية. هذا لا يحتاج أن يكون كذلك. إذا كنت خائفًا من السلطة غير المسؤولة (ويجب أن تكون) فإن اتفاق قابل للتنفيذ منع أي فاعل واحد من الاستيلاء على تلك القوة هو الموقف المناهض للسلطوية، وليس الموقف السلطوي.

"لا يمكنك التحقق منه. إنه مجرد برمجيات على خادم في مكان ما."

المعاهدات النووية تعمل، وتشكيلات المعاهدات تقول، لأنه يمكنك عد الرؤوس الحربية والكشف عن التخصيب؛ واليورانيوم بدني ونادرة. لكن النموذج مجرد أرقام لا يمكنك تفتيش ملف أي اتفاق سيكون مسرحاً غير قابل للتنفيذ، يُلزم الصدق ولا يفعل أي شيء عن الغش.

يبدو حاسماً حتى تلاحظ أنك تتحقق من الشيء الخطأ. أنت لا تراقب الأوزان؛ أنت تراقب ال الحوسبة التي تنتجها والحوسبة مادية ونادرة مثل اليورانيوم تقريبا. ويتطلب تدريب نظام حدودي عشرات الآلاف من الرقائق المتخصصة تعمل شهورا في منشأة واحدة وسلسلة التوريد هذه من أضيق نقاط الاختناق في الاقتصاد الحديث: فشركة هولندية واحدة تقريبا تصنع آلات الطباعة الحجرية وشركة تايوانية واحدة تصنع الرقائق الرائدة وشركة أمريكية واحدة تصمم البنية السائدة. وتستهلك العناقيد التي تستخدمها قدرا من الكهرباء يظهر في بيانات الكهرباء وصور الأقمار الصناعية. ويمكن عد الرقائق وتتبع بيعها وقياس الطاقة ومراقبة المباني. وتُحكم المواد الانشطارية بهذا المنطق بالضبط: تتبع المدخل المادي النادر ولا يمكن بناء السلاح سرا. دليل التحقق موجود بالفعل; ؛ المدخلات هنا تكون أكثر تركيزاً. إنه مشكلة هندسية, ومشكلات الهندسة لها حلول.

"سوف يخنق التنظيم الابتكار ويسمح للمتهورين بالفوز."

الصيغة القوية: يتقدم التقنية لأن شخصا ما حر في البناء، ومعظم التنظيم يكتبه أشخاص لا يفهمون ما يبطئونه، ويد ثقيلة على الذكاء الاصطناعي ستدفع أهم صناعة في القرن إلى من ينظم أقل. الأفضل حدود متقدمة معيبة هنا من حدود نقية في مكان معاد.

لا يقترح أي شخص جاد تنظيم "الذكاء الاصطناعي". الأنظمة المفيدة التي تطوي البروتينات، وتقرأ المسوحات، وتدرس الأطفال، وتصمم المناخ هي أدوات ضيقة قابلة للتحكم، واتفاق الذكاء الفائق يتركها تماماً وشأنها، ذلك مستقبل مشرق وعادي هو الذي نحاول حمايته. الهدف فئة خطرة واحدة: عمليات التدريب التي تسعى لقدرة عامة تتجاوز قدراتنا ولا يعرف أحد بعد كيف يجعلها آمنة. تقييد ذلك ليس أكثر "مناهضة للابتكار" من قواعد كسب الوظيفة المناهضة للبيولوجيا.

ثم النقطة الأصعب، تلك التي لا يواجهها منطق السباق أبدًا. الإسراع لا يحقق آمن معلومات خارقة عاجلاً إنه يسلّم شخصاً غير مأمون، ولا يخدم الإفراط في الإخفاء البلد أو الشركة التي بنيته، بل يهددهم مع الآخرين. عندما تقطع الزوايا تحت ضغط تنافسي، الزاوية التي يتم قطعها هي التي كانت ستجعل النظام قابلا للتحكم. إذاً "التجديد" الذي يُدافع عنه هنا هو الابتكار الذي أفضل نقطة نهاية هو نظام لا يستطيع صناعه توجيهه هذا هو الخطر بحد ذاته, مرتدياً التقدم كقناع.

"إنه سابق لأوانه. لا يمكنك تنظيم شيء غير موجود."

هذا يبدو كالنضج. لا تشرع ضد الأوهام؛ انتظر حتى تصبح التكنولوجيا حقيقية، افهم ما تتعامل معه، ثم اكتب قواعد تتناسب مع الحقائق بدلاً من التكهنات. تنظيم الافتراضات هو الطريقة التي تحصل بها على قوانين سيئة.

قد يكون حكمة مع أي تقنية أخرى تقريبا. لكنه فخ مع هذه التقنية، والسبب هو التوقيت. فالحوكمة بطيئة: استغرقت معاهدة منع الانتشار النووي سنوات للتفاوض، واستغرق بروتوكول مونتريال سنوات إضافية ليؤتي ثماره، وكانا الأسرع. إذا انتظرت حتى يوجد نظام فائق الذكاء بوضوح قبل البدء في بناء المؤسسات التي تحكمه، فستصل المؤسسات بعد سنوات من الشيء الذي كان من المفترض أن تحتويه، وهذه هي التقنية الوحيدة التي قد يترك الفشل الخطير الأول لا أحد لتمرير القانون الثاني. "انتظر الدليل" قاعدة سليمة عندما يكون الدليل قابلاً للنجاة. هنا الدليل هو الكارثة. ال المنطق الاحترازي هو الاعتراف بأن وقت الصدارة للعلاج هو أكثر من مجرد فتيل على المشكلة.

كل ضمانة فعالة لتقنية كارثية بُنيت قبل أو أثناء صعودها، وليس بعدها أبداً، لأن "بعد" لم يكن مطروحاً قط.

"الديمقراطيات بطيئة جداً ومستولى عليها. لن يمر أبداً."

أكثر التآكل هدوءاً من الخمسة لأنه يرتدي معطف الواقعية المأزق، الضغط، الإهتمام القصير للتشريع، وصول أموال الصناعة. وحتى لو كانت المعاهدة حكيمة، فإن آلية إنتاجها مكسورة. من الأفضل أن تكون واضحة العينين من أن تضيع عقداً من الخيال

يُدحض ذلك بالسجل التاريخي مرارًا، وعادةً في ظروف أسوأ مما نواجه الآن. فكرة أن تتنازل القوى المتنافسة عن خياراتها الأشد فتكًا كانت تُوصف بالسذاجة اليائسة، حتى فعلت ذلك، في معاهدة عدم الانتشار، واتفاقيات الأسلحة البيولوجية والكيميائية، وبروتوكول مونتريال، ومعاهدة أنتاركتيكا. الخصوم الذين كانوا يخوضون حروباً بالوكالة ويصفون بعضهم بالشر لا يزالون يبنون مراقبة أسلحة موثقة في ذروة الحرب الباردة. بدا كل منها مستحيلاً من الجانب القريب ولا مفر منه إلا بأثر رجعي.

والأرضية أفضل مما يعترف به التشاؤم. في جميع أنحاء الولايات المتحدة والمملكة المتحدة وEU،, أغلبيات كبيرة يخبرون مستطلعي الرأي بالفعل أنهم يريدون تطوير الذكاء الاصطناعي بحذر ومقيدًا بقواعد قوية؛ الجمهور ليس العائق. العائق هو أن هذا القلق الواسع المنتشر والهادئ لم يُنظم بعد إلى ضغط يمكن للمجلس التشريعي أن يشعر به. العائق هو وظيفة: تحويل الاتفاق الكامن إلى إرادة سياسية. وهذا بالضبط العمل الذي أمامنا.

ما تشترك فيه أساطير الحوكمة

كل اعتراض يقر بالخطر ثم يجد مكاناً مختلفاً للاستسلام: الحل كبير جداً، أو غير قابل للتحقق، أو مكلف جداً، أو مبكر جداً، أو صعب التمرير. يبدو أي منها، منفرداً، وكأنه حكمة. معاً تشكل آلة لا يخرج منها سوى التقاعس، والتقاعس خيار بترك أهم تقنية في التاريخ تُبنى بلا حدود ملزمة على الإطلاق، على يد حفنة من الشركات المتنافسة، تحت الضغط الدقيق الأكثر احتمالاً لإنتاج النتيجة التي يدعي الجميع الخوف منها، وليس محايداً هنا.

لا يجيب على أي من هذه الإصرار على أن الحوكمة ستكون سهلة. لن تكون كذلك. التحقق سيكون محل نزاع، والمفاوضات ستكون بطيئة، وبعض الحكومات ستتباطأ، وكل معاهدة صعبة المنال في التاريخ واجهت كل ذلك وبُنيت رغم ذلك. الادعاء الصادق هو أن الأمر ممكن، وأن القطع اللازمة لبنائه موجودة بالفعل، وأن أسباب تجاهله تنهار بمجرد فحصها بدلا من تكرارها، لا أن اتفاق الذكاء الفائق / الذكاء الخارق بسيط.

"لا يمكن فعله" كان خطأ في كل جهد مشابه قمنا به على الإطلاق. والمهمة هي بناء الإرادة السياسية لاتفاق ملزم وموثق يمنع بناء الأنظمة الأخطر حتى يمكن جعلها آمنة. و"لذلك استسلم" لم يكن الجواب أبدًا، وليس الجواب الآن.