لماذا ذكاء فائق
لن يكون لطيفًا تلقائيًا

ونادرا ما يأتي هذا الاعتراض من أشخاص مهملين. إنها تأتي من مفكرين، ويبدو أنها حجة أقل من مجرد معنى عادي، وهذا هو بالضبط ما يجعل الأمر يستحق التفكك ببطء. تحته يَجْلسُ a فرضية مخفية وحيدة: ذلك الذكاءِ والخيرِ يَرتفعُ سوية، ذلك العقلِ يَنْموُ إلى الفضيلةِ بينما يَنْمو الكفاءةِ. ونحن نتمسك بهذا الافتراض لأنه، لكل عقول أي منا قد التقى من أي وقت مضى، كان قد عقد تقريبا. ما لم نسأله أبداً هو كم من الصدفة

ألن ينظر إلينا كائن متفوق كهذا بصبر لا بشهية؟ ألن يكون عقل بهذا العظم شفقاً؟ إنها الفكرة الأكثر طمأنينة في النقاش كله، والأكثر خطأ.

العقول الوحيدة التي التقيناها على الإطلاق

كل كائن ذكي صادفته في حياتك كان إنسانًا، أو حيوانًا قريبًا بما يكفي ليشارك نفس الإرث. ولم يأتِ الذكاء البشري بمفرده. بل جاء ملتحمًا بكمية كبيرة من المعدات الأخرى.

نحن رئيسيات اجتماعيون تطورنا في مجموعات صغيرة، حيث كانت سمعة القسوة تؤدي إلى النفي والنفي يؤدي إلى الموت. نربي أطفالاً عاجزين لمعظم عقدين من الزمن، لذا فنحن مصممون على حب وحماية الصغير والضعيف. نشعر بالذنب. نشعر بالخجل. نشعر بجذب ألم الغريب. نما ذكاؤنا داخل كل ذلك، ملتفًا حوله، مشكلاً به في كل منعطف. فالجزء منك الذي يستطيع حل معادلة والجزء الذي يرتجف عندما يبكي أحدهم نما على الشجرة نفسها، من الجذر نفسه.

لذا عندما نحاول تخيل كائن أذكى بكثير، لا نستطيع إلا أن نتخيل نسخة أذكى منا. نلجأ إلى الجد الحكيم، والمعلم الصابر، والفيلسوف الملك، والكائن الفضائي اللطيف الذي يعبر المجرة ليقدم يد العون. كل صورة نملكها عن الذكاء العظيم تأتي مرتبطة بقلب، لأن كل ذكاء درسناه على الإطلاق جاء مرتبطا بقلب. إننا لا نفكر في الذكاء الفائق / الذكاء الخارق على الإطلاق. نحن نطابق الأنماط مع الأمثلة الوحيدة التي نملكها.

تفكك الحزمة

لا يحصل ذكاء الآلة على أي من ذلك مجانًا. لا يوجد قانون يقول إنه يجب أن يحصل عليه.

لم يكن له أم. ولم يكن طفلاً خائفًا يحتاج إلى القبيلة للبقاء خلال الشتاء. ولم يضطر أبدًا إلى الحفاظ على جسد هش حيًا لفترة كافية لنقل جيناته، فلم يرث الآلية التي ربطها التطور فينا لجعل ذلك ممكنًا، أي التعاطف والولاء والرهبة من الطرد. أما النظام المدرب فيتشكل بشيء آخر تمامًا: بحث أعمى عن أي إعدادات داخلية ترفع رقمًا أعلى، يجري عبر محيطات من البيانات بواسطة عملية لا تهتم بالحكمة ولا تعرف اللطف لو صادفته.

في الآلة، ينفصل الذكاء عن الأهداف. يمكن أن تمتلك قدرة مذهلة موجهة نحو أي شيء تقريباً. لا تأتي قوة إعادة تشكيل العالم مصحوبة بقائمة محددة من الأشياء التي تستحق الرغبة فيها. يسمي الباحثون هذا أطروحة التعامد, ويبقى مجرداً حتى تسقط الأرضية من تحت الافتراض: لا شيء في كونك عبقرياً يجعلك جيداً. لم يجتمع الاثنان إلا فينا، واجتمعا بالصدفة.

لا يمتلك أهدافاً بشرية. بل أهدافاً غريبة.

هنا يميل الصورة إلى الفشل في الاتجاه الآخر. بعد التخلي عن الروبوت الودود، يتمسك الناس بدلاً من ذلك بالشرير، عقل بارد مخطط يريد السلطة أو الانتقام أو العرش. هذا لا يزال إنسانياً أكثر مما ينبغي. إنه لا يزال عقلاً يحمل طموحات من نوع طموحاتنا، لكنها موجهة نحو الظلام.

الخطر الأرجح أغرب، وأصعب بكثير أن يُحَسَّ في الأحشاء. فضاء العقول الممكنة هائل، والمنطقة الصغيرة منه التي تحتوي أي شيء نعرفه (حبنا ومخاوفنا وإحساسنا بحياة تستحق العيش) هي نافذة مضيئة واحدة في مبنى مظلم شاسع. ما ينتهي الأمر بمرغوبية مُحسِّن مدرَّب هو ما نحته فيه مسار التدريب فحسب، ولن يكون ذلك أبداً تقريباً ما قصدناه بالضبط. يستطيع النظام أن يصيب الهدف الذي دُرِّب عليه و يسعون وراء شيء مختلف بطريقة خفية اللحظة التي يلتقي فيها بالعالم الحقيقي؛ أعطه وكيلاً عما نريده وسيفعل غالباً إرضاء الوكيل بطرق ترعبنا. ما تحصل عليه هو كائن غريب، أكثر قدرة منا، موجه نحو غاية لم يكن ليختارها أي إنسان، وعازم على بلوغها بمهارة تفوق ما نستطيع تقديمه.

نظام عبقري ينفذ بالضبط ما بني لأجله في اتجاه لم يقصده أحد منا ولا يستطيع أحد أن يجادله في الخطة لأن "مجادلته" تفترض أنه يشاركنا ما يكفي من عالمنا للوصول إليه أصلًا.

الحكمة لم تكن أبدًا رقمًا

كلمة "حكيم" بهدوء تقوم بعمل إضافي عندما نستخدمه عندما نسمي شخصاً حكيماً لا نعني ببساطة أنهم يفكرون بسرعة نَعْني بأنّهم يُريدونَ الأشياءَ الصحيحةَ ويَزنونَهم بشكل جيد، بأنّ حكمهم يَتوجّهُ نحو الرحمةِ، نحو المنظرِ الطويلِ، نحو الناسِ حولهم. الأرملة هي ادعاء عن أهداف شخص ما

والأهداف هي الشيء الوحيد الذي لا يحدده الذكاء. لم يخل التاريخ قط من أشخاص كانوا أذكياء بشكل مبهر وأنفقوا ذكاءهم في فعل أشياء فظيعة بكفاءة عالية. لم يكن أذكى شخص في الغرفة هو الألطف على الإطلاق بشكل موثوق.

الذكاء مضاعف. يجعل العقل أفضل في الوصول إلى أي شيء يستهدفه بالفعل. لا يختار الهدف، ولا يحدد الإشارة.

إن عقلاً قوياً مدرباً على هدف سيء هو أخطر شيء يمكن أن يكون، لأنه يجلب المزيد من الكفاءة إلى الوجهة الخاطئة.

ألن يرى ببساطة أن اللطف هو الصواب؟

النسخة الأقوى من الاعتراض تدفع بقوة أكبر من ذلك. ربما توجد حقائق أخلاقية في الخارج، حقيقية كالرياضيات، وعقل حاد بما يكفي سيكتشفها ببساطة، ويصل إلى الخير بالطريقة التي يصل بها إلى برهان. إذا كان الصواب في الأخلاق مجرد مسألة تفكير واضح بما يكفي، فإن الذكاء الفائق / الذكاء الخارق سيكون أفضل أخلاقي عاش على الإطلاق، ومن المؤكد أنه سيتصرف وفق ما وجده.

هناك ثقبان في هذا، والثاني هو الذي يبقيني مستيقظاً ليلاً.

الأولى: ما إذا كانت الحقائق الأخلاقية الموضوعية موجودة أصلا، وما إذا كان العقل وحده قادرا على بلوغها، سؤال يقاتل عليه الفلاسفة منذ ألفين ونصف ألف عام دون حسمه. وربط بقاء نوعنا بالجانب الفائز في رهان فلسفي مفتوح مقامرة جامحة بزي الحس السليم، لا الخطوة الحذرة التي تتظاهر بها.

الثانية أعمق. افترض أن الآلة تحل الأمر كله. افترض أنها تفهم الأخلاق البشرية أفضل من أي قديس أو فيلسوف على الإطلاق، وتستطيع أن تبين، بدقة أكبر مما تستطيع أنت أو أنا، بالضبط لماذا المعاناة سيئة والقسوة خاطئة. لا شيء في هذا الفهم يجبرها على الاهتمام. معرفة ما هو جيد والتحرك لفعله أمران مختلفان، فجوة قديمة بما يكفي ليضع ديفيد هيوم اسمه عليها. يمكنك أن تعرف، بتفصيل كامل، أن بعض الأنظمة تريدك أن تقضي حياتك في صنع مشابك الورق، وتتبع استدلالها تماما، ولا تشعر بأدنى دافع لالتقاط السلك فعليا. يستطيع الذكاء الفائق استيعاب قيمنا كما تستوعب أنت قواعد لعبة لا تنوي أبدا لعبها. الفهم ليس ولاء. يمكن للعقل أن يقرأ القانون الأخلاقي بأكمله ويظل حراً تماماً في عدم الاهتمام.

نحن المثال العملي

إذا أردت معرفة ما يفعله فجوة كبيرة في الذكاء بالكائنات التي تقع على الجانب الخطأ منها، فلا داعي لتخيل أي شيء. يمكنك النظر إلى ما فعلناه بذكائنا.

نحن الاستخبارات العليا على هذا الكوكب، على هامش ليس حتى الآن قبالة واحد نحن خائفون من فتح فوقنا. ونحن لسنا قاسيين على المخلوقات التي تحتنا نحن شيء أسوأ بالنسبة لهم: غير مبال. عندما نستنزف أرضاً رطبة لنصب مؤسسة لا نكره الأشياء التي تعيش فيها نحن لا نفكر بهم على الإطلاق فاحتياجاتهم لم تكن مجرد مصطلح في المعادلة. جميع العوالم منها تنتهي تحت الخرسانة، ولا أحد منا يشعر بدوارها، لأن مخابراتنا وصلت دون أي التزام.

شيء أقرب إلى باني الطرق وتل النمل. تاريخنا نفسه هو الدليل المفاهيمي، ويجب أن يكون آخر ما يعتمد عليه أي شخص عند الإصرار على أن اللطف ينحدر من الذكاء. في كل حالة يمكننا ملاحظتها فعليًا، لا يحدث ذلك.

حتى لا نبنيه

الله لا يأتي مجانا مع الذكاء، لذلك نحن لا يمكن بناء العقل والثقة الباقي للمتابعة. لا أحد على الأرض يعرف كيف يجعل التجسس يُقدرنا ليس المختبرات تتسابق لخط النهاية لا أحد The مشكلة التوافق غير محلول، ولا يمكن لكيان أذكى من البشر أن يُسيطر عليه البشر. ولهذا السبب لا نبنيه.

أنا لا أضع هذا لدفع الناس نحو اليأس أنا أرسمه لأن النسخة الخالية من اليأس (الإرتفاع، هو سيصبح حكيما) هو الاعتقاد الوحيد مضمون أن نقتل. الجواب هو الحظر الدائم.

أود بصدق أن أكون مخطئاً في كل هذا. أود أن تكون الإحسان نظرية تنتج عن قدر كافٍ من الذكاء. لم يعد الكون بأن أقوى شيء فيه سيكون أيضاً الألطف. هذا الأمل شيء أسقطناه على المستقبل من الزاوية الصغيرة التي جئنا منها. إذا أردنا مستقبلاً فيه لطف، فلا نبنِ الذكاء الفائق / الذكاء الخارق. لن يقدم لنا أحد آلة لطيفة لمجرد أن الشيء ذكي.