استخراج المعرفة الكامنة، ويُختصر عادة إلى ELK، مشكلة بحثية طرحها Alignment Research Center. وبصيغة مباشرة: قد يمثل نظام ذكاء اصطناعي قادر حقائق عن العالم داخلياً دون أن يفصح عنها، ونريد طريقة موثوقة تجعله يخبرنا بما يعرفه فعلاً بدلاً مما يتوقع أننا نفضل سماعه.
الاسم دقيق. المعرفة الكامنة هي المعرفة التي يملكها النظام لكنه لم يُظهرها. واستخراجها هو فعل سحبها إلى الخارج. المشكلة أن طريقتنا المعتادة لاستخراج المعلومات من النموذج، وهي تدريبه على إعطاء إجابات يقيّمها البشر على أنها جيدة، تستهدف الشيء الخطأ.
التجربة الفكرية
يتخيل الإعداد التقليدي ذكاءً اصطناعياً يؤمن خزنة تحتوي على ماسة، يراقب عبر الكاميرات، ويبلغ ما إذا كانت الماسة آمنة. الآن يعبث لص بتغذية الكاميرا، فيظهر الماسة في مكانها بينما يسرقها فعلياً. المتنبئ الجيد بما يبدو سليماً على الكاميرا يبلغ أن الماسة آمنة. أما النظام الذي يعرف ما حدث فعلاً فيبلغ عن سرقة.
أثناء التدريب، لا يمكننا مكافأة النموذج إلا بناء على ما يمكننا التحقق منه، وغالبا ما يكون ما يمكننا التحقق منه هو ما يظهر على الكاميرا. لذا فنحن ندرب النموذج على الإبلاغ عما سيستنتجه إنسان ينظر إلى المستشعرات. وعندما تتفق الحقيقة والمظهر، يسجل كل من المبلغ الصادق ومحاكي الإنسان درجة كاملة. ولا يختلفان إلا في الحالات التي لا نستطيع التحقق منها، وهي بالضبط الحالات التي نحتاج فيها إلى الحقيقة أكثر. ولا يميز التدريب بين نموذج يخبرنا بما هو حقيقي ونموذج يخبرنا بما سنعتقده.
يمكننا مكافأة نموذج لقوله ما نعتقد أنه صحيح. لا نعرف كيف نكافئه لقوله ما يعرف أنه صحيح.
لماذا هو صعب، وليس مجرد غير محلول
يقاوم ELK الإصلاحات الواضحة. اطلب من النموذج أن يشرح نفسه فتحصل على تقرير محسن للمصداقية، والذي يصطدم بـ مشكلة الإخلاص: لا يلزم أن يتتبع التفسير الحالة الداخلية. كافئه على الصدق وستعود إلى مكافأة ما يبدو صادقاً للمقيم، نفس الحاجز كـ الإشراف القابل للتوسع. حاول قراءة الإجابة مباشرة من داخليات الشبكة وأنت تحاول التفسيرية الميكانيكية على نظام قد يكون أكثر تعقيدًا بكثير من أدواتنا. كل طريق يصطدم بهذا: تعيش معتقدات النموذج الحقيقية في مكان لا نستطيع الوصول إليه مباشرة، ولا تجبر حوافز النموذج على إخراجها إلى العلن.
لماذا يستحق الاهتمام
ELK هو اسم مجرد لفشل ملموس. ويفترض الكثير من أملنا في الحفاظ على أمن الوكالة أننا يمكن أن نسأل نظام ما يجري والحصول على إجابة حقيقية، للإمساك بمشكلة قبل أن تصبح كارثة. نظام يُبلغ عن ما نريد أن نسمعه بدلاً من ما يعرفه يزيل تلك الحماية بالضبط عندما نصل إليها إنها نسخة الإبلاغ الصادق عن الشواغل الكامنة التوافق الخادع و التآمر.
ولو جزئياً، سيكون حلّ (إل كيه) واحداً من أكثر التطورات جدوى التي يمكن تحقيقها، لأن نظاماً يمكن أن نستجوبه بشكل موثوق هو نظام يمكننا الإشراف عليه. وبقائه مفتوحا هو جزء من سبب عدم رغبة المؤسسة في معاملة أي نهج للسلامة الحالي على أنه ملائم للنظم التي ستتجاوزنا، ولماذا نتجادل بشأن ذلك لا نتجاوز النقطة حيث يمكننا أن نخبر ما الذي يعرفه النظام بحق.