فهرس جيسون وي وزملاؤه في جوجل وغيرها المهام التي بقي الأداء فيها قريبا من الصدفة حتى تجاوز حجم النموذج عتبة معينة ثم ارتفع بشدة. الحساب متعدد الخطوات، والأسئلة المتخصصة في مجال معين، والتعليمات بلغات نادرة الحضور في بيانات التدريب، وسلاسل خطوات التفكير: لم يُصمم أي منها كميزة. ظهرت مع نمو النماذج. وأطلقت الورقة عليها القدرات الناشئة.
القدرة الناشئة، في ذلك الاستخدام، هي قدرة لا يملكها نموذج أصغر ويملكها نموذج أكبر، حيث يبدو الانتقال أقل شبهاً بمنحدر سلس وأكثر شبهاً بمفتاح. تحت مقياس معين لا يستطيع النموذج أداء المهمة. وبعد ذلك المقياس يستطيع. ولم تكن القدرة قابلة للقراءة من اتجاه الأنظمة الأصغر وحدها.
نقاش حقيقي يستحق الإشارة إليه
الظهور ليس علماً محسوماً. يجادل بعض الباحثين بأن نصيباً من القفزات المبلغ عنها هو جزئياً أثر قياسي: مقياس قاسٍ كل شيء أو لا شيء يجعل التقدم الثابت الكامن يبدو مفاجئاً، بينما يظهر مقياس أكثر سلاسة تحسناً تدريجياً. ينطبق هذا النقد على حالات محددة ويستحق سماعاً عادلاً.
لا يحل المشكلة العملية. سواء وصلت القدرة كانقطاع حقيقي أو كمنحنى حاد لم يلاحظ إلا بعد تجاوز عتبة، فإن وضع الحوكمة واحد. نتعلم أن نموذجا يستطيع فعل شيء جديد بعد أن يستطيعه لا قبله. بالنسبة لصانع السياسات الذي يقرر ما إذا كان تشغيل التدريب التالي آمنا للموافقة عليه، فإن الفرق بين الظهور الحقيقي والمنحنى الحاد أكاديمي. في كلتا الحالتين يقع المفاجأة على الجانب البعيد من القرار.
لا يمكننا تسمية قدرات النموذج التالي
لا نستطيع التنبؤ بثقة، قبل تدريب نموذج أكبر، بالقائمة الكاملة لما سيكون قادرًا على فعله. تتوقع قوانين التوسع مقاييس الأداء العامة مثل الخسارة توقعًا جيدًا reasonably. ولا تسمي القدرات المحددة التي ستظهر، أو متى. والقدرة أكثر قابلية للتنبؤ في المجمل منها في التفاصيل.
بالنسبة لمعظم القدرات فهذا مجرد أمر مثير للاهتمام. أما بالنسبة للقدرات ذات الصلة بالسلامة فهو أمر مقلق. إن عدم القدرة على التنبؤ نفسه الذي ينتج موهبة مفاجئة في الترجمة قد ينتج موهبة مفاجئة في المهام التي تغطيها تقييمات القدرات الخطرة: مساعدة سيبرانية، مساعدة في صنع أسلحة بيولوجية، التلاعب على نطاق واسع. القدرة التي لم يتوقعها أحد هي قدرة لم يختبرها أحد ولم يبنِ أحد ضمانات ضدها.
يمكننا التنبؤ تقريباً بمدى جودة النموذج التالي على المقاييس المتوسطة. لا يمكننا التنبؤ بكل ما سيكون قادراً على فعله. تلك الفجوة هي موضع الخطر.
لا تخترق الظلام
يحول الظهور كل قفزة كبيرة في الحجم إلى خطوة نحو الظلام الجزئي. تبني نظامًا لا تتعلم ملف قدراته الكامل إلا بعد وجوده. وبحلول ذلك الوقت، إذا جاءت معه قدرة خطيرة، فإن النظام يمتلكها بالفعل. هذا خطر مختلف عن الخطر المعروف الذي يمكن قياسه والتخفيف منه مسبقًا.
قضية المؤسسة تتبع مباشرة وينبغي ألا يمضي توسيع الحدود قدما في القدرة على فهم ما يجري إنشاؤه. وينبغي أن يقع العبء على إثبات أن نظاماً جديداً كبيراً آمناً قبل أن يتم تدريبه ونشره، وليس على اكتشاف أخطاره بعد ذلك. عندما تصل القدرات دون سابق إنذار الحذر قبل القفز هو الحذر الوحيد الذي يساعد.