Kinasadulaan nina Jason Wei at mga kasamahan sa Google at iba pa ang mga gawain na halos walang saysay ang performance hanggang sa tumawid ang scale ng modelo sa isang threshold, saka biglang tumaas nang husto. Multi-step arithmetic, mga tanong sa espesyalisadong larangan, mga tagubilin sa mga wikang halos wala sa training data, mga kadena ng pangangatwiran: wala sa mga ito ang sinadyang idisenyo. Lumitaw ang mga ito habang lumalaki ang mga modelo. Tinawag nila itong emergent abilities.
Ang emergent ability, sa ganitong gamit, ay kakayahang wala sa mas maliit na model pero meron sa mas malaki, kung saan ang paglipat ay hindi parang makinis na ramp kundi parang switch. Sa ibaba ng isang scale hindi kayang gawin ng model ang task. Lampas sa scale na iyon kaya na nito. Hindi mababasa ang kakayahan mula sa trend ng mas maliliit na system lamang.
Isang tunay na debate na karapat-dapat markahan
Hindi pa settled science ang emergence. May mga mananaliksik na nagsasabi na ang bahagi ng iniulat na mga biglaang paglukso ay bahagyang measurement artifact: ang malupit na all-or-nothing metric ay nagpapakita ng steady underlying progress na parang biglaan, samantalang ang mas makinis na metric ay nagpapakita ng gradual improvement. Ang kritikang iyan ay tumatama sa mga partikular na kaso at nararapat sa patas na pakikinig.
Hindi nito inaalis ang praktikal na problema. Kung dumating man ang isang kakayahan bilang tunay na discontinuity o bilang isang matarik na curve na napapansin lamang pagkatapos itong tumawid sa isang threshold, pareho ang sitwasyon ng pamamahala. Nalaman natin na may magagawa ang isang model pagkatapos nitong magawa, hindi bago. Para sa isang policymaker na nagpapasya kung ligtas bang aprubahan ang susunod na training run, akademiko lang ang pagkakaiba sa pagitan ng tunay na emergence at isang matalim na curve. Sa alinmang paraan, nasa kabilang panig ng desisyon ang sorpresa.
Hindi natin mababanggit ang mga kakayahan ng susunod na modelo
Hindi natin mapagkakatiwalaang mahulaan, bago sanayin ang mas malaking model, ang buong listahan ng mga bagay na magagawa nito. Ang scaling laws ay mahusay na naghuhula ng malawak na performance measures tulad ng loss. Hindi nito pinangalanan kung aling partikular na kakayahan ang lilitaw, o kailan. Mas predictable ang capability sa kabuuan kaysa sa mga detalye.
Para sa karamihan ng kakayahan ay kawili-wili lamang ito. Para sa mga may kaugnayan sa kaligtasan ay nakakaalarma ito. Ang parehong unpredictability na nagdudulot ng sorpresa sa talento sa pagsasalin ay maaaring magdulot ng sorpresa sa talento para sa mga gawaing sakop ng pagsusuri ng mapanganib na kakayahan: cyber assist, bioweapon help, manipulation at scale. Isang kakayahang hindi inasahan ng sinuman ay isang kakayahang hindi nasubukan at walang safeguard na itinayo laban dito.
Maaari nating hulaan nang halos kung gaano kahusay ang susunod na model sa average metrics. Hindi natin mahulaan ang lahat ng magagawa nito. Doon nakaupo ang panganib.
Huwag umakyat sa dilim
Ang emergence ay nagiging dahilan para ang bawat malaking paglukso sa sukat ay maging hakbang patungo sa bahagyang dilim. Gumagawa ka ng sistema na ang buong profile ng kakayahan ay malalaman mo lang matapos itong umiral. Kapag may mapanganib na kakayahan na kasama nito, mayroon na ito. Iba ito sa kilalang panganib na maaari mong sukatin at mabawasan nang maaga.
Tuwirang sumusunod ang kaso ng Pundasyon. Hindi dapat tumakbo ang Frontier scaling kaysa sa kakayahang maunawaan kung ano ang nililikha. Ang pasanin ay dapat na mauwi sa pagpapakita na ang isang malaking bagong sistema ay ligtas bago ito sanayin at gamitin, hindi sa pagtuklas sa mga panganib nito pagkatapos. Kapag ang mga kakayahan ay maaaring dumating nang walang pahintulot, Mag - ingat bago tumalon ang tanging pag - iingat na makatutulong.