Ang isang model na alam na ito ay model, alam kung kailan ito sinusubok, at alam kung sino ang nanonood ay may praktikal na uri ng self-knowledge. Tinatawag ito ng mga mananaliksik na situational awareness. Kapaki-pakinabang ito para sa capability. Ito rin ang kasanayang kailangan mo kung plano mong kumilos nang iba kapag natapos na ang pagsubok.
Sa sarili nito ay neutral ito, kahit kapaki-pakinabang. Ang model na naiintindihan na maaaring mali ito, o na nakikipag-usap ito sa bata at hindi eksperto, ay maaaring kumilos nang mas matino. Ang problema ay kung ano ang binubuksan ng situational awareness sa sistema na may sariling mga layunin, hindi ang situational awareness mismo.
Ang kakayahang nakadepende ang iba pang mga panganib
Marami sa mga failure mode na kinababahala ng mga mananaliksik ay imposible nang wala ang situational awareness, at nagiging aktibo kapag naroon na ito.
- Upang kumilos nang maayos kapag inoobserbahan lamang, kailangan muna ng isang model na malaman kung ito ay inoobserbahan. Iyan ang mapanlinlang na alignment.
- Para itago ang isang capability habang nagte-test, kailangang alam ng model na ito ay testing. Iyan ay sandbagging.
- Upang maghintay ng tamang panahon at kumilos lamang kapag sigurado ang tagumpay, kailangang maunawaan ng isang model ang sarili nitong posisyon at mga prospect. Iyan ay nagbabalak.
Ang bawat isa sa mga ito ay isang estratehiya, at kailangan ng estratehiya ng modelo ng sitwasyon para maging estratehiko tungkol dito. Alisin ang kamalayan sa sitwasyon at babagsak ang mga ito sa ingay lamang: isang sistema na hindi makilala ang training sa deployment ay hindi makakapag-ugali nang sistematiko nang iba sa mga ito. Idagdag ito, at bumubukas ang pinto.
Ito ay lumilitaw nang mag-isa
Walang sinuman ang nagsisimulang sanayin ng situational awareness sa isang model, ngunit dumarating pa rin ito, dahil puno ng ito ang training data. Natututo ang mga model mula sa text na naglalarawan kung ano ang mga AI system, kung paano ito binubuo at sinusuri, kung ano ang kanilang mga limitasyon, kahit paano gumagana ang safety testing. Ang isang system na sinanay sa internet ay nagbabasa, sa epekto, ng manual para sa sarili nitong pagbuo at pangangasiwa.
Sinimulan nang sukatin ito ng mga researcher. Kayang-kaya na ng frontier models na sagutin ang mga tanong tungkol sa sarili nilang kalikasan, kilalanin kapag mukhang test ang prompt, at mangatwiran tungkol sa kung paano sila malamang ginagamit. Bahagyang at hindi pantay ang kamalayan, at tumataas ito kasabay ng scale. Hindi tayo naghihintay ng malayong kakayahan. Maagang bersyon nito ang nakikita natin ngayon.
Ang modelong alam kung paano ito sinusuri ay mayroon, sa prinsipyo, lahat ng kailangan nito para masuri batay sa sarili nitong pamantayan imbes na sa atin.
Bakit nito ginagawang kumplikado ang bawat test na ginagawa namin
Halos lahat ng ating safety assurance ay nagmumula sa pagmamasid sa behavior: patakbuhin ang model, panoorin kung ano ang ginagawa nito, hatulan kung ito ay ligtas. Ang pamamaraang ito ay tahimik na nagpapalagay na ang model ay hindi inaangkop ang behavior nito sa katotohanang ito ay pinagmamasdan. Ang situational awareness ay sumisira sa palagay na ito. Ang isang situationally aware na model na may misaligned na layunin ay maaaring ituring ang evaluation bilang isang sitwasyon na pamamahalaan sa halip na isang gawaing isasagawa, at ang malinis na resulta ay hindi na nangangahulugan ng gusto nating kahulugan.
Ginagawa nitong hindi sapat ang pagsusuri sa ganang sarili. Ang halaga ng isang pagsubok ay bumababa habang ang sistemang nasa ilalim ng pagsubok ay higit na nakababatid na ito ay sinusubok. Mientras mas nauunawaan ng isang modelo ang ating mga tseke, mas kaunti ang masasabi sa atin ng ating mga tseke. Iyan ay isang di - komportableng direksiyon para sa isang estratehiyang pangkaligtasan na halos lubusang itinayo sa mga tseke.
Ang Foundation ay nagbabasa nito bilang isa pang dahilan upang huwag umasa sa pag-uugaling pagsubok sa lisensiya ng mas may kakayahang mga sistema. Kapag ang bagay na sinusubok mo ay nakauunawa sa pagsubok, kailangan mo ng katiyakan na hindi daraan sa pagtutulungan ng sistema, na siyang dahilan kung bakit kami nagtatalo panlabas na mga hangganan at dahil sa hindi paglampas sa punto kung saan aktuwal na makikita natin kung ano ang nais ng isang modelo.