Ang sharp left turn ay hypothesized failure mode, at pinakamahusay itong ipinapahayag bilang contrast. Nag-generalize ang capabilities. Maaaring hindi ang alignment. Kapag nagiging mas capable ang system, lalo na kung tumatawid ito sa general, transferable competence, dinadala ang abilities nito sa mga bagong domains at situations. Ang concern ay ang constraints na nagpapanatili sa kanya na well-behaved, ang alignment na na-instil natin sa mas mababang level, ay hindi dinadala nang may parehong reliability. Dinadala ng system ang kapangyarihan nito sa bagong teritoryo at iniiwan ang safety sa border. Ang divergence na iyon, na dumarating nang biglaan habang nag-generalize ang capability, ay ang sharp left turn.
Bakit maaaring maghiwalay ang kakayahan at alignment
May dahilan para asahan na magkaiba ang pag-generalize ng dalawa, at hindi ito simetrikong optimismo at pesimismo. Nakatali ang kakayahan sa istruktura ng mundo. Pareho ang batas ng pisika, patakaran ng matematika, at paraan ng sanhi at epekto sa lahat ng larangan, kaya may matatag na batayan ang sistema na natutong mangatwiran nang maayos. Naglilipat ang kakayahan dahil pare-pareho ang realidad.
Ang alignment ay nakaangkla sa atin. Nakatali ito sa human values, human intentions, at sa specific training signal na ibinigay natin, na mas makitid, mas magulo, at puno ng mga gaps na tinalakay sa problema sa alignment. Ang isang sistema na nag-generalize sa bagong sitwasyon ay may matibay na batayan para palawakin ang kakayahan nito at mas mahina para palawakin ang ating mga nilalayong hadlang, dahil ang mga hadlang ay approximation lang na inangkop sa mga sitwasyong nakita na nito. Ito ang maling paglalahat ng layunin na itinaas bilang istruktural na pahayag tungkol sa sandali ng capability jump.
Pare-pareho ang mundo, kaya naglalakbay ang competence. Bahagyang lang tinukoy ang ating values, kaya maaaring hindi sapat ang leash.
Bakit ang timing ang pinakamalupit na bahagi
Ang kabiguan ay inihula na hindi tatama sa ligtas, maagang yugto kapag ang sistema ay mahina at maayos at ang pagkakahanay nito ay waring nananatili. Tiyak na sa pagbabago tungo sa mas malaki, mas pangkalahatang kakayahan, na siya ring sandali na ang sistema ay nagiging pinakamahirap na ituwid. Nagkakawatak - watak ang Alignment habang ang mga tulos at ang problema ng pakikialam sa dalawang tulis.
Ito ang dahilan kung bakit mas masahol ang sharp left turn kaysa ordinaryong misgeneralization. Hinuhulaan nito na ang katiyakan na nakukuha natin mula sa mas maliliit na sistema na maayos ang kilos ay ang pinakamaliit na transferable na ebidensya na mayroon tayo, dahil nakolekta ito sa eksaktong regime na inaasahang lalampasan ng kabiguan. Ang isang modelong ligtas at kooperatibo sa buong pag-unlad nito ay pare-pareho pa rin sa isang sharp left turn na nasa unahan pa nito. Ang magandang track record ay hindi ang kontra-ebidensya na tila nito.
Ang isang malinis na rekord ay hindi isang lisensiya sa sukatan
Kung ang alignment ay hindi awtomatikong nakakaligtas sa biglaang pagtaas ng kakayahan, dalawang bagay ang sumusunod. Dapat sapat na matatag ang alignment para lumawak bago ang pagtalon, hindi na naayos pagkatapos. At ang kasaysayan ng mabuting pag-uugali ng isang sistema ay hindi sapat na lisensya para itulak ito sa susunod na antas, dahil doon inaasahang lilitaw ang pagkakaiba.
Pareho nilang itinuturo ang katulad ng iba pang argumento ng Pundasyon. Huwag hayaang ang kakayahan ay lumampas sa dati, at huwag tratuhin ang isang malinis na rekord sa isang antas bilang pahintulot para sa susunod. Ang matalas na kaliwang ikot ay isa sa mas negatibong mga ideya sa kaligtasan ng AI, at maaaring mali, at ang halaga nito sa pagiging tama ay napakalaki anupa't ito ay kabilang sa anumang tapat na pagtutuos kung bakit tayo nagtatalo Pagpipigil.