Ang P(sakuna) ay hindi teknikal na termino mula sa isang pormal na papel. Ito ay lumitaw sa online AI safety discussions bilang shorthand para sa isang probability estimate na hindi sana ikinakabit ng karamihan ng mga mananaliksik bago ang 2020 ng numero. Ang pagpayag na i-quantify ito (na tratuhin ang catastrophic AI risk bilang probability na tataantiyahin imbes na posibilidad na malabong ituro) ay isa sa mga makabuluhang pagbabago sa kung paano iniisip ng mga taong pinakamalapit sa AI development ang problema.
Ang mga tantiya ay mula sa ilang porsiyento hanggang sa mahigit na 50%, depende sa mananaliksik at kung paano nila sinusuri ang problema ng pagkakahanay at ang bilis ng pamamahala.
Ang “doom” sa P(sakuna) ay sadyang hindi tinukoy. Iba’t ibang mananaliksik ang gumagamit nito para sa human extinction, permanenteng pagkawala ng human autonomy, permanenteng konsentrasyon ng kapangyarihan sa isang aktor, o iba pang sibilisasyonal na sakuna. Kinikilala ang imprecision; ang punto ng termino ay pilitin ang explicit quantified reasoning tungkol sa panganib sa halip na umasa sa intuwisyon tungkol sa kung ito ay “totoo” o “speculative.”
Ano ang Itsura ng mga Estimasyon
Kapansin-pansin ang pagkakaiba sa hanay ng mga mananaliksik na ito. Nagkakahiwalay sina Hinton at Yudkowsky ng sampu-sampung porsyento. Ang pormal na pagkakahati-hati ni Carlsmith ay nagbigay ng malawak na hanay sa halip na isang tiyak na pagtatantya, na nagpapakita ng tunay na kawalan ng katiyakan sa bawat hakbang. Ang pinagkakapareho ng mga pagtatantya ay hindi ito maliit; wala sa mga mananaliksik na nakatuon sa kaligtasan na seryosong nag-aral ng problema at nagbigay ng numero ang nakababa sa humigit-kumulang 5%.
Itakda ang sarili mong pananaw sa bawat crux sa ibaba at panoorin kung paano sila nagiging isang solong estimate.
Bakit umiiral ang malawak na saklaw
Ang P(sakuna) bilang numero ay produkto ng ilang hindi tiyak na intermediate questions na pinagmulta. Gaano kabilis uunlad ang AI capabilities? Gaano kahirap ang alignment problem sa capability levels na lampas sa mga nasubukan na natin? Gaano kalamang na ang misaligned AI ng isang partikular na capability level ay magdudulot ng catastrophic kaysa contained harm? Gaano kalamang na epektibong tutugon ang governance bago maabot ang critical capability threshold?
Magkaiba ang distribusyon ng iba’t ibang mananaliksik sa mga tanong na ito, at nagkocompound ang mga estimate. Ang mananaliksik na naniniwalang tractable ang alignment problem, medyo mabagal ang pag-unlad ng capabilities, at tutugon ang governance sa tamang panahon ay magkakaroon ng mas mababang overall estimate kaysa sa naniniwala sa kabaligtaran sa bawat tanong. Ang malawak na saklaw ay sumasalamin sa tunay na kawalan ng katiyakan tungkol sa bawat factor, hindi sa hindi pagkakasundo na malulutas sa mas maingat na pagsusuri ng parehong ebidensya.
Ang argumento ng expected value
Isang karaniwang tugon sa hindi-hindi gaanong P(sakuna) estimates ay: "Kahit 10% ay parang masyadong mababa para baguhin ang lipunan." Ang tugon na ito ay nakabatay sa kakulangan ng expected value reasoning na hindi tatanggapin sa ibang konteksto ng panganib.
Ang taunang probabilidad ng isang major pandemic na kayang pumatay ng milyon-milyon ay tinatantya na mas mababa sa 1% sa anumang taon, pero malaki pa rin ang global investment at policy attention na natatanggap ng pandemic preparedness. Ang lifetime probability na mamatay sa car accident sa US ay humigit-kumulang 1%, at itinuturing na normal ang road safety regulation. Ang argumento na ang 10% (o kahit 5%) na probabilidad ng civilizational catastrophe ay hindi nangangailangan ng seryosong precautionary investment ay hindi coherent na aplikasyon ng kung paano namin hinahawakan ang risk sa ibang larangan.
Ang inaasahang halaga ay malamang na mas malaki. Para sa mga panganib na hindi na mababago at ang sibilisasyonal ayon sa lawak (kung saan walang pagbawi mula sa masamang kinalabasan, at ang masamang kinalabasan ay gumagampan ng lahat ng halaga sa hinaharap) ang inaasahang halaga ng pag-iingat ay nananatiling malaki kahit na sa mga probabilidad na mababa sa 10%. Isang 1% tsansa na mawala ang lahat ng bagay ay isang problema na ang inaasahang halaga ay 1% ng lahat ng bagay, na, sa ibayo ng lawak ng nilalaman ng long-run hinaharap, ay isang napakalaking bilang, hindi isang 1% problema.
Ano ang magpapababa sa P(sakuna)
Ang mga mananaliksik na nagpapahayag ng mataas na P(sakuna) na mga tantiya ay nag-diagnose kung saan kailangan ang pinakakritikal na gawain, hindi nangangahulugang sumusuko sa masamang resulta. Ang mga salik na magpapababa sa P(sakuna) sa karamihan ng mga tantiya ng mananaliksik ay lubos na nauunawaan: ipinakitang pag-unlad sa mga kasangkapan sa interpretability na may kakayahang mag-verify ng alignment sa frontier systems; scalable oversight approaches na humahawak sa mga antas ng kakayahan na lampas sa human experts; binding international governance frameworks na may tunay na pagpapatupad; at capability development na mas mabagal kaysa sa alignment research upang maitatag ang kaligtasan bago maabot ang mapanganib na antas ng kakayahan.
Ang Pundasyon ay nakatuon sa mga balangkas ng pamamahala at pananaliksik ng paghahanay bilang pangunahing mga pingga, sa halip na alinman sa pagpapawalang-bisa sa panganib o paggamot sa isang partikular na P(sakuna) ang pagtatantiyang may awtoridad na sagot. Ang kawalang - katiyakan sa P(sakuna) ay hindi dahilan upang maghintay ng higit pang impormasyon, ang masamang resulta ay dumarating sa espesipikong mga hangganan ng kakayahan, hindi sa isang timeline na nagpapahintulot ng walang takdang pagpapaliban ng pag - iingat.