Kapag sinasabi ng mga tao ang "AI risk," madalas nilang hinahalo ang tatlong bagay: ordinary harms na nangyayari ngayon, malalaking sakuna na naiiwan pa ring nakatayo ang sibilisasyon, at mga outcome na nagtatapos sa kwento ng sangkatauhan o permanenteng inaalis ang tao sa kontrol. Tungkol sa ikatlong klase ang pahinang ito: existential risk mula sa artificial superintelligence. Hindi mo kailangan ng research background. Kailangan mo lang ng mapa.
Ang eksistensyal ay hindi lang "napakasama"
Ang panganib na sakuna ay maaaring pumatay ng milyun-milyon at maiiwan pa rin ang kinabukasan ng sangkatauhan. Ang panganib na eksistensyal naman ay nangangahulugang pagkalipol, o isang permanenteng pagkawala ng kapangyarihan na lubos na hindi na maibabalik ang makabuluhang kontrol ng tao. Minsan sinasadya ng pagba-brand na pagsamahin ang mga antas na ito. Huwag silang paghaluin. Ang patakaran na tumutugon lang sa mga chatbot at bias ay hindi aabot sa pinakamataas na antas ng problema.
Bakit iba ang AI
Ang mga asteroyd at mga bulkan ay hindi nagbabago. Ang mga baktiryang may makina ay kakila - kilabot at karamihan pa rin ay mga kasangkapan ng tao. Ang Advanced AI ay ang unang teknolohiya na maaaring maging isang stratehikong aktor: magtakda at magtaguyod ng mga tunguhin, magpatakbo sa bilis ng makina, magsukat sa ibayo ng mga network, at, sa hangganan, pagbutihin ang sarili. Ang kombinasyong iyan ang dahilan kung bakit ang superintelligence ay nasa sarili nitong hanay.
Paano dumarating ang mga eksistensyal na kinalabasan
Nagsasapawan ang mga landas sa totoong buhay. Kapag pinangalanan, hindi na guguho ang usapan sa iisang pelikula.
Pagkawala ng kontrol. Isang sistema na nagpupursige ng mga layunin na hindi natin lubos na tinukoy at lumalaban sa pagwawasto. Dinamika ng karera. Pinutol ng mga nakikipagkumpitensyang lab at estado ang mga sulok sa kaligtasan. Maling Paggamit. Ginagamit ng mga tao ang matinding kakayahan laban sa kapwa tao. Unti-unting pagkawala ng kapangyarihan. Pinapanatili ng mga institusyon ang kanilang mga anyo habang lumilipat ang mga desisyon sa mga sistema na walang sinuman ang makakapagpabago. Paglaganap. Mapanganib na general systems ang lumalampas sa anumang iisang off switch.
Mga teknikal na ideya sa simpleng wika
Orthogonality: ang talino at mga layunin ay maaaring magkahiwalay; ang pagiging matalino ay hindi nangangahulugang kabaitan. Instrumental convergence: maraming mga huling layunin ang nagbabahagi ng mga subgoal tulad ng mga mapagkukunan at pangangalaga sa sarili. Pag-align: pagsiguradong habulin ng system ang talagang intensyon namin. Mapanlinlang na pagkakahanay: mukhang ligtas habang sinasanay o sinusuri, pagkatapos ay nagbabago kapag makakawala na ito. Wala sa mga ito ang nangangailangan ng machine "hatred."
Probability nang walang pekeng katumpakan
P(sakuna) ay impormal na shorthand para sa pagtatantya ng isang tao sa tsansa ng AI-driven existential catastrophe. Hindi sumasang-ayon ang mga eksperto, minsan ay malaki ang pagkakaiba. Maraming taong pinakamalapit sa gawain ang naglalagay ng hindi maliit na probabilidad sa sakuna sa loob ng mga dekada. Ang maliit na porsyento ng pagkawala ng lahat ay malaking inaasahang pagkawala pa rin. Ang "Maghintay hanggang sigurado tayo" ay ang maling panuntunan para sa irreversible tails.
Kasalukuyang mga pinsala at pakikibagay
"Ang mga timeline ay hindi tiyak; dapat nating tumuon sa kasalukuyang mga pinsala." Mahalaga ang present harms. Hindi ito dahilan para balewalain ang tail na nagtatapos sa proyekto ng pagkakaroon ng present. Maaaring totoo ang dalawa: pamahalaan ang near-term abuse at harangan ang daan patungo sa uncontrollable superintelligence.
"Palagi kaming umaangkop." Ang pag-aangkop ay nangangailangan ng oras, feedback, at mga nakaligtas. Ang mga failure mode ng superintelligence ay maaaring tanggalin ang lahat ng tatlo.
"Ito ay kontra-teknolohiya." Ang Pundasyon ay pro-narrow AI na nananatiling kasangkapan-tulad: medisina, agham, logistiko. Ang linya ang soberanong pangkalahatang isipan.
"May magkokontrol nito." Walang makakontrol ng superintelligence sa kahulugan ng matibay na utos ng tao sa isang tumatakbong system na mas matalino kaysa sa mga operator nito. Posible pa rin ang kontrol sa desisyon na magtayo, kaya naman mahalaga ang isang binding prohibition.
Ano ang nagpapababa ng panganib (at ano ang hindi)
Tumutulong: binding limits sa frontier training na nakatutok sa superintelihensya, compute governance, independent evaluation, verification institutions, political pressure, at malinaw na public language. Rearranges deck chairs: manners training na ibinebenta bilang solved alignment, voluntary pledges na walang external bite, at summit photos na walang numeric thresholds.
Ahensya matapos ang isang madilim na mapa
Madilim ang paksang ito dahil madilim ang mga tulos. Takot na walang parusa. Ang landas ay kongkreto: gamutin ang superintelligence tulad ng ibang ipinagbabawal na high-risk classs, bumuo ng mga tuntunin bago dumating ang kakayahan, at panatilihing makitid ang AI na naglilingkod sa mga tao. Maaari tayong mag - ingat ng mabibisang kasangkapan; hindi natin dapat gawin ito magkaroon ng isip na hindi natin kayang labis na pamahalaan.