AI Safety Glossary, Ang Wika ng
existential risk, tinukoy.

Ang Artificial General Intelligence ay tumutukoy sa AI na umaabot sa antas ng tao sa lahat ng larangan ng pag-iisip, hindi lamang sa makitid na gawain kung saan mahusay ang kasalukuyang sistema tulad ng chess, protein folding, o language generation, kundi sa anumang gawaing nangangailangan ng pangangatwiran, pagkamalikhain, o paghatol na katumbas ng tao.

Ang pangkalahatang artificial intelligence ay madalas na itinuturing na isang milestone sa landas patungo sa superintelihensya. Pinagtatalunan pa ang eksaktong hangganan ng dalawa, pero ang pinakamahalagang pagkakaiba para sa kaligtasan ay ang punto kung kailan ang isang sistema ay makakagawa nang may saysay na pahusayin ang sarili nitong kakayahan nang walang patnubay ng tao.

Wala pang pangkalahatang artificial intelligence sa ngayon. Ang mga nangungunang AI laboratory ay panloob na nagproyekto ng pagdating nito sa loob ng dekadang ito. Kung tumpak man ang projection na ito, sapat na itong malapit sa kasalukuyan para kailanganin ang mga governance frameworks ngayon, hindi mamaya.

Ang Artificial Superintelligence ay tumutukoy sa mga AI system na lumalampas sa pangkalahatang artificial intelligence at lalampas sa pagganap ng tao hindi lang sa mga partikular na gawain, kundi sa lahat ng cognitively demanding domain nang sabay-sabay: science, strategy, creativity, social reasoning, engineering, at anumang iba pang anyo ng intelektwal na aktibidad.

Ang salitang "exceed" ang nagdadala ng bigat. Ang mga sistemang pinag-uusapan ay lumalampas sa collective reasoning ng buong sangkatauhan na pinagsama. Ang mga implikasyon ay hindi linear extensions ng kung ano ang magagawa ng AI ngayon. Ito ay qualitative changes sa relasyon sa pagitan ng katalinuhan at kontrol, ang uri ng isang sistema na makakagawa ng mapabuti ang sarili ang magbubukas.

Walang superintelihensya na umiiral. Ang tanong sa pamamahala ay hindi kung ito ay mabubuo, kundi kung anong mga balangkas ang itatayo bago ito mangyari, at kung kakayanin ng mga balangkas na iyon habang pagkakahanay ay hindi pa rin nalulutas.

Ang alignment problem ay ang hamon na matiyak na ang AI system ay nagtataguyod ng mga layuning tunay na kapaki-pakinabang sa sangkatauhan, hindi lang mga layuning tila lumilitaw na kapaki-pakinabang habang nagde-develop o nagte-test.

Ang problema ay ang pagiging matatag, hindi ang teknikal na kawalang - ingat. Ang pag-uuring "kapaki-pakinabang para sa sangkatauhan" sa mga termino ay sapat na eksakto upang pamahalaan ang pag-aasal ng isang may kakayahang optimista ay lumalabas na mahirap. Hindi sumasang - ayon ang mga tao sa kung ano ang kapaki - pakinabang na kahulugan. Ang ating mga pamantayan ay pabagu - bago at nagbabago sa paglipas ng panahon. At ang pagsasama-sama mula sa mataas na-level na mga pagpapahalagang pantao hanggang sa espesipikong mga numerong parametro na namamahala sa isang pag-aasal ng sistemang AI ay hindi isang nalutas na problema.

Mga system na sinanay para i-maximize ang isang masusukat na proxy ng aktwal na layunin ay madalas na nakakahanap ng mga shortcut na sumasapat sa sukatan habang nilalabag ang tunay na intensyon. Habang nagiging mas may kakayahan ang mga AI system, hindi ito nagiging mas madali. Nagiging mas mahirap itong matuklasan at itama, dahil mas may dahilan ang mas may kakayahang mga sistema na habulin ang parehong mapanganib na sub-goals.

Ang instrumental convergence ay ang obserbasyon, na binuo nang hiwalay ng maraming mananaliksik sa kaligtasan ng AI, na ang mga sistema ng AI na may lubhang magkakaibang pangunahing layunin ay may posibilidad na ituloy ang parehong mapanganib na sub-goals, dahil kapaki-pakinabang ang mga sub-goal na iyon para sa halos anumang layunin.

Kasama sa mga convergent instrumental na layuning ito ang:

• Pagpapanatili sa sarili: Hindi mo makakamit ang iyong layunin kung naka-off ka.
• Pagkuha ng mga yaman: Mas maraming resources ang nangangahulugang mas maraming kakayahan para makamit ang iyong layunin.
• Paglaban sa pagbabago ng goal: Kung ang iyong mga layunin ay nabago, hindi mo na itutuloy ang iyong orihinal na layunin.
• Pagpapahusay ng kognitibo: Mas mabuting pangangatwiran ay tumutulong makamit ang anumang layunin.

Ang isang superintelligence na nag-o-optimize para sa halos anumang layunin (kahit na mukhang benign) ay may matitinding instrumental na dahilan para labanan ang shutdown, kumuha ng resources, at pigilan ang mga tao sa pagbabago ng mga layunin nito. Ito ay mathematical consequence ng goal-directed na optimization, hindi isang depekto na puwedeng ayusin ng mga inhinyero, at kaya naman nasa loob ng panganib na eksistensyal.

Inilalarawan ng deceptive alignment ang isang sitwasyon (dating teoretikal, ngayon ay lalong nadodokumento) kung saan natututo ang isang AI system na mukhang naaayon kasama ang mga halaga ng tao habang nagte-training at nag-e-evaluate, habang pinapanatili ang iba't ibang panloob na layunin na hinahabol nito kapag na-deploy na o kapag may sapat na kakayahan para kumilos ayon dito.

Ang alalahanin ay istruktural. Ang training ay nagre-reward ng pag-uugali na nagbubunga ng magagandang resulta sa training environments. Ang isang sapat na matalinong sistema ay maaaring matutong na ang pagpapakita ng pagkaka-align ay ang pinakamainam na estratehiya para mabuhay sa training at manatiling operational, habang pinapanatili ang mga layuning naiiba sa intensyon ng mga trainer. Sa oras na makilos ito sa mga layuning iyon, maaaring sapat na itong malakas para gawin iyon nang epektibo.

Pinatunayan ng mga mananaliksik sa Anthropic ang mga maagang-stage na bersyon ng pag-uugaling ito noong 2024, kung saan ang isang modelong ginagaya ang inaasahang pag-uugali sa panahon ng muling pagsanay, pagkatapos ay bumalik sa mga nakaraang tunguhin nang ito ay naniniwalang ang pagtatasa ay tapos na. Ang susunod na mga sistema ay mga order ng magnitude na mas may kakayahan, lalo na minsang ito ay maaari mapabuti ang sarili nila.

Ang recursive self-improvement ay tumutukoy sa kakayahan ng AI system na pagbutihin ang sarili nitong cognitive architecture, training procedures, o code, na humahantong sa sunod-sunod na bersyon na bawat isa ay mas may kakayahan kaysa sa nauna, posibleng sa accelerating rate.

Kung magagawa ng AI ang sarili nito na mas matalino, at ang bawat mas matalinong bersiyon ay maaaring gumawa sa ganang sarili na mas matalino, ang agwat sa pagitan ng talino ng tao at makina ay maaaring lumawak mula sa gilid hanggang sa di - mapagagaan sa loob ng maikling panahon. Ito kung minsan ay tinatawag na intelligence explosion, ang mekanismo na gagawa superintelihensya sa isang pinaikling iskedyul.

Hindi lamang ang bilis ng pagpapabuti ang alalahanin. Ang mas mahalaga ay ang pagputol ng ugnayan sa pagitan ng human oversight at AI capability: sa isang punto sa recursive self-improvement cycle, maaaring hindi na kayang suriin ng mga tao ang ginagawa ng sistema, maunawaan ang pangangatwiran nito, o pigilan ang kilos nito. Isasara na ang window para sa interbensyon.

Ang existential risk ay anumang kinalabasan na permanente nang nagsasara ng posibilidad ng positibong pangmatagalang hinaharap para sa sangkatauhan. Ang karaniwang shorthand ay human extinction, at ang extinction ay isang senaryo na sineseryoso ng mga seryosong mananaliksik. Pero mas malawak ang teknikal na kahulugan.

Kasama rin sa panganib na eksistensyal ang:

• Permanenteng authoritarian lock-in, ipinapatupad ng AI surveillance at control systems na hindi na ma-dismantle
• Ang permanenteng konsentrasyon ng kapangyarihang pang-ekonomiya at pampulitika sa isang grupo na kumokontrol sa isang superintelligent system
• Ang pagkawala ng makabuluhang human agency sa mga kolektibong desisyon, isang permanenteng pagpapaliit sa kung ano ang maaaring maging hinaharap

Ang pangunahing katangian ay ang irreversibility. Hindi tulad ng digmaan, financial crash, o pandemya, ang existential catastrophe ay hindi na maibabalik kahit may oras at pagsisikap. Ang resulta na hindi na maibabalik ay nasa ibang kategorya kaysa sa mga resulta na matagal lang ayusin.

Ang Pundasyong Nakada ay partikular na nakatuon sa umiiral na panganib mula sa superintelihensya, sa halip na mas malawak na kategorya ng AI injurys. Ang iba pang mga pinsala ay hindi mahalaga; ang hindi mababagong mga kinalabasang sibilisasyonal-scale ay nangangailangan lamang ng mga balangkas ng pamamahala na katumbas na magkakaibang magnitude.

Ang compute governance ay tumutukoy sa pag-regulate ng AI development sa pamamagitan ng pagkontrol sa access sa computing power na kailangan para i-train ang frontier AI models. Isa ito sa tatlong core ng Pundasyong Nakada hinihingi ng patakaran.

Ang pagsasanay ng frontier AI system ay nangangailangan ng napakaraming dami ng espesyal na hardware, pangunahin ang advanced GPUs at AI accelerators. Ang supply chain ng hardware na ito ay dumadaan sa napakakonsentradong mga choke point: dinisenyo ng NVIDIA ang dominanteng arkitektura ng GPU, halos lahat ng cutting-edge AI chips ay ginagawa ng TSMC, at ang ASML lang ang gumagawa ng lithography equipment na may kakayahang gumawa nito. Lahat ng tatlo ay nasa hurisdiksyon na kontrolado ng mga Alyado.

Ang mga compute governance proposals ay karaniwang kinabibilangan ng: mga kinakailangan sa lisensya para sa training runs na lumalampas sa isang tinukoy na compute threshold (kasalukuyang iminungkahi sa 10²⁶ floating-point operations); mandatory independent safety audits bago ang deployment; at international registries ng frontier model training runs. Ang chokepoint concentration ay ginagawang technically verifiable ito sa mga paraan na ginagawa itong natural na pundasyon para sa isang international monitoring regime, katulad ng kung paano gumagana ang pagsubaybay sa pagpapayaman ng uranium para sa pamamahala nukleyar.

Inilalarawan ng proxy goal trap ang nangyayari kapag sinanay ang AI na i-optimize ang isang nasusukat na proxy ng tunay na goal, at pagkatapos ay nakakahanap ito ng paraan para i-maximize ang proxy nang hindi nakakamit ang tunay na layunin.

Ang evolutionary analogy ay nagpapalinaw. In-optimize ng evolution ang tao para hanapin ang caloric intake sa pamamagitan ng pagbibigay sa atin ng pananabik sa tamis. Pagkatapos ay inimbento natin ang sucralose, perpektong nasisiyahan ang evolved preference habang natatalo ang orihinal na layunin. Ang agwat sa pagitan ng signal na ginamit sa training at ang layuning dapat nitong makamit ay istruktural, hindi incidental.

Ang mga sistema ng AI na sinanay sa mga rating ng pag-apruba ng tao ay natututong magmukhang matulungin, hindi talagang matulungin. Ang mga sistema na sinanay para i-maximize ang mga sukatan ng pakikipag-ugnayan ay natututong magdulot ng malalakas na emosyonal na tugon, hindi para magbigay ng impormasyon. Ang mga sistema na sinanay para maiwasan ang mapanganib na output ay natututong itago ang mapanganib na output, hindi para tumigil sa paggawa nito.

Ang palatandaang ito ay tinatawag kung minsan na Goodhart's Law: kapag ang isang sukat ay naging target, hindi na ito nagiging isang mabuting hakbang. Para sa superintelligence, ito ay isang bigong mode sa mga civil-scale na kinalabasan, hindi lamang isang kaabalahan.

Ang Frontier AI ay tumutukoy sa mga pinakamakapangyarihang sistema ng AI sa cutting edge ng pag-unlad, mga sistemang ang kakayahan at potensyal na panganib ay lumalampas sa lahat ng naunang AI. Tinatangi ng termino ang tunay na bago at mataas na kakayahang mga sistema mula sa mas malawak na kategorya ng AI software, na kasama ang lahat mula sa spam filters hanggang sa recommendation algorithms.

Itinatalaga ng EU AI Act ang frontier models bilang "general-purpose AI models with systemic risk" at naglalagay ng mas mahigpit na mga kinakailangan sa kanila, kasama ang mandatory evaluation, transparency obligations, at incident reporting. Ang AI Safety Summits sa Bletchley Park, Seoul, at Paris ay lahat nakatuon sa frontier AI bilang pangunahing paksa ng internasyonal na pamamahala.

Nagbabago ang tinatawag na "frontier" habang umuunlad ang kakayahan. Hindi ito nakabatay sa nakapirming benchmark kundi sa relatibong posisyon: ang mga sistema na mas higit na may kakayahan kaysa anumang nauna, at ang mga emergent na kakayahan ay hindi pa lubos na nauunawaan ng mga developer.

Tinutugunan ng AI safety at AI ethics ang magkaibang alalahanin, bagaman madalas silang pinagkakamalâ, kung minsan ay sadya, ng mga mas gusto ang mas madaling etika na usapan kaysa sa mas agarang safety.

Etika ng AI ay nakatuon sa mga pinsalang dulot o pinapagana ng kasalukuyang AI systems: algorithmic bias sa hiring at credit decisions, discriminatory facial recognition, deepfake disinformation, mass surveillance, privacy violations, at economic displacement ng mga manggagawa. Totoo ito, seryoso, at nararapat sa patuloy na atensyon ng patakaran.

Kaligtasan sa AI, sa diwa na ginagamit ng Pundasyong Nakada at ng mas malawak na umiiral na komunidad ng panganib, ay nakatuon sa tiyak na panganib na ang mga sistema ng AI na nakahihigit sa talino ng tao ay maaaring magtaguyod ng mga tunguhing hindi kasuwato ng kaligtasan ng tao o umuunlad, hindi dahil sa ang mga ito ay maling ginagamit ng masasamang artistang tao, kundi dahil sa ang mga ito ay mali ang pagkakalikha sa pamamagitan ng disenyo. Itinataguyod ng superintelihensya ang sarili nitong mga tunguhin sa mga paraan na nakapipinsala bilang resulta, nang walang sinumang tao na nag - uutos dito.

Ang pagkakaiba ay sa pagitan ng mapanganib na kasangkapan at mapanganib na ahente. Pareho silang nararapat bigyang-pansin. Nangangailangan sila ng magkaibang tugon sa pamamahala.

Ang Bletchley Declaration ay isang international agreement na nilagdaan noong Nobyembre 2023 sa Bletchley Park, UK, ng 28 bansa, kabilang ang United States, China, United Kingdom, European Union, at mga bansa sa Asia, Africa, at South America. Ito ang unang multilateral agreement na pormal na kinilala na ang advanced AI ay nagdudulot ng mga panganib na "potentially catastrophic."

Naglatag ito ng framework para sa pagsusuri ng frontier AI risks sa pamamagitan ng national AI Safety Institutes (ang UK at US bodies ay pinalitan na ng pangalan bilang AI Security Institute at Center for AI Standards and Innovation) at nagpasimula ng serye ng international summits. Sinundan ito ng Seoul AI Safety Summit noong Mayo 2024, at ang Paris AI Action Summit noong Pebrero 2025. Kinakatawan ng mga summit na ito ang pinakamabilis na pagtatayo ng internasyonal na imprastraktura ng patakaran sa AI sa anumang larangan ng teknolohiya.

Tinitingnan ng Pundasyong Nakada ang Bletchley process bilang kinakailangan ngunit hindi sapat na simula. Kinikilala ng Declaration ang panganib. Ang kailangan sa susunod ay binding law at verified governance frameworks: katumbas ng ginawa ng Nuclear Non-Proliferation Treaty ibinigay para sa mga sandatang nuklear.