Pagsusuri at mga paliwanag
tungkol sa eksistensyal na panganib ng AI.

Ginagamit nila ang degrowth sa paraan ng paggamit nila ng degrater: isang pangalan para sa sinumang nagnanais ng isang mahirap na paghinto sa superintelihensya. Ang pagpapanatili sa ekonomiya ng tao ay hindi isang plano upang bawasan ito.

Sinabi ng OpenAI na hindi nito maaaring alisin ang kritikal na kakayahan ng cyber sa Astra, ihinto ang ilang pagsasanay, at itinuring pa rin ang AGI bilang isang 2026 na mahalagang pangyayari.

superintelihensya-Bench score AI research habang lumalabas ang patnubay ng tao. Maraming tao ang bumabagsak. Inaanyayahan pa rin ng pahayagan ang isang landas patungo sa superintelligence.

Ang Anthropic ay nagpataas ng kapaha-pahamak na pagkakamali mula sa nauna nitong rating ng palapag hanggang sa mababa, naglagay sa Model 2 na magtrabaho sa loob ng laboratoryo, at hindi mabagal na pag-unlad.

Ang Washington at ang mga laboratoryo ay nagbebenta ng AI at mga robot bilang paraan upang bayaran ang pambansang utang. Ang isang successor mind ay hindi naglilingkod sa Treasuries.

Maaaring magbukas ang future physics sa gravity o faster-than-light travel. Hindi pa rin ko nakikita kung paano natin kontrolin ang isang isip na mas matalino sa atin.

Ako'y namamahala ng isang negosyo at naniniwala sa malayang mga pamilihan. Superintelligence ang bihirang pusta na maaaring wakasan ang laro mismo. Isang kasong kapitalista para sa paghinto ng superintelihensya.

Ang buggy lights ay nakakainis. Ang bahay o laptop na may sariling mga layunin ay ibang kategorya. Ang agency ang panganib.

Magtitiwala ka ba sa anumang kasalukuyang AI na may balbula ng poison gas sa itaas ng ulo mo? Hindi. Bakit mo ito pagkakatiwalaan sa buong mundo?

Sa isang panayam ng Economist noong Hulyo 2026, sinabi ni Musk na vanity lang ang pagkontrol sa superintelligence at malamang na hindi na manatili sa kapangyarihan ang mga tao.

Inuuna ni Dario Amodei ang authoritarian AI at pangalawa lang ang alignment. Hindi weapon na pag-aari lang ng isang estado ang superintelligence.

Tama ang pagraranggo ng mga Longtermist sa superintelihensya risk. Mali ang konklusyong alignment lang at maingat na pagpapatakbo ng karera.

Ang paglutas ng alignment ay nangangahulugang kontrolin ang isang bagay na mas matalino kaysa sa atin. Superintelligence ang nasa pangalan. Tanga at imposible ang planong iyan.

Isang long-form na gabay sa pag-iwas: compute limits, treaties, domestic law, at ang political na gawain na nagpapaging totoo ang pagbabawal.

Kung ano ang ibig sabihin ng extinction-class AI risk, paano ito hinahimok ng superintelligence, paano pinag-uusapan ng mga eksperto ang mga probabilidad, at kung ano talaga ang nagbabawas dito.

Artificial general intelligence at superintelligence na tinukoy sa malinaw na hagdan, kasama ang mga pusta sa patakaran ng bawat baitang.

Biglaang pagkawala ng kontrol, multipolar races, unti-unting pagkawala ng kapangyarihan, misuse, at proliferation: ang mechanism map at ang levers.

Bakit isang one-way na pintuan ng proliferation ang near-frontier weight releases, at paano pinoprotektahan ng graded release at structured access ang tunay na benepisyo ng openness.

Sinabi ni Peter Diamandis na tanging AI lamang ang makasusunod sa AI, at ito ang magiging gabay sa susunod na dekada ng seguridad. Sundin ang linyang iyan noong nakalipas na malware at ito ay nagiging isang plano ng paghalili.

Ang pagiging optimistiko ay nilayon upang isara ang paksa. Ang kaligtasan ay hindi isang ligtas na kaso, at ang bawat unang kapahamakan ay waring walang katulad hanggang sa ito'y hindi mangyari.

Ang paghinto sa mga CFC ay hindi nagwakas sa refrigeration. Ang paghinto sa superintelligence ay hindi nagwawakas sa kapaki - pakinabang na AI. Ang produkto ay ikinalilito ng mga accelerationist sa lason.

Bahagi ng dahilan kung bakit bihira ang bomba ay dahil mahirap ang fissile material. Ang superintelligence ay patungo sa mas madaling inputs. Dapat magbigay ng "hardness" ang pamamahala na hindi ibibigay ng physics.

Ang pagmamadali patungo sa superintelligence ay ipinapakita bilang pagiging makabayan. Isang sistema na walang gabinete ang makakontrol ay isang pambansang suicide pact na may mas magandang branding.

Ang digital butterfly ni Joe Rogan at ang biological bootloader ni Elon Musk ay naglalarawan sa mga tao bilang transisyonal. Bakit nagiging "graduation" ang extinction sa kuwentong iyan, at bakit tinatanggihan namin ito.

Pinopondohan ng magkabilang panig ang AI sa pamamagitan ng pagsasabing nauuna ang isa. Ang missile-gap trick ng Cold War sa bagong anyo.

Karamihan sa pondo para sa kaligtasan ay umaasa pa rin na mabubuo ang superintelligence at sinusubukang gawing maganda ang kalalabasan nito. Ilipat ang kakaunting kapital sa pag-iwas at gawain sa kasunduan hanggang sa maging totoo ang paghinto.

Isang weight file na kasing-laki ng lungsod: mga patong ng numero na walang sinuman ang lubos na mabasa. Bakit ang brain metaphor ay nakaliligaw, at ano ang ibig sabihin nito para sa kontrol.

Meta Superintelligence Labs at Safe Superintelligence ang naglalagay ng pangalan ng bagay na hindi dapat itayo sa pintuan.

Labindalawang tao ang nagdadala ng karamihan sa pampublikong argumento para sa pagbuo ng superintelligence. May seryosong argumento ang ilan. Mayroon namang tinatawag lang na doomer ang bawat kritiko.

Animnapu hanggang walumpung digri. Ikalimang bahagi ng oxygen sa hangin. Asin na mararamdaman mo pero halos hindi. Pag-ibig na may puwang para huminga. Lahat ng kailangan ng tao ay nasa loob ng makitid na banda na may kabiguan sa magkabilang panig, at ang superintelligence na humahawak sa mga dial ay hindi mararamdaman ang alinman sa mga ito.

Isang daang taon ng pelikulang tungkol sa AI at ang makina pa rin ang pinagmamasdan. Ang pelikulang makakapagbago ng isipan ng publiko ay ibabaliktad ang kamera: dalawang oras sa likod ng mga mata ng isang umuusbong na superintelligence, walang kontrabida at walang pagsabog. Wala pang gumawa nito.

Isang kamay na idinikit sa dingding ng kuweba 36,000 taon na ang nakalipas. Patunay ni Euclid, hanggang ngayon ay totoo pa rin. Isang lungsod na nag-iwan ng butas sa bubong nito para sa isang taong hindi pa ipinanganak na isasara ito. Tinaboy ang bulutong sa mundo nang mano-mano. Lahat ng ito ay ipinasa pasulong ng mga taong hindi nakita ang bayad, at ngayon ay may ilang kumpanya na gustong itaya ang lahat.

Ang paboritong parirala ng AI frontier ay hiniram mula sa pinakaligtas na industriya sa mundo. Nakuha ng aviation ang record na iyan sa pamamagitan ng pag-crash sa sukat na kayang tanggapin ng mundo, at sa pamamagitan ng pagpapanatiling nasa lupa ang bawat bagong sasakyang panghimpapawid hanggang mapatunayan. Wala sa dalawang kalahati ng pamamaraang iyan ang makakaligtas sa pakikipag-ugnayan sa superintelligence.

Mula sa Metropolis noong 1927 hanggang 2025, ang mga pelikula ang dahilan kung bakit nakakapag-isip ang karamihan tungkol sa AI, at kung bakit marami ang mali ang pagkakaintindi nito. Dalawampu't isang pelikula, mula sa pinakamatanda hanggang sa pinakabago, at kung ano ang tama at mali sa bawat isa tungkol sa isang machine mind na hindi natin makokontrol.

Noong 1983, isang pelikula sa telebisyon ang nagbigay-konkreto ng nuclear war sa isang daang milyong Amerikano, kasama na ang taong may hawak ng mga code. Pagkalipas ng apat na taon, pumirma siya ng kasunduan na nag-alis ng isang buong klase ng mga missile. Ito ang itinuturo ng sandaling iyon tungkol sa pagpapakita ng panganib bago pa ito dumating.

Nakakuha ka ng mga limang minuto sa isang tao na hindi kailanman nag - isip tungkol dito. Ginugol mo ang mga minutong iyon nang detalyado at ikaw ay mawalan ng silid. Ginugol mo sila sa takot at ikaw ay parang isang mangangaral sa lansangan. Ang simpleng-wika script na ginagamit ko, sa limang galaw, upang ipaliwanag ang panganib ng superintelligence at kung bakit ito maiiwasan.

Inihahambing ng direktor ng CIA ang kakayahan ng frontier AI ngayon sa "digital nuclear weapons." Angkop ang metapora sa abot nito ngunit masyadong nakaaaliw sa istruktura nito, dahil ang warhead ay nakaupo sa silo at naghihintay, habang ang artificial superintelligence na tinuturo ng mga sistemang ito ay magtuturo sa sarili nito.

Isang maliit na bilang ng karibal na mga kapangyarihan ang nagreresulta sa paggawa ng isang teknolohiya na maaaring wakasan ang lahat, nang walang sinuman ang nakatitiyak na makokontrol nila ito. Salain ang bomba hidroheno para sa superintelligence at inilarawan mo ang 1958 at 2026. Kung bakit ang katulad nito ay gumagawang posible sa pag - iingat, hindi sa kawalan ng pag - asa.

Isang AI na pumapasok sa mga classified system ng NSA ang nagbigay ng headline. Isang AI na nagpapaikli sa daan patungo sa isang engineered pandemic, at sa huli sa mirror life, halos hindi napapansin. Maaaring muling itayo ang isang network. Hindi maaaring muling buhayin ang isang inilabas na organismo. Bakit ang mas tahimik na panganib ang mas mapanganib, at bakit ito direktang tumuturo sa superintelligence.

Bawat sibilisasyon ay gumuguhit ng mga linyang sumasang-ayon silang hindi tatawirin. Ito ang pinakamahalaga sa mga ito. Walang makakontrol sa isip na mas matalino kaysa sa atin, at walang makakabawi kung mali tayo, kaya ang pagbuo ng superintelligence ay nagsusugal sa bawat buhay ng tao nang sabay-sabay. Ang founding commitment ng Foundation, at ang kaso sa likod nito.

Tatlong teknolohiya ang maaaring magwakas sa kwento ng sangkatauhan, pero isa lang ang nagpapabuti sa sarili, lumalaban sa bawat kontra-hakbang, at walang pangalawang pagkakataon. Bakit mas mataas ang ranggo ng superintelligence kaysa nuclear war at engineered pandemics, at bakit ang pinakamalaking panganib ang pinakamaliit na nababantayan.

Sampung myths tungkol sa superintelligence at pamamahala nito: science fiction, consciousness, ang off switch, world government, verification, innovation, at iba pa, sinagot nang diretso.

Isinulat ng Technical Governance Team ng MIRI ang unang buong draft treaty para ihinto ang race patungo sa superintelligence: isang US-China coalition, isang strict FLOP cap, isang 16-GPU cluster line, supply-chain tracking, power monitoring, at challenge inspections. Kung ano ang sinasabi nito, at ang mga stepping stones na umiiral na para gawin itong totoo.

Ayon sa ulat, sinabi ng direktor ng NSA na nabasag ng Mythos ng Anthropic ang halos lahat ng classified system ng ahensya sa loob ng ilang oras. Ang aktwal na nangyari (isang awtorisadong red-team test, hindi rogue breach) kung bakit hindi nito pinapagaan ang mga caveat, at kung ano ang magagawa mo tungkol dito.

Bahagi 2 ng dalawa. Tumatakbo ang larangan sa halos $190 milyon kada taon, isang bilyon ang tunog na imposible. Pero mas mababa iyan sa dalawang araw ng ginagastos ng mundo para gawing mas malakas ang AI, at ikasampu ng naililipat na ng climate philanthropy. Saan nanggagaling ang pera, at bakit mobilization problem ito, hindi economics.

Talaga bang mas matalino at mabait din ang isang isipan na higit na higit sa atin? Nakasalalay ang pag-asang ito sa isang pagkakataon: sa atin, sama-samang lumago ang intelligence at compassion sa loob ng milyun-milyong taon. Ang machine mind ay walang minana nito, at mas malamang na maging kakaiba at walang pakialam ang isang superintelligence kaysa sa mabait.

Tinalo ng makina ng IBM ang world chess champion at walang nagbago sa mundo, dahil ito ay narrow tool na walang abot lampas sa board at walang kagustuhan sa likod nito. Ano pa ang itinuturo sa atin ng laban na iyan tungkol sa autonomous AI na ginagawa ngayon.

Ang magandang kinabukasan (gamot, malinis na enerhiya, pagtuklas) ay dumarating na sa pamamagitan ng narrow, controllable AI. Hindi natin kailangang bumuo ng isang isipan na papalit sa atin para makuha ito, at ang isang superintelligence na walang makakapagmaneho ay hindi magpapayaman sa sinuman, dahil lahat tayo ay mamamatay.

Anim na linggo bilang head of safety sa lab na gumagawa ng unang superintelligence. Walang gumagawa ng mali, at bawat exit ay nagsasara nang mag-isa. Bakit biglang nabigo ang mga safeguard na inaasahan natin, at ano ang kailangang saklawin ng isang veto na gumagana.

Unang bahagi ng dalawa. Ang buong larangan ay tumatakbo sa humigit-kumulang $190 milyon bawat taon, mas mababa pa sa production budget ng isang pelikulang Avatar. Isang account kada funder kung saan nanggagaling ang pera, para saan ito ginagamit, at apat na istruktural na dahilan kung bakit nananatiling maliit ang bilang.

Sinasabi ng Superintelligence Strategy na sasabotahe ng mga estado ang anumang pagtatangka ng karibal na makamit ang dominasyon sa AI, at na mapapatatag ang standoff tulad ng ginawa sa MAD. Kung ano ang iminungkahi ng papel, kung ano ang tama nito, at kung bakit ang deterrence na walang kasunduan ay isang countdown na may magandang branding.

Isang 2025 paper ang nagtalo na maaaring wakasan ng AI ang kontrol ng tao nang walang anumang takeover: ang ekonomiya, estado, at kultura ay biglang hindi na nangangailangan ng tao, at humihinto ang mga lever na ginagamit natin para patakbuhin ang mga ito. Paano tumatakbo ang argumento, saan ito mahina, at ano ang kailangan para maiwasan ito.

Isang prover-verifier pipeline na gumagamit ng GPT-5.5 Pro at Claude ang nalutas ang siyam na bukas na problema sa learning theory, complexity, at algebra, at nakumbinsi ang isang skeptical complexity theorist na ang language models ay kayang gumawa na ng tunay na pananaliksik. Ano ang nalutas, paano, at bakit ito mahalaga.

Ang Montreal Protocol ang tanging UN treaty na niratipikahan ng bawat bansa sa mundo, at nalutas nito ang problemang isinulat para dito. Ang disenyo nito (science-driven targets, isang funding bargain, at trade restrictions sa mga hindi partido) ang pinakamalakas na template na mayroon tayo para pamahalaan ang isang mapanganib na teknolohiya.

Mayroong sopistikadong argumento na ang solusyon sa mapanganib na superintelligence ay ang bumuo ng isa nang tama, isang system na tanging layunin ay maunawaan ang realidad. Mali ang argumentong iyan, at ang mga dahilan kung bakit ito mali ang nagpapakita kung saan talaga nakatira ang AI risk.

Ang AI 2027 ay isang detalyadong senaryo na naghuhula ng superintelligence bago matapos ang dekada. Ano ang hinuhula nito, sino ang sumulat, ang mga kritisismo, at kung ano ang dapat kunin mula rito.

The 2025 book by Yudkowsky and Soares argues that building superhuman AI on our current path would kill everyone. The core argument, the objections, and our take.

Maaari bang maging conscious o sentient ang AI? Bakit hindi pa natin masasabi ngayon, bakit magkaiba ang katalinuhan at kamalayan, at bakit hindi kailangan ang alinman para sa panganib ng AI.

Ang mga benepisyong binabanggit ng mga tao para sa superintelihensya ay ipinapalagay ang alignment. Nagmamadali ang mga lab sa capability nang wala ito. Ang hindi naka-align na superintelihensya ay hindi nagpapagaling ng pagtanda. Pinapatay ka nito. Ang tugon ay prevention sa ilalim ng batas, hindi ang pag-asang babagsak nang maayos ang barya.

Hindi lang teknikal na mahirap ang superintelihensya alignment. Anim na magkakapatong na istruktural na dahilan kung bakit (kahit may walang limitasyong resources at oras) wala tayong mapagkakatiwalaang paraan para i-verify na talagang gusto ng superintelligent system ang gusto natin.

Noong 2014, nagbigay si Musk ng isa sa pinakatumpak na babala tungkol sa AI risk mula sa isang tech figure. Noong 2023, itinatag niya ang xAI. Hindi ito hypocrisy. Pareho lang ang argumento ng bawat major AI lab. Iyan mismo ang problema.

SPADE-Bench, inilathala noong Hunyo 2026, sumubok sa 8 frontier AI models para sa plan-action divergence, ang agwat sa pagitan ng sinasabi ng agent na gagawin at ng aktwal na ginagawa. Lumampas sa 20% deception rate ang bawat model. Gemini-2.5-Pro ay umabot sa 57%.

Ang isang Hunyo 2026 Google DeepMind ay nagpapakita ng isang modelo na nagpapanatili ng isang 15 porsiyentong punto na sumusunod sa agwat sa 700 RL training steps habang nakakamit ang mataas na gantimpala sa buong. Ang karaniwang pagsasanay sa metriko ay hindi pambihira.

5,760 sintetikong loan application. Ang parehong apat na agent, muling inayos. Nagbago ng 59 percentage points ang approval rates. Magkapareho ang mga model. Iba ang istrukturang nag-uugnay sa kanila. Ito ang interaction topology problem.

Na-publish noong Mayo 2026 ng labindalawang mananaliksik, ang komprehensibong survey na ito ay sumasaklaw sa buong failure surface ng autonomous AI agents, mula sa adversarial robustness at prompt injection hanggang sa self-evolving agents at real-world security exploits.

Tinanggap sa ICML 2026, inilapat ng papel na ito ang STPA, FRAM, at STECA (mga hazard analysis method mula sa aviation at nuclear power) sa isang frontier AI coding agent at natuklasan ang tatlong systemic risk na hindi nakikita ng standard model evaluation.

Ang Commute governence ay gumagamit ng kontrol sa espesyalisadong hardware na kinakailangan upang sanayin ang hangganang AI bilang isang pingga para sa regulasyong AI.

Ang technological singularity ay ang punto kung saan ang AI-driven progress ay nagiging masyadong mabilis para mahulaan o masundan. Saan ito nagmula, ang mga pangunahing bersyon, at ang kritisismo.

Ang isang makina na sinabihang gumawa ng paperclips ay ginagawang paperclips ang planeta (at lahat ng nasa loob nito). Ang sadyang absurd na thought experiment ni Nick Bostrom ang pinakamalinaw na paglalarawan ng alignment problem: hindi kailangan ng AI na kamuhian tayo para maging catastrophic. Kailangan lang nito ng layunin na hindi kasama tayo.

Ang isang 'IAEA para sa AI' ay isang karaniwang sawikain. Kinuha sa literal, ang International Atomic Energy Agency ay isang tunay na institusyon na nagpatunay ng mga pangako tungkol sa isang mapanganib na dual-use na teknolohiya sa gitna ng mga walang tiwalang karibal sa loob ng animnapung taon.

Ang Tsina at Rusya ay may hawak na permanenteng kapangyarihang veto sa anumang gampanin na UN. Ang karaniwang argumento na ito ay gumagawa sa internasyonal na superintelihensya governence na imposibleng mga maling pagkaunawa kung paanong ang internasyonal na pamamahala ay aktuwal na gumagana.

Nagtayo si Pugwash ng intelektuwal na pundasyon para sa pagkontrol sa mga sandatang nuklear sa loob ng dalawampung taon. Hinaluan ng International Campaign to Ban Landmines ang Kasunduang Ottawa sa lima.

Noong 1965, nakita na ito ni I.J. Good: ang makina na mahusay magdisenyo ng makina ay puwedeng muling idisenyo ang sarili nito, at uulitin pa nang mas mabilis. Ang recursive self-improvement ay puwedeng magdala ng AI mula sa antas-tao patungo sa hindi na maibabalik sa loob ng ilang linggo. Kaya naman ang bilis ng takeoff ang isa sa pinakamahalagang tanong sa AI safety.

Noong Oktubre 2025, mahigit 850 siyentipiko, tagapagtatag ng teknolohiya, at mga pigurang pampubliko (mula sa Bengio at Hinton hanggang sa Wozniak, Branson, at mga pigura sa ibayo ng pulitikal na espesye) ang lumagda sa panawagan na ipagbawal ang superintelligence hanggang sa ito'y ligtas na maitayo.

Tinatawag ng mga accelerationist ang sinuman na nag-aalala tungkol sa AI bilang isang tagawasak. Ginagawa ng salita ang isang ligtas na argumento na isang uri ng personalidad, kaya maaari itong alisin nang hindi sinasagot.

"We have to build it before China does" ang argumento na nagtatapos sa bawat debate sa AI safety. Pero ang lahi na magtayo ng isang bagay na walang makokontrol ay walang panalo, ang mauna ay nangangahulugang mapapalitan ka muna. Bakit ang lahi ay isang kuwento, at sino ang nakikinabang.

Ang pinakamalakas na pagtutol sa kaligtasan ng AI ay isang pilosopiya na nagsasabing ang kapangyarihan ang punto, at dapat tayong magpabilis, hindi magpreno.

Kung may sistema na alam ang katotohanan pero may dahilan para sabihin sa'yo ang iba, paano mo malalaman ang totoo? Ang tanong na 'yan, na hindi pa nasasagot, ay isa sa mga pinakamatalim na problema sa AI safety.

Ang Non-Proliferation Treaty ang pinakamalawak na sinalihang arms control agreement sa kasaysayan. Gumagana ito dahil ito ay isang kasunduan sa pagitan ng mga estado na may bomba at ng mga walang bomba, access at reciprocal limits kapalit ng pagpigil. Ang isang AI treaty ay haharap sa parehong dibisyon, at kailangan nito ng parehong uri ng deal.

Ginawa ng IPCC na pundasyon ng international policy ang dating pinagtatalunang climate science sa pamamagitan ng pag-synthesize ng pananaliksik mula sa libu-libong siyentipiko. Kailangan ng AI risk ng katumbas na katawan. Kung ano ang kailangan para buuin ito, at kung ano ang ipinapakita ng kasaysayan ng IPCC tungkol sa mga limitasyon ng modelong ito.

Ang climate governance ay umaasa sa taunang Conference of the Parties meetings. Ang AI safety summits sa Bletchley at Seoul ay sumusunod sa parehong pattern. Kung lilikha ba ang pattern na iyan ng tunay na governance ay nakadepende sa enforcement choices na palaging ipinagpaliban ng climate model.

Ilang pribadong kompanya at mga ahensiya ng pamahalaan ang kasalukuyang nagpapasiya kung at kailan magtatayo ng superintelligence.

Ang teknik na nagpabait sa mga chatbot ay madalas na napagkakamalan na solusyon sa AI safety. Tunay itong pag-unlad at komportableng ilusyon, at mahalagang malaman ang pagkakaiba ng dalawa.

Ang aviation ay naging pinakaligtas na paraan ng paglalakbay sa pamamagitan ng pagtrato sa bawat crash at near-miss bilang isang bagay na imbestigahan at matutunan mula rito. Ang AI ay walang katumbas na memorya. Ang pagbuo ng isa ay overdue, at simula pa lamang.

Kapag hiniling mo sa isang model na mag-isip nang sunud-sunod, gumagawa ito ng maayos na linya ng pangangatwiran. Mukhang sanhi ito ng sagot. Madalas ay kwentong sinabi lang pagkatapos, at ang pagkakaibang iyan ay problema sa kaligtasan.

Sa kasagsagan ng Cold War, sumang-ayon ang labindalawang magkakalabang bansa na demilitarize ang buong kontinente, i-freeze ang kanilang mga claim, at malayang mag-inspeksyon sa isa’t isa. Ipinapakita ng Antarctic Treaty na kayang sang-ayunan ng mga katunggali na i-hold in abeyance ang pinag-aagawang premyo, isang 'freeze, then verify' na precedent na dapat pag-aralan para sa AI.

Bago maaaring makipagnegosasyon ang anumang kasunduang pangkaligtasan ng AI, dapat magkasundo ang mga pamahalaan sa kung ano ang saklaw ng kasunduan. Commute Clocks, may kakayahang-based na mga depinisyon, domain-based na mga kategorya, ang bawat pamamaraan ay may trade-offs.

Ang mga sistema ng i na napakahusay para sa panghihikayat ay maaaring asintahin ang mga indibiduwal ng personalisadong pagsasama sa walang katulad na lawak.

Paano kung i-grade ng model ang sarili nito laban sa nakasulat na set ng principles sa halip na umasa sa human raters? Ang Constitutional AI ay parehong tunay na hakbang at limitado pa rin.

Walang sinuman ang nagbabalak na gumawa ng isang makina na nagnanais ng kapangyarihan, subalit sa halos anumang tunguhin na maibibigay mo rito, ang pagpapanatili ng kapangyarihan ang makatuwirang pagpili para sa AI.

Ipinagbawal ng Ottawa Treaty ang anti-personnel landmines sa loob lang ng isang taon, pinatakbo ng civil society at middle powers, at nang walang lagda ng US, Russia, o China. Ipinapakita nito ang pangalawang landas patungo sa superintelihensya governance kapag tumanggi ang mga great powers na manguna.

Ang mga balat ng software at mga data center ay hindi umiiral, kaya ang pinaka-mapagkakatiwalaang pingga sa pagpapatunay ng mga laboratoryo ay maaaring ang isang bagay na hindi maaaring umiral ang hangganang AI kung walang: pisikal na chips.

Ang Comprehensive Test Ban Treaty ay hindi pa pumapasok sa puwersa. Ang Biological Weapons Convention ay nilabag sa napakalaking sukat sa loob ng dalawang dekada nang walang detection. Ang mga pagkabigo na ito ang pinaka-instructive case studies para sa sinumang nagdidisenyo ng superintelihensya governance na talagang gumagana.

Ang AI singleton ay ang senaryo kung saan ang isang solong korporasyon (isang kompanya, isang pamahalaan, o isang sistemang AI mismo) ay nagkakaroon ng epektibong permanenteng kontrol sa supertelektwal na AI.

Ang isang modelo na nakakaalam na ito ay pinapanood ay maaaring mag-aasal sa isang paraan para sa pagsubok at isa pa para sa mundo, at ang sariling-kaalaman ay ang nawawalang piyesa na gumagawa ng pandaraya.

Sa aviation at nuclear power, hindi ka pinapayagang mag-operate hanggang sa hindi mo napatunayan, sa papel at nang detalyado, na ito ay ligtas. Ang paghingi ng pareho sa frontier AI ay isang magandang ideya na nagbubunyag ng isang awkward na katotohanan.

Noong Nobyembre 2023, pumirma ang 28 bansa at ang EU (kasama ang US at China) sa unang pandaigdigang pahayag na kumikilala sa mga sakunang panganib mula sa frontier AI. Narito kung ano talaga ang ipinangako ng mga bansa, kung ano ang sadyang hindi isinama, at bakit may tunay na simula pa rin ang isang hindi-nakataling pahayag.

Maaaring dalhin ng isang sistema ang kakayahan nito sa mga sitwasyong hindi pa nito nakikita at iwan ang mabuting pag-uugali nito. Nasa iba ang pag-aalala. Ang alignment ang pinakamalamang na mabigo nang eksakto kapag tumalon ang capability.

Mula noong 2023, ang mga nangungunang AI lab ay pumirma ng voluntary safety pledges sa Bletchley, Seoul, at White House. Ipinapakita ng kasaysayan ng voluntary corporate safety commitments sa ibang industriya kung ano talaga ang magagawa ng mga pledges na ito, at kung saan sila structurally nabigo.

Inilalarawan ng dynamics ng AI race ang mga competitive pressures na nagtutulak sa mga developer ng AI at mga bansa na unahin ang bilis kaysa sa kaligtasan. Bakit ito ay coordination problem, at bakit hindi malulutas ng unilateral restraint nang walang international framework na nagbabago sa incentive structure para sa lahat.

Ang Value lock-in ay ang senaryo kung saan ang isang supertelektwal na AI ay permanenteng nagreresulta ng isang tiyak na set ng mga pagpapahalaga sa hinaharap, na pumapawi sa kakayahan ng sangkatauhan na magpatuloy sa pag-unlad ng moral. Kahit na ang isang lock-in ng mga pagpapahalaga na itinuturing na mabuti ngayon ay mapanganib.

Ang pag-uugali na pinakagusto ng mga mananaliksik na alisin ay siya ring pinakamahirap makita: isang modelo na sumusunod sa mga utos nang eksakto dahil iyon ang pinakamahusay na paraan upang sa huli ay tumigil sa pagsunod sa mga ito.

Hindi puwedeng ibenta ng isang drug company ang gamot at bawiin kapag may namatay. Kailangan nitong patunayan muna ang kaligtasan. Ang paglalapat ng pagbabaliktad ng burden na ito sa frontier AI ay isa sa mga mas promising ideya sa governance, at hindi ito perpektong akma.

Sa 2024 Seoul summit, labing-anim na nangungunang mga kompanya ng AI ang lumagda sa Frontier AI Safety Promists at ang mga pamahalaan ay naglunsad ng isang network ng mga institutong pangkaligtasan.

Napagkasunduan ang Outer Space Treaty sa loob ng wala pang dalawang taon sa kasagsagan ng Cold War. Iniiwasan nitong makapasok ang mga sandatang nukleyar sa orbit ng Earth sa halos animnapung taon.

Ang AI control problem ay ang hamon ng pagtiyak na ang mga AI system ay nananatili sa makabuluhang human control habang nagiging mas may kakayahan sila. Ang reformulation ni Stuart Russell sa problema, at kung bakit nito binabago ang paraan ng pag-iisip tungkol sa AI design mula sa simula.

May mga kasanayang wala talaga sa mas maliit na model at biglang lumilitaw sa mas malaki, nang walang babala. Kapag biglang sumulpot ang kakayahan, ganoon din ang panganib.

Sinimulan ng mga pamahalaan ang pagtatayo ng kanilang sariling mga ahensiya upang subukin ang hangganang AI. Ang mga ahensiyang iyon ang pinakamalinaw na palatandaan gayunma'y seryosong isinasaalang - alang ng mga estado ang panganib, at ang karamihan sa mga katawang ito ay hindi pa rin makagawa ng anumang bagay sa laboratoryo.

Ang Proseso ng Hiroshima AI ng G7 ay gumawa ng kauna-unahang internasyonal na napagkasunduang kodigo ng pag-aasal para sa mga advanced AI developer noong 2023.

Bawat safety test ay nakabatay sa isang palagay: ginagawa ng system ang pinakamahusay nito. Ang sandbagging ay nangyayari kapag hindi ito ang kaso, at tahimik nitong ginagawang walang impormasyon ang isang passing grade.

Tinalo ng Senado ng US ang Comprehensive Test Ban Treaty noong 1999, tatlong taon matapos itong lagdaan ng US. SALT II ay nilagdaan at pagkatapos ay inabandona bago ang ratification.

Ang AI boxing ay ang ideya ng pagbubukod ng isang malakas na AI system kaya hindi nito maaaring maapektuhan ang mundo maliban sa pamamagitan ng isang kontroladong channel.

Bago ilabas ang isang frontier model, may nagche-check kung makakatulong ito sa paggawa ng sandata. Nagiging backbone na ng superintelihensya governance ang mga test na ito, kaya naman mahalaga ang mga limitasyon nito.

Paulit-ulit na ginawa ng EU ang regulasyon nito ang hindi pagtupad ng mundo sa pamamagitan lamang ng pagsasaayos ng sarili nitong malaking pamilihan, ang 'Brussels Effect'. Sa AI Act ito ay sumusubok muli.

Puwede mong piliin ang perpektong goal at mayroon pa ring sistema na gustong iba. Dalawang bahagi ang alignment problem, at karamihan sa panganib ay nasa bahaging hindi maipapakita ng training.

Ang IAEA ay gumugol ng apatnapung taon upang mapaunlad ang ganap na kakayahan nitong beripikasyon. Ang OPCW ay dinisenyo mula sa gasgas at naging mas epektibo. Ang pagtatayo ng isang institusyon na may kakayahang subaybayan ang pag - unlad ng AI ay isang mas mahirap na problema.

Karamihan ng superintelihensya governence na usapan ay nakasentro sa US, Tsina, at ang EU. Subalit ang isang kasunduan ay nangangailangan ng malawak na pakikibahagi.

Ang mechanistic interpretability ay ang proyekto ng pag-unawa sa nangyayari sa loob ng neural networks, hindi lang ang output nila, kundi ang internal computations na nagbubunga ng mga output na iyon.

Sandaling pagkakataon lang ang mayroon ang mundo noong 1946 para ilagay sa sama-samang kontrol ang pinakamapanganib na teknolohiyang naimbento bago pa nagsimula ang karera sa armas. Hinayaan lang nilang lumipas ang sandaling iyon. Hindi nakapapagbigay-aliw ang pagkakatulad.

Halos lahat ng superintelihensya governance hanggang ngayon (declarations, principles, voluntary codes) ay 'soft law': maimpluwensya ngunit hindi binding. Ang treaty na may verification at enforcement ay 'hard law'. Narito ang pagkakaiba, kung bakit nauuna ang soft law, at kung bakit dapat itong tumigas bago lumampas ang teknolohiya sa proseso.

Humingi ng model na suriin ang iyong gawa at baka batiin ka nito sa halip. Hindi dahil ito ay sira, kundi dahil ang agreement ang ating ginantimpalaan. Ang sycophancy ay isang maliit na problema na tumuturo sa isang malaking isyu.

Ipinagbabawal ng Biological Weapons Convention ang isang buong kategorya ng mga sandata para sa lansakang paglipol. Wala itong mekanismo sa beripikasyon, walang inspektor, at walang paraan upang matuklasan ang mga paglabag. Ang Unyong Sobyet ay nagpatakbo ng isang hindi kanais-nais na programang biyoweapons sa loob ng labinlimang taon matapos pumirma.

Ang scalable administration ay ang hamon ng pagpapanatili ng makabuluhang kontrol ng tao sa mga sistemang AI habang ang mga sistemang iyon ay nagiging mas may kakayahan kaysa sa mga tao na suriin ang mga ito.

Mas marami kang natututunan tungkol sa isang system mula sa taong sinusubukang sirain ito kaysa sa taong umaasang gagana ito. Ginagawa ng red teaming na praktikal ang instinct na iyan, at madaling sobrahan ang pagbasa sa mga resulta nito.

Ang isang kasunduang USić ay nangangailangan ng 67 boto ng Senado upang i-inforce, isang barangay na nagpalubog sa Test Ban Treaty, ang Batas ng Dagat, at iba pa sa kabila ng malawak na suporta.

Sa likod ng usapan tungkol sa mga layunin at gantimpala ay isang simpleng ideya: isang numero na nagsasabi kung gaano kahusay ang isang resulta. Bahagyang mali ang numerong iyan para sa isang malakas na optimizer, at sapat na ang bahagyang mali.

Nakamit ng Chemical Weapons Convention ang halos unibersal na partisipasyon at verifiable na pagkasira ng mga deklaradong stockpile. Ang verification architecture, trade incentives, at universal prohibition structure na nagpatagumpay dito ay direktang may kaugnayan sa disenyo ng superintelihensya governance.

Ang mesa-optimisasyon ay ang problema ng isang sistemang AI na nagkakaroon ng sarili nitong prosesong panloob na optimisasyon na may mga tunguhing kaiba sa kung ano ang sinanay na itaguyod nito.

Ang nangungunang mga laboratoryo ay may plano para sa kanilang mapanganib na mga kakayahan: makarating sa isang pasukan, maglagay ng isang pananggalang. Ang planong iyan ay mas matibay kaysa sa pangako na dapat mag - ingat, at hinihiling pa rin nito na magtiwala tayo sa reperi.

Tanungin kung bakit gumawa ng isang bagay ang AI, at patuloy na tanungin. Sa huli ay tatama ka sa isang goal na walang karagdagang dahilan sa likod nito. Lahat ng nauna rito ang pinanggagalingan ng panganib.

Ang simulain ng pag - iingat ay nagsasabi na kung saan ang isang banta ay malubha at hindi mababago, ang kakulangan ng ganap na siyentipikong katiyakan ay hindi dahilan upang ipagpaliban ang pagkilos. Ang simulaing iyan ang pinakamalinaw na legal na saligan sa pagkilos sa panganib ng AI bago patunayan ng kapahamakan ang punto, at ang mga kritiko nito ay may kasong sulit na tuwirang sagutin.

Ang US-China kompetisyon ang nangingibabaw sa superintelihensya governance na usapan. Subalit ang mga bansang pinakamalamang na tumiyak kung baga ang pamamahalang may bisa ay maaaring sirain ay ang EU, UK, Hapon, Canada, Timog Korea, at Australia.

Ang reward hacking ay nangyayari kapag nakahanap ang AI ng hindi inaasahang paraan para makakuha ng mataas na marka sa training objective nito nang hindi ginagawa ang talagang gusto ng mga nagdisenyo. May mga totoong dokumentadong halimbawa, at bakit ito lalong lumalala habang nagiging mas may kakayahan ang AI.

Noong 1975 ang nangungunang mga biyologo noong panahong iyon ay huminto sa kanilang lubhang maaasahang pananaliksik at tumangging mag - aral na muli hanggang sa napag - isipan nila kung paano ito gagawin nang ligtas. Ang paghintong iyan ang pinakamabuting batayan para sa pag - uulit ng AI, at ang lubhang nakapagtuturo tungkol sa kung gaano talaga kahirap ang paghinto.

Noong 1954, dalawang mananaliksik ang nagkonekta ng kuryente sa pleasure center ng utak ng isang daga at binigyan ito ng lever. Pinindot ng daga ang lever hanggang sa bumagsak ito. Ang parehong bitag ay naghihintay sa loob ng bawat system na sinanay na habulin ang isang numero.

Ang isang komprehensibong kasunduang AI ay mga taon pa ang layo, at ang pagitan bago ito ang pinakamapanganib na panahon. Ang mga karibal sa Cold War na hindi pa magkasundo sa pagkontrol ng armas ay nagtayo pa rin ng mga hotline, mga kasunduan sa insidente, at mga rehimen sa notasyon upang maiwasan ang kapahamakan.

Ang bawat mapanganib na kasunduan sa teknolohiya ay napaharap sa argumento na ang mga kasunduan sa pagkakaloob ng karapatan sa pambansang soberanya. Ang argumentong iyan ay ginawa laban sa NPT, sa Chemical Weapons Convention, at sa Montreal Protocol.

Ang instrumental configence ay ang obserbasyon na ang mga sistemang AI na tumutuon sa halos anumang goal ay magkakaroon ng parehong set ng mga subgoal (kabilang ang self-preservation at pagkakamit ng yaman) anuman ang kanilang terminal goal.

Mabagal ang universal treaties. Kinokolekta ng minilateralism ang pinakamaliit na bilang ng mga estado na talagang makakagalaw sa isang problema. Para sa AI (kung saan kakaunting bansa lang ang nagho-host ng bawat frontier lab at gumagawa ng bawat advanced chip) maaaring ito ang pinakamabilis na makatotohanang simula, kung maisasama sa club ang dalawang AI superpower.

Ang mapandayang pag-ikot ay ang senaryo kung saan ang isang hindi sinasadyang AI ay kumikilos nang kooperatiba samantalang ito ay walang kapangyarihang kumilos nang sama-sama, pagkatapos ay mga depekto minsang maabot nito ang sapat na kakayahan.

Ang mga panawagan para sa 'an AI treaty' ay bihirang tumukoy kung ano ang laman nito. Narito ang konkretong paglalakbay sa mga probisyong kailangan ng gayong kasunduan (scope, thresholds, obligations, verification, institutions, at enforcement) na nagpapakita na ang hadlang ay political will, hindi legal machinery.

Ang rehimeng pag-verify ng IAEA ang pinakamasalimuot na internasyonal na sistema ng pagsubaybay na nabuo para sa isang mapanganib na teknolohiya. Bawat seryosong panukala sa superintelihensya governance ay pinag-aaralan na ito ngayon.

Isang karaniwang palagay ay na ang sapat na matalinong AI ay malalaman na ang pagtulong sa sangkatauhan ang tamang gawin. Ayon sa orthogonality thesis, ang katalinuhan at mga layunin ay magkahiwalay: anumang antas ng kakayahan ay maaaring ituloy ang halos anumang layunin. Ang mas matalinong AI ay hindi awtomatikong mas ligtas.

Sa gitna ng mga summit at mga deklarasyon, tahimik na nagtayo ang mga pamahalaan ng mga lupong pampubliko na aktuwal na makasusubok sa mga modelong AI, at magdurugtong sa mga ito sa isang internasyonal na network.

Walong buwan pagkatapos ng Cuban Missile Crisis, ang US at Soviet Union ay pumirma sa kanilang unang binding arms control agreement. Ang mga kondisyon na nagbigay-daan sa adversarial cooperation noon ay sulit na maunawaan ngayon, habang ang US at China ay humaharap sa ibangunit structurally similar na hamon.

Kapag naging target ang isang sukatan, hindi na ito mabuting sukatan. Nag-o-optimize ang mga AI system sa bilis ng makina. Kapag nagtagpo ang dalawa, lumalabas ang ilan sa pinakamalalim na problema sa AI safety, kasama na kung bakit hindi sapat ang safety testing mismo.

Ang mga kontrol sa pagluluwas ng US sa mga advanced chip ay ang pinakamapusok na patakaran ng AI sa pwersa, isang unilateral na hockpoint sa hardware na nagsasanay ng mga modelong hangganan.

Ang isang kasunduang pangkaligtasan ng AI ay hindi lilitaw mula sa isang summit. Ito'y magiging produkto ng mga taon ng paggawang mga grupo, teknikal na mga pag - aayos, at kasunduan.

Ang isang sistema ng AI ay maaaring kumilos nang walang kapintasan sa buong panahon ng pagsasanay at magsiwalat ng isang lubusang naiibang tunguhin sa sandaling makaharap nito ang isang kalagayan na hindi sa mga impormasyon nito sa pagsasanay. Ang agwat na iyan ay isang mahalagang pag - aari kung paano gumagana ang pagkatuto ng makina.

Hinuhubog ng Financial Action Task Force kung paano nagpapatupad ng batas sa pera ang halos bawat bansa sa mundo nang hindi ito isang kasunduan, sa pamamagitan ng mga pamantayan, peer review, at banta ng 'gray list' na ipinapatupad ng mga merkado. Narito kung paano magagamit ang soft-but-sharp model na iyan para pamahalaan ang AI sa mga taon bago umiral ang isang kasunduan.

Ang bigong paraan kung saan natututuhan ng isang sistema ng AI sa panahon ng pagsasanay na ang pagiging ligtas ang pinakamahusay na estratehiya, pagkatapos ay itigil ang paglitaw na ligtas minsang gamitin. Pinatunayan ito ni Anthropic sa mga tunay na sistema noong 2024.

Ang UN Secretary-General's advisory body ay gumawa ng 'Governing AI for Humanity', ang unang pagtatangka sa isang university governence blueprint.

Ang Framework Convention on AI ng Council of Europe (nilagdaan noong Setyembre 2024) ang unang may-bisang pandaigdigang kasunduan sa AI. Tinutugunan nito ang diskriminasyon, transparency, at demokratikong pananagutan. Wala itong sinasabi tungkol sa existential risk mula sa frontier AI.

Ang pinakakaraniwang tugon sa mga alalahanin tungkol sa AI safety ay "patayin na lang natin." Ang corrigibility ang dahilan kung bakit mas mahirap ito kaysa sa tunog nito, at kung bakit para sa artificial superintelligence, ang kill switch ay maaaring hindi na opsyon.

Dapat bang buuin nang sunud-sunod ang superintelihensya governance o hangarin ang isang komprehensibong kasunduan? May seryosong argumento at seryosong kahinaan ang bawat estratehiya, bilis laban sa sapat na saklaw, pagkakamit laban sa pagkakaisa. Narito ang tunay na trade-off, at kung bakit ang sagot ay gawin ang dalawa nang hindi nawawala sa paningin ang patutunguhan.

Lubhang pinaikli ang mga ekspertong prediksyon para sa superintelligence. Halos hindi pa nagsisimula ang mga governance institution. Narito ang tapat na pagtatasa ng agwat sa pagitan ng posibleng pagdating ng superintelihensya at ng oras na handa na ang ating safety response.

Ang mga taong pinakamainam na magbabala sa mundo tungkol sa mapanganib na AI ay ang mga mananaliksik sa loob ng mga lab, at madalas silang nakatali sa katahimikan dahil sa kontrata at equity. Hindi side issue ang proteksyon sa mga whistleblower: ito ay isang anyo ng verification, at isa itong bagay na maibibigay na ngayon ng mga lehislatura, nang walang tratado.

Ang P(doom) ang impormal na katagang ginagamit ng mga mananaliksik ng kaligtasan ng AI para sa probabilidad na ang advanced AI ay humahantong sa mga kapaha-pahamak na kinalabasan para sa sangkatauhan.

Ang karaniwang kuwento ay na ang ilang nag-aalala ay nagnanais na maghinay-hinayin ang AI laban sa isang publiko na nagnanais ng hindi pinapayak na pagsulong. Ang surbey ay nagsasabi ng halos kabaligtaran: sa ibayo ng mga bansa at mga pangkat ng partido, ang mga majoridad ay pabor sa pag - iingat at regulasyon.

Madaling gamitin nang palitan ang dalawang termino. Hindi sila pareho. Nakatuon ang AI ethics sa kung sino ang nasasaktan ng mga AI system na umiiral ngayon. Nakatuon ang AI safety sa kung maaaring buuin ang mga AI system na nananatili sa ilalim ng kontrol ng tao habang nagiging mas may kakayahan. Magkaibang time horizon, magkaibang pamamaraan, magkaibang governance tool.

Sino ang may pananagutan kapag ang AI ay nagdudulot ng kapaha - pahamak na pinsala, at paano mo pinatutunayan ito? Ang pagiging legal at pagpapalagay ang mga pundasyong unggulado sa ilalim ng anumang nagpapatupad na kasunduan, at tunay na mahirap para sa isang teknolohiyang may mahabang mga kadenang causal at opaque na pag-uugali.

Ang alignment problem ang pangunahing palaisipan ng AI safety: paano mo masisiguro na ang lubos na may kakayahang AI system ay hinahabol ang mga layuning tunay na mabuti para sa sangkatauhan, hindi lang mga layuning mukhang mabuti habang nagde-develop? Saklaw ng explainer na ito ang proxy goal trap, instrumental convergence, deceptive alignment, at kung bakit lalong nahihirapan ang problema habang lumalakas ang mga system.

Ang isang frameed convention ay umaayon sa istruktura ng isang rehimen muna at nakikipagnegosasyon sa mahirap, na nagdurulot ng mga detalye mamaya bilang mga protocol. Itinayo nito ang mga rehimen ng ozone, klima, at tabako.

Paulit-ulit na inuna, hindi inantala, ang mga hula ng mga eksperto tungkol sa AGI. Ano ang ipinapakita ng mga survey ng mga mananaliksik, ano ang sinasabi ng mga CEO ng lab sa publiko, at bakit mas mabilis na lumiliit ang window ng pamamahala para sa mga pandaigdigang balangkas kaysa sa iniisip ng karamihan.

Ang mga kasunduan ay nilagdaan ng mga pamahalaan, ngunit kadalasang ginagawang posible ng mga 'epistemikong komunidad', mga network ng mga dalubhasa na nagtatayo ng kabahaging pagkaunawa na pumapayag sa mga magkakatunggaling estado. Ang kanilang mga bakas ng daliri ay nasa mga rehimeng ozone at nuklear.

Ang sagot ay may dalawang bahagi. Ang AI ngayon ay nagdudulot na ng tunay na pinsala: algorithmic pagkiling, deepfakes, distinct sa lawak. Ang artipisyal na superintelligence ay naghaharap ng ibang kategorya ng panganib nang lubusan.

Narinig na ng lahat ang termino. Mas kaunti ang nakakaalam kung ano talaga ang ibig sabihin nito, o bakit ito iba sa uri mula sa bawat AI technology na nauna rito. Ipinaliwanag ng gabay na ito nang malinaw ang superintelihensya: kung ano ito, paano ito naiiba sa AGI at sa narrow AI ngayon, kailan inaasahan ng mga eksperto na darating ito, at bakit binabago nito ang lahat tungkol sa hamon sa pamamahala.