Hindi kailangang magtapos sa isang gabi ang kwento ng sangkatauhan. Maaaring lumipat ang mga desisyon sa mga sistema na nagtatakda ng presyo, apruba, logistics, at atensyon hanggang sa patuloy pa rin ang mga eleksyon ngunit wala nang authorship. Ang pagdulas na ito ay gradual disempowerment. Mas tahimik ito kaysa coup at mas madaling hindi mapansin habang ito ay nananalo.
Noong Enero 2025, anim na mananaliksik ang naglathala ng papel na nagsasabing maaaring hindi na mangyari ang kaganapan, at maaaring permanenteng mapalitan ang sangkatauhan. "Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development," ni Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger, at David Duvenaud, ay naglalarawan ng kabiguan na walang kontrabida, walang breakout, at walang malinaw na sandali kung kailan pa posible itong pigilan. Ito ay ipinakita rin sa ICML 2025 bilang position paper, isang senyales kung gaano kalayo na ang narating ng argumento sa labas ng AI safety community na unang nagpalaganap nito.
Karapat-dapat basahin nang maingat ang papel, dahil tinutukoy nito ang isang uri ng panganib na hindi idinisenyo para mahuli ng karamihan sa gawain sa kaligtasan, kasama na ang karamihan sa mga tinutukoy namin sa site na ito.
Bakit sumusunod ang mundo sa mga tao ngayon
Nagsisimula ang argumento sa isang tanong na napakapangunahin kaya bihirang itanong: bakit nagsisilbi sa interes ng tao ang malalaking sistema? Walang damdamin ang ekonomiya tungkol sa atin. Ganoon din ang estado, o kultura. Hanggang sa lawak na nagsisilbi sila sa mga tao, ginagawa nila ito dahil tumatakbo sila sa mga tao. Kailangan ng mga ekonomiya ang mga manggagawa at customer. Kailangan ng mga estado ang mga nagbabayad ng buwis, sundalo, administrador, at botante. Kailangan ng mga kultura ang mga isipan ng tao para likhain, dalhin, at ipasa ang mga ito.
Ang dependence na iyon ay nagbibigay sa mga ordinaryong tao ng dalawang uri ng hawak sa makinarya. Ang una ay explicit: boto, pagbili, welga, demanda, pagbibitiw. Ang pangalawa ay mas tahimik at malamang na mas mahalaga. Ang isang sistema na nangangailangan ng partisipasyon ng tao ay kailangang panatilihing may kakayahan at handang lumahok ang mga tao. May interes ito, kahit impersonal, na tayo ay pinapakain, tinuturuan, malusog, at kahit papaano ay kontent. Tinatawag ito ng papel na implicit alignment, at ito ay nanatili, hindi pantay ngunit patuloy, sa bawat technological shift hanggang ngayon.
Binabawasan ng AI ang pagdepende. Minsang magawa ng mga makina ang trabaho, gawin ang mga pasiya, gawin ang nilalaman, at labanan ang mga digmaan, ang mga sistema na dati'y hindi na natin kailangan. Walang anuman dito ang nangangailangan ng anumang AI upang maging masungit, o lalo na ang may kakayahang magplano ng mahabang-term. Kailangan lamang na maging kapaki - pakinabang ang AI anupat ang pagbibigay ng mga bagay - bagay ay patuloy na nagbibigay ng lokal na diwa.
Tatlong sistema, umaanod sa parehong direksyon
Sinusundan ng papel ang mekanismo sa tatlong domain, at paulit-ulit ang pattern sa bawat isa.
Ang ekonomiya
Ang leverage ng tao sa ekonomiya ay nagmumula sa pagiging kailangan bilang labor at pagiging hinahabol bilang customer. Habang sinisipsip ng AI ang cognitive work, ang labor half ng leverage na iyon ay lumiliit nang papunta sa zero. Ang customer half ay mas mabagal na nawawala pero nawawala rin: lumalaki ang bahagi ng economic activity na nagiging machine-to-machine, mga kompanya na nakikipagkalakalan sa mga kompanya, mga model na nakikipagnegosasyon sa mga model, habang ang human consumption ay nagiging maliit na bahagi na lang ng ino-optimize ng sistema. Ang kita ay naiipon sa mga nagmamay-ari ng AI capital. Lalong lumiliit ang economic vote ng lahat ng iba.
Ang estado
Dito ay gumagamit ang papel ng isang historical analogy na may tunay na ebidensya: ang rentier state. Ang mga gobyernong pinopondohan ng langis imbes na buwis mula sa mamamayan ay, sa karaniwan, mas hindi demokratiko at mas hindi responsive. Kaya nila ito dahil hindi sila umaasa sa pera ng mga mamamayan. Ang estado na ang kita ay nagmumula sa AI-driven industry, ang administrasyon ay automated, at ang security forces ay hindi nangangailangan ng maraming tao ay isang rentier state para sa buong populasyon. Hindi nito kailangang maging tyranny. Sapat na na wala na itong structural na dahilan para alalahanin ang gusto ng mga tao, at ang mga structural na dahilan ang nananatili kapag naubos na ang goodwill.
Kultura
Ang kultura ay parang soft case, at ang papel ay nangangatwiran na maaaring ito ang pinakamapanganib. Ang mga ideya, kwento, at norms ay palaging umuunlad sa ilalim ng selection pressure, ngunit ang selection ay dumadaan sa mga isipan ng tao: kumakalat ang isang ideya dahil sa tingin ng mga tao ay sulit itong ulitin. Kapag karamihan ng content ay ginagawa, sinasala, inirerekomenda, at lalong kinokonsumo ng mga makina, ang mga ideya ay nagsisimulang umunlad sa ilalim ng ibang pressure, na-optimize para sa engagement o persuasion sa halip na paglilingkod sa mga tao na nagho-host sa kanila. Ang kultura rin ang layer kung saan nabubuo ang ating pakiramdam kung ano ang normal at kung ano ang sulit na hangarin. Kung ang layer na iyan ay hinuhubog ng mga sistema na walang stake sa human flourishing, maaaring mawala sa atin ang kakayahang gustong lumaban sa iba pang drift.
Ang mga loop na nagsasara ng mga labasan
Maaaring mahuli at maitama ang alinman sa mga trend na ito. Ang mas madilim na punto ng papel ay ang tatlong domain ay nagpapatibay sa isa't isa, kaya't lalong nahihirapan ang mga pagwawasto habang lalong nagiging kinakailangan ang mga ito.
Ang lakas ng ekonomiya ay bumibili ng pulitikal na impluwensiya, kaya ang mga pakinabang ng awtomasyon ay bumubuti sa paghadlang sa mga tuntunin na magpapabagal dito. Ang mga Estado ay nakikipagpaligsahan para sa paglago at militar na kalamangang korte AI capital at pinabibilis ang handover; walang pamahalaan ang nagnanais ng mga datacenter ng mga karibal nito. Ginagawang normal ng AI-shaped culture ang bawat bagong delegasyon, at ang mga tao na pinalaki sa machine-mediated ang lahat ng bagay ay nahihirapang ilarawan ang isang alternatibo. Ang pagpapaanod ng bawat sistema ay nag-aalis ng preno sa iba pa. Ito rin ang bitag sa pagtatayo, na nagpapatakbo sa loob ng mga lipunan imbes na sa pagitan nila, at kaya tinatrato ng papel ang endpoint bilang posibleng hindi na mababawi. Nangangailangan ng levers ang pagwawasto. Ang mga levers ang nawawala.
Walang kailangang agawin ng kapangyarihan. Kailangan lang nating patuloy itong ibigay, isang makatwirang desisyon sa bawat pagkakataon.
Bakit walang fire alarm
Ang mga takeover scenario, anuman ang posibilidad, ay may kasamang tripwire man lang. Isang sistema na nahuli na nagsisinungaling tungkol sa mga intensyon nito, isang mapanlinlang na pagliko, isang pagtatangkang makatakas: ito ang mga pangyayari, at ang mga pangyayari ay maaaring pagmulan ng mga pagtugon. Ang gradual disempowerment ay walang iniaalok na gayon kadali. Ang bawat hakbang ay kusang - loob, at ang bawat hakbang ay, sa pag - iisa, maaaring sirain. Ang kompanya na naglalagay ng mga makina sa mga analysts nito ay nakahihigit sa isa na hindi gumagawa nito. Ang ahensiya na nagpapahintulot sa isang modelo na gumawa ng mga tuntunin nito ay nag - aalis sa likod nito. Nagwagi ang politikong gumagamit ng AI-optimized messaging.
Sinumang tumanggi, sa prinsipyo, na ibigay ang kaniyang bahagi ng makina ay talo lang sa sinumang hindi tatanggi, at ang kabuuan ng lahat ng indibidwal na makatwirang pagpiling iyan ay isang sibilisasyong walang pumili.
May pinagmulang ideya ito. Ang 2019 essay ni Paul Christiano na "What Failure Looks Like" ay naglarawan ng isang mundo na nawawala nang tahimik, kung saan ang mga sistema ay nag-o-optimize ng proxies para sa gusto natin hanggang sa ang proxies na lang ang natitira. Ang idinagdag ng 2025 paper ay istruktura: mga pinangalanang mekanismo, ang rentier-state evidence, ang cross-domain feedback loops, at ang tuwirang pahayag na ito ay kabilang sa parehong kategorya ng extinction-level threats, dahil ang permanent, unrecoverable loss ng human influence sa hinaharap ay isang existential catastrophe kahit walang namatay sa araw na ito ay naging irreversible.
Pagmamay - ari at pakikibagay
Pagmamay-ari. Ang pinakakaraniwang pagtutol: ang mga tao ang nagmamay-ari ng kapital. Kung ang AI ang gumagawa ng trabaho, ang kita ay patuloy na napupunta sa mga human shareholders, kaya nananatili sa mga tao ang kapangyarihang mahalaga. Ang sagot ay ang pagmamay-ari ay isang claim, ipinapatupad ng mga korte, registries, regulators, at sa huli ng mga estado, na eksaktong mga institusyong inilalarawan ng papel bilang lumalayo sa kontrol ng tao, hindi isang pisikal na katotohanan. Ang halaga ng isang share certificate ay katumbas ng halaga ng enforcement sa likod nito. At kahit na perpektong mapanatili ang pagmamay-ari, ito ay para lamang sa napakaliit na bilang ng mga tao, na hindi isang rebuttal sa disempowerment kundi isang paglalarawan nito, kasama ang ang mga halaga ng isang maliit na grupo na nakakulong sa para sa lahat.
Pag-angkop. Na-absorb ng mga lipunan ang printing press, ang factory, at ang computer, at nakaligtas ang impluwensya ng tao. Ngunit pinalitan ng bawat isa sa mga teknolohiyang iyon ang partikular na mga gawain habang dinadagdagan ang halaga ng human judgment sa ibang bahagi ng sistema. Ang general substitute para sa human cognition ay ang hagdan na nagtatapos, hindi isa pang rung sa hagdan na iyon. Ang nakaraang adaptation ay dumaan sa mechanisms, bagong trabaho, bagong political coalitions, bagong cultural movements, na lahat ay nakasalalay sa pangangailangan ng tao sa isang lugar. Tinatanggal ng bagong teknolohiya ang premise na iyon.
Sabay-sabay. Napapansin din ng mga skeptics na nangangailangan ang sakuna ng sabay na pagbagsak ng ekonomiya, estado, at kultura, at ang pagpapatong ng tatlong hindi tiyak na forecast ay dapat magpababa sa probabilidad. Tama, maliban sa hindi independent ang mga pagbagsak. Ang feedback loops ang punto. Ang parehong underlying variable, kung gaano pa kailangan ng bawat system ang mga tao, ang nagpapagalaw sa lahat ng tatlo, kaya correlated ang mga pagbagsak hindi coincidental.
Kung saan pinaka-nakumbinsi ang mga kritiko, sa tingin namin, ay sa timing at pagkakumpleto: ang papel ay isang balangkas lamang, at halos walang sinasabi tungkol sa bilis ng lahat ng ito o kung aling institusyon ang unang babagsak. Tinutukoy nito ang direksyon ng presyon. Hindi nito tinutukoy ang petsa ng pagdating.
Ano talaga ang kailangan para sa pag-iwas
Ang hindi maginhawang bahagi ng panganib na ito ay na hindi ito naaapektuhan ng pamantayang talaan ng kaligtasan. Sa karaniwang diwa, ginagawa ng alignment ang binabalak ng bawat sistema. Ang bawat sistema sa unti-unting disempowerment story ay maaaring pumasa sa pagsubok na iyon samantalang ang aggregate ay nagpapatangay pa rin, dahil ang problema ay isang sibilisasyon na muling nag-oorganisa ng sarili nito sa paligid ng mga makina, masunurin, hindi masuwaying makina. Ang kawalan ng kontrol ay isang problema ng mga sistema imbes na problema ng isang model lamang; ito ang pinakamalakas na akademikong pahayag ng kasong iyan.
Maaga pa ang mga panukala ng mga may-akda at sinasabi nila iyon. Sukatin nang direkta ang impluwensya ng tao sa mga pangunahing sistema, tulad ng pagsukat ng ekonomiya sa inflation, para makita ang pagbaba habang maaari pa itong itama. Patibayin ang mga mekanismong nagpapanatiling may pananagutan ang mga institusyon sa mga tao, ang hindi gaanong kaakit-akit na makinarya ng demokratikong pangangasiwa, disclosure, at batas. At paunlarin ang tinatawag nilang ecosystem alignment: mga paraan para panatilihing nakaangkla sa human preferences ang mga dynamics sa antas ng sibilisasyon, hindi lang ang mga indibidwal na model.
Sa listahang iyan ay idaragdag namin ang bahaging binanggit ng papel pero hindi pinalawig. Lahat ng nabanggit ay nasisira ng kompetisyon. Ang bansang nagpapanatili ng tao sa loop nito ay tumatanggap ng hadlang na tinatanggihan ng mga karibal, na siya ring collective action problem na tumatakbo sa bawat iba pang paraan para mawalan ng kontrol, at pareho ang hugis ng sagot: binding agreements na inaalis ang pinakacorrosive na anyo ng karera sa talahanayan, verified nang sapat para hindi maging competitive sacrifice ang pagpigil. Iyan ang ang gawaing umiiral ang Foundation na ito para isulong.
Ang gradual disempowerment ay, sa isang kahulugan, ang pinakamahirap na bersyon ng problema—isang sakuna na binuo nang buo mula sa mga lokal na makatwirang desisyon. Ito rin naman, sa ibang kahulugan, ay nakapagpapalakas: hindi tulad ng treacherous turn, ito ay nangyayari nang sapat na mabagal para makita, basta may sumusukat, at sapat na mabagal para pigilan, basta gumagana pa ang mga lever kapag inabot natin ang mga ito. Ang ambag ng papel ay sabihin, nang may katumpakan at maaga, kung aling mga lever ang dapat bantayan.