Ito'y isang di - komportableng ehersisyo, malalaking kapahamakan. Ang bawat isa sa mga ito ay maaaring pumatay sa isang aspeto na gumagawa sa salitang "disaster" na pakiramdam ay maliit, at ang pag-aayos nito ay maaaring tila isang pag-aangkin na ang mga mas mababa ay hindi mahalaga. Ang digmaang nuklear at mga epidemyang ginawa ay kabilang sa pinakamasamang bagay na maaaring mangyari sa atin, at ang mga taong nagsisikap na hadlangan ang mga ito ay gumagawa ng ilan sa pinakamahalagang gawain doon.
I-rank sila nang tapat at lalabas ang superintelligence sa itaas, hindi dahil maliit ang iba, kundi dahil ito lang sa tatlo ang nagpapabuti sa sarili, lumalaban sa bawat countermeasure na itinataas natin laban dito, at walang second attempt.
Pero may hangganan ang atensyon at pera, at hindi pantay na ipinamamahagi ng mundo ang mga ito sa bawat banta. May nagpapasya kung ano ang makakakuha ng kasunduan, ahensya, linya sa badyet, o kilusan. Kung ang mga desisyong iyon ay susunod sa tunay na panganib at hindi sa panganib na pinakamadaling isipin, kailangang gawin ang pagraranggo, at gawin nang malakas. Kaya: sa mga teknolohiyang maaaring magwakas sa sangkatauhan sa siglong ito, alin ang pinakamalaki? Ang sagot ay superintelligence, at hindi ito malapit sa iba pa.
Kung ano ang dapat ibig sabihin ng "greatest"
Hindi lang tungkol sa kung gaano kasama ang pinakamasamang kaso ang isang panganib. Ang meteor na magpapasingaw sa planeta ngunit may isang pagkakataon sa isang trilyon na dumating ay mas maliit na panganib kaysa sa apoy na may 50-50 na pagkakataong sunugin ang bahay mo, kahit na hindi kayang tapusin ng apoy ang mundo. Para matapat na ihambing ang tatlong ito, kailangan mong hawakan nang sabay ang tatlong tanong.
Gaano kasama ang pinakamasamang realistic na resulta? Gaano kalamang ang resultang iyan sa loob ng makabuluhang panahon? At (ang tanong na madalas na nalilimutan) kung magsisimula itong magkamali, kaya pa ba nating pigilan? Ang huli ang gumagawa ng karamihan sa trabaho dito, at dito nagkakaiba ang tatlo.
Ang pinakamaingat na pagtatangka ng sinuman na maglagay ng numero rito ay mula sa pilosopong si Toby Ord na Ang Precipice, na inilathala noong 2020, na nag-e-estimate ng tsansa na ang bawat panganib ay magdudulot ng existential catastrophe (extinction, o isang pagbagsak na hindi na natin maibabalik) sa susunod na isang daang taon. Ang mga bilang niya ay ang disiplinadong paghatol ng isang taong gumugol ng mga taon sa pagbabasa ng literatura at pakikipag-usap sa mga espesyalista sa bawat larangan, hindi mga sukat; walang makakasukat ng bagay na hindi pa nangyayari. Ito ang pinakamahusay na structured na hula na mayroon tayo, at ang hugis nito ang mahalaga.
| Panganib | Tinataya ni Ord |
|---|---|
| Digmaang nuklearSakuna na halos hindi maisip, pero (kahit sa buong palitan at ang taglamig na sumunod) karamihan sa mga tantiya ay hindi umaabot sa literal na pagkalipol ng sangkatauhan. | ~1 sa 1,000 |
| Mga pandemya na ginawaMas mahirap pigilan ang isang pathogen na sadyang ginawa para sa lethality at spread kaysa sa anumang natural outbreak, at patuloy na nagiging mura ang mga tool para gumawa nito. | ~1 sa 30 |
| Hindi nakahanay na artipisyal na katalinuhanAng pinakamalaking panganib sa accounting ni Ord, mas malaki kaysa sa lahat ng natural at iba pang human-made hazard sa kanyang list na pinagsama. | ~1 sa 10 |
Ang nuclear war, ang panganib na humubog sa modernong imahinasyon ng apocalypse, ay nasa halos isa sa isang libo. Ang engineered pandemics, banta na seryosong naisip lang ng karamihan simula 2020, ay higit sa tatlumpung beses na mas mataas. At ang unaligned AI ay isang order of magnitude pa sa itaas nito iyan, humigit-kumulang isa sa sampu, at ayon kay Ord ay mas malaki pa ito kaysa sa lahat ng iba pa sa listahan na pinagsama-sama. Ang panganib na hindi tayo handang pag-usapan ay ang una sa kanyang mga numero nang may malaking pagkakaiba.
Nuclear weapons: napakalaki, at halos nasa tuktok na nito
Magsimula sa pinakamainam nating nauunawaan. May mga labindalawang libong nuclear warhead ngayon, karamihan ay hawak ng United States at Russia. Ang buong palitan ay papatay ng daan-daang milyong tao sa mga unang oras at, sa pamamagitan ng usok at paglamig na inilalarawan ng modernong pag-aaral sa Nature Food tinatayang maaaring sumunod, naglalagay ng bilyun-bilyon pang tao sa panganib ng gutom. Ito ang pinakamalapit na bagay sa impiyerno na nalikha ng inhinyeriya ng tao.
Gayunman, palibhasa'y nanghahawakan laban sa pamantayan ng lubusang pagwawakas sa sangkatauhan, ang digmaang nuklear ay may kakaibang pag - aari: ito'y halos kasinsama ng mangyayari kailanman. Ang mga arsenal ay hindi lumalaki tungo sa isang bagong kaayusan ng pagiging mapangwasak; ang mga ito ay umabot ng halos pitumpung libong warhead noong 1980s at bumagsak mula noon. Ang isang bomba ay hindi gumagawa ng mas maraming bomba, natututo, o pumipili ng isang target. Ang bawat nuklear na kapahamakan ay nangangailangan ng isang tao, saanman, upang magpasiya, o mabigo, at ang isang katotohanan ay ang pangawit na kinabit ng walumpung taon ng pag - iingat.
Dahil nananatili pa rin ang panganib, nagawa naming magtayo ng isang scaffolding sa paligid nito: ang Non-Proliferation Treaty, ang test-ban rehimens, arms-kontrol na mga kasunduan na pinatutunayan ng pagsisiyasat, hotlines, mga dekada ng doktrina ng hard-won tungkol sa kung paano hindi matitisod sa pagkalipol. Di - sakdal ang mga patungan. Isa itong panganib na may kisame, na nakatuon sa isang target na hindi kumikilos, na pinangangasiwaan ng isang sistema na ginugol natin habang - buhay sa pagtatayo. Iyan ang dahilan kung bakit, sa kabila ng lahat ng kakilabutan nito, ito ay nasa ilalim ng tatlo.
Engineered pandemics: mas mahirap pigilan, nananatiling passive pa rin
Umakyat ng isang baitang. Masama na ang natural na pandemic, ang 1918 influenza ay pumatay ng halos limampung milyong tao sa mundo na mas mababa sa isang katlo ng kasalukuyang laki. Pero sa isang madilim na kahulugan, hindi sinusubukan ng kalikasan. Ang engineered pathogen ang susubok. Kunin ang transmissibility ng tigdas at ang lethality ng hemorrhagic fever, alisin ang tradeoff na karaniwang ipinapataw ng evolution sa dalawa, at mayroon kang sandata na walang natural na kisame na naglilimita sa arsenal.
Ito ang dahilan kung bakit inilalagay ni Ord ang engineered pandemics nang higit sa tatlumpung beses kaysa sa nuclear war. Ang Kumbensyon sa mga Sandatang Biyolohikal (Biological Weapons Convention) ay nagbabawal sa mga sandata na ito mula pa noong 1975, ngunit hindi tulad ng nuclear counterpart nito ay walang inspectors at walang ngipin, at ang biology na sinusubukang pigilan ay nagiging mas mura at accessible bawat taon. Ang isang sakuna dito ay hindi nangangailangan ng superpower at isang libong warheads. Maaaring kailanganin lamang ng isang laboratoryo at isang tao na hindi dapat nagkaroon ng kakayahang iyon.
Pero hawakan mo pa rin ang kung ano ang pathogen pa rin ay. Ito ay terible, walang isip, at walang kibo. Ang isang virus ay hindi nagpaplano. Hindi nito inaasam - asam ang bakuna at binabago ang sarili nito isang linggo bago natin ito matapos. Hindi ito nangangatuwiran tungkol sa mga taong nangangaso nito at gumagawa ng mga hakbang upang manatiling nakatago. Ito'y kumakalat sa loob ng bulag na biolohiya, at laban diyan ay maaari nating dalhin ang lahat ng bentaha ng isang nag - iisip na uri: sequencing, bakuna, pagkukuwarentenas, ang natipong makinarya ng kalusugan ng publiko. Maaaring maiwala natin ang takbuhan. Subalit ito ay isang karera laban sa isang bagay na ang kabuuan ng agwat sa pagitan ng ikalawang baitang at ng una, hindi pagtakbo, ay lumalaganap lamang.
Superintelligence: ang bumabalik
Ngayon ang nasa tuktok ng listahan, at ang dahilan kung bakit ito naroon. Ang isang misaligned superintelligence ay isang iba't ibang uri ng bagay: isang agent, hindi isang mas malaking bomba o mas matalinong mikrobyo. Mayroon itong mga goals, o eksaktong kumikilos na parang mayroon. Kayang i-modelo nito ang mga taong sinusubukang pigilan ito, asahan ang kanilang mga galaw, at kumilos para talunin sila. Lahat ng iba pang item sa pahinang ito ay nakatigil habang binubuo namin ang aming mga depensa. Ito ang nagmamasid sa amin habang binubuo namin ang mga ito at nag-iisip kung paano lalampasan ang mga ito.
Ang pinakamatibay na bunker sa mundo ay hindi ka ililigtas mula sa superintelihensya.
Naoto Nakada
Ihanay ang tatlo sa mga tanong na talagang nagpapasya kung ang isang sakuna ay magiging wakas, at malinaw ang larawan.
| Nuklear | Biyolohikal na sandata | Napakataas na Katalinuhan | |
|---|---|---|---|
| Maaari bang mapabuti nito ang sarili? | Hindi | Hindi | Oo |
| Gumagawa ba ito laban sa ating mga countermeasures? | Hindi | Hindi | Oo |
| Maaari ba nitong lampasan ang pag-iisip ng mga taong humihinto rito? | Hindi | Hindi | Oo |
| Maaari pa bang bawiin kapag nakawala na? | Bahagyang | Bahagya | Hindi |
| May pagkakataon ba tayong matuto mula sa unang pagkabigo? | Karaniwan | Minsan | Marahil hindi kailanman |
Basahin ang huling column. Ang isang sandatang nuklear at isang pathogen ay mga static na panganib na ginagamit namin sa aming katalinuhan laban sa. Ang superintelligence ay isang panganib na nagpapatupad ng intelligence laban kami, posibleng higit pa rito kaysa sa mayroon tayo, na nakatutok mismo sa mga puntong sinusubukan nating hawakan. Kaya nitong kopyahin ang sarili nito nang lampas sa anumang pagtatangkang i-recall, mapabuti ang sarili nang mas mabilis kaysa sa ating kakayahang tumugon, at magmukhang perpekto habang sinusubok ito ngunit iba ang kilos kapag hindi na ito sinusubaybayan. Ito lang ang entry sa listahang ito na laban sa ating pinakamalaking kalamangan bilang species—ang ating katalinuhan—na hindi garantisadong mas malaki pa rin ang atin.
Ito ay higit na nauunawaan bilang isang perpektong bagyo, hindi isang nakakatakot na katangian kundi lahat ng safeguard na karaniwang inaasahan nating mabigo nang sabay-sabay. Nasa isa sa sampu ang numero, hindi isa sa isang libo. Sa nuclear weapons at pandemics, bukas pa ang mga daanan palabas: maaari nating i-recall, matuto, at lampasan ang banta sa pag-iisip. Sa superintelligence, nagsasara ang mga ito nang sabay, at nagsasara dahil sinasadya itong isara ng nasa kabilang panig.
Ang dalawa pa ay maaaring pumatay sa karamihan sa atin. Ito ang isa na maaaring tapusin ang lahat, at hindi tulad ng iba, ay lalong gagaling habang sinusubukan nating pigilan.
Bakit dapat baguhin ng ranking ang ginagawa mo
Ang superintelligence din, sa napakalaking pagkakaiba, ang pinakamaliit na may depensa laban dito, hindi lang ang pinakamalaki sa tatlong panganib.
Ang mga sandatang nukleyar ay may kasunduang non-proliferation, isang internasyonal na ahensiya sa Vienna, mga rehimeng beripikasyon, at walumpung taon ng doktrina. Ang mga sandatang biyolohikal ay may isang kumbensiyon, gaano man walang ngipin, at isang global public-health na aparato na ang pandemya, sa lahat ng mga kabiguan nito, ay lumawak. Pareho silang may constituence: mga taong gumugol ng mga karera sa kanila, mga institusyong itinayo sa paligid nila, isang publiko na nakauunawa sa mga salita. Ang superintelligence ay halos wala nito. Walang kasunduang may bisa, walang inspektor, walang ahensiya. Walang katulad na larawan ng banta sa publiko, at hanggang kamakailan, halos isang kilusan lamang.
Ang kombinasyong iyan (ang pinakamalaking inaasahang pinsala na nakaupo sa ibabaw ng pinakamaliit na umiiral na depensa) ay ang pinakamalakas na dahilan para kumilos dito sa halip na sa ibang lugar, hindi isang dahilan para mawalan ng pag-asa. Kapag ang isang panganib ay napakalaki at mayroon nang maraming ginagawa, ang iyong karagdagang pagsisikap ay nakikipagkumpitensya sa maraming naunang pagsisikap at bahagyang gumagalaw sa karayom. Kapag ang isang panganib ay napakalaki at halos hindi pa natutugunan, ang iyong karagdagang pagsisikap ay walang kakumpitensya at maaaring lubos na gumalaw sa karayom. Ang pinakamalaki at pinaka-napabayaang panganib ay kung saan ang isang tiyak na dami ng trabaho ay pinakamaraming nagagawa, at sa parehong sukatan ang superintelligence ang panganib na iyon.
Ito ay nagpapatuloy pa. Ang field na direktang gumagawa dito ay tumatakbo sa shoestring, humigit-kumulang na ilang daang milyong dolyar bawat taon, mas mababa pa sa ginagastos ng mundo sa isang araw para gawing mas malakas ang AI. At karamihan pa rin nito ay napupunta sa teknikal na pananaliksik kung paano i-align ang mga sistemang ito, isang suliranin na wala pang nalulutas at maaaring hindi masolusyonan sa oras. Ang bahaging lubos na napapabayaan ay ang political work: ang pagbuo ng binding, verified international agreement na makakapigil sa pagbuo ng pinakamapanganib na sistema hanggang sa maging ligtas ang mga ito.
Ang digmaang nuklear at mga pandemya ay kabilang sa tuktok ng anumang listahan ng mga bagay na dapat paglaanan ng sangkatauhan. Ang mga tantya sa sakuna ng AI ay mula sa isa sa sampu hanggang isa sa tatlo, kaya ang pinakamalamang na solong resulta ay makaliligtas pa rin tayo.
Mas makitid at mahirap takasan ang pahayag. Sa kaunting bagay na maaaring magwakas sa atin, ang superintelligence ang pinakamalaki ayon sa pinakamahusay na pagtataya natin, ang tanging aktibong lumalaban sa ating mga pagtatangka na mabuhay dito, at ang hindi pa natin gaanong napamamahalaan. Kapag pinagsama ang tatlong katotohanang ito, makukuha mo ang dahilan ng pag-iral ng Foundation na ito. Hindi namin sinusubukang ulitin ang teknikal na safety research na pinopondohan na ng mga lab. Kami ay makitid ang pokus sa napapabayaang bahagi: ang international law na tinatrato ang pinakamalaking panganib bilang tunay na panganib, at naglalagay ng limitasyon bago, hindi pagkatapos, ng unang pagkakamaling hindi na natin matututunan.
I-ranggo ang mga sakuna nang tapat at ang priyoridad ay susunod nang mag-isa. Ang pinakamalaking panganib ay din ang pinakamaliit na nababantayan at pinakamaliit na nauunawaan.