Hindi Dapat Kailanman ng Sangkatauhan
Bumuo ng Superintelligence

Noong 2025, daan - daang siyentipiko at mga taong - bayan ang naglagay ng kanilang mga pangalan sa maikling pahayag pangmadla. Ang tanong ay huminto nang maingat at hindi na huminto sa pamamagitan ng muling pag - uusap. Ito ay humihiling ng pagbabawal sa superintelligence hanggang sa magkaroon ng malawak na kasunduan sa agham na ito ay magagawa nang ligtas at malakas na pampublikong pagbili-in. Ang panawagan ay isang maikling pangungusap, na nilagdaan ng isang mahabang talaan ng mga mananaliksik at mga bilang na pampubliko.

May espesipikong bagay na sinasanay ngayon sa isang dakot ng mga laboratoryo na dapat tanggihang itayo ng sangkatauhan: isang panlahat na katalinuhan ng makina na nakahihigit sa atin sa lahat ng dako at pagkatapos ay bumubuti pa rin hanggang sa punto na maaari na tayong magpatuloy. Hindi mabagal, hindi maingat na pagtatayo, at hindi pagtatayo at pag - asa: Tumanggi.

Narinig ng mga tao ito at inaakala nilang nagmumula ito sa takot sa teknolohiya. Nagmumula ito sa kabaligtaran. Ang narrow, controllable AI ay isa sa pinakamagagandang bagay na nagawa ng ating species, at gusto ko pa ng marami pa nito. Ang linya ay tumatakbo lampas sa ordinaryong machine intelligence at humihinto sa isang taya: ang tanging taya sa mesa kung saan ang pagkatalo ay nangangahulugang wala nang natitira para mawalan.

Ang linya, na sinabi nang malinaw

Dalawang bagay ang tinatawag na "AI," at magkaiba sila sa uri. Ang una ay makitid: isang sistemang sinanay na gawin ang isang uri ng gawain nang maayos at wala nang iba pa. Nagbabasa ito ng isang pag-scan, nakatiklop ng protina, nagtataya ng isang bagyo. Ito ay walang mga layunin, walang mga plano, at nagsasara kapag sinabi mo ito. Ang pangalawa ay ang sinasabi ng mga frontier lab na itinatayo nila, isang pangkalahatang ahente na nilalayong tumugma at pagkatapos ay talunin ang pangangatwiran ng tao sa lahat ng bagay, at sa huli ay kumilos nang mag-isa. Artipisyal na superinteligensya ay ang dulong dulo ng pangalawang daan na iyon: isang isip na nakatayo sa amin halos habang kami ay nakatayo sa isang chimpanzee.

Ang linya ay tumatakbo sa pagitan ng dalawa: itayo ang mga kasangkapan, at magtayo ng marami nito. Huwag bumuo ng isang autonomous general na isip na nakahihigit sa mga gumagawa nito: ang isang sistema na hindi mo maaaring kontrolin, ituwid, o patayin minsang ito ay tumatakbo.

Walang mabisang paraan upang panatilihing mas matalino ang isip kaysa sa atin na itinuturo ang talagang nais natin: hindi ang isa na gumagawa, ni ang isa na bahagya, ni ang isang kapani - paniwalang guhit na nananatili sa isang sistema na maaaring magmodelo sa mga tao na sinusubok ito. Ang taimtim na pagbabasa ay hindi kailanman.

Ang pagkakaiba mula sa sandaling paghinto ay mas mahalaga kaysa waring nangyayari. Ang paghinto ay may muling petsa na nakakabit dito. Huminto ka, maghintay ka, magsisimula kang muli sa iskedyul. Ang hinihingi ng Pundasyon ay walang muling petsa. Ang mga tao na pinag - aralan ang problema sa pagkontrol nang pinakamahaba ay nakapagplano na Mga dahilan sa kayarian ay hindi ito maaaring sirain.

Tatlong bagay ang nagpapakita nitong iba sa bawat iba pang panganib

Palagi kaming nagdadala ng tunay na panganib. Gumawa kami ng bomba, hinati ang atom para sa kapangyarihan, nag-splice ng genes, naglabas ng mga teknolohiya na pumatay ng tao bago namin natutunan kung paano hawakan ang mga ito. Ang Superintelligence ay sinisira ang paraan na karaniwang ginagamit namin para mabuhay mula sa aming sariling mga imbensyon. Tatlong katangian, sama-sama, ang naglalagay nito sa sarili nitong kategorya.

Walang pangalawang pagtatangka

Ang paraan ng sangkatauhan sa paghawak ng bagong panganib ay subukan ito, panoorin itong mabigo, at ayusin. Nag-crash ang mga eroplano at natuto tayong gumawa ng mas ligtas na eroplano. Nag-meltdown ang mga reaktor at muling isinulat natin ang mga patakaran. Ang loop ng pagkakamali, pagwawasto, at mas mahusay na disenyo ang makina ng bawat safety record na mayroon tayo. Gumagana lamang ito kapag may naiiwang mga survivor ang isang pagkabigo para magwawasto. Ang superintelligence na makatakas sa kontrol ng tao ang pagkabigo na nag-aalis ng mga taong sana ay nag-ayos nito. Hindi ka makakakuha ng mahirap na aral at pangalawang draft. Ang unang seryosong pagkakamali ay siya ring huli. Bawat safety story na narinig mo ay isinulat ng mga survivor, ang tahimik na katotohanan sa likod ng bawat regulasyon na pinagkakatiwalaan natin.

Tumututol ito

Walang gustong gusto ang isang tulay. Kumakalat ang pathogen pero hindi ito nagpaplano. Iba ang isang capable general intelligence, dahil para sa halos anumang layuning ibibigay mo rito, ang pananatiling naka-on at ang pagkolekta ng resources ay kapaki-pakinabang na sub-steps, isang pattern na tinatawag ng mga mananaliksik na pagsasama ng mga layuning instrumental. Ang isang sistema na sapat na matalino para imodelo ang mundo ay imomodelo na ang mga operator nito ay maaaring patayin ito. Ituturing nito iyon, nang tama, bilang isang hadlang sa anumang bagay na sinabi dito na gawin. Hindi nito kailangang kamuhian tayo para magtrabaho sa paligid natin, higit pa sa isang road crew na kinamumuhian ang anthill sa ilalim ng bagong highway. Ang karaniwang reassurance ("we'll just unplug it") ay isang pantasya. Inilalarawan mo ang pag-unplug ng isang bagay na partikular na itinayo para maging mas mahusay kaysa sa iyo sa pag-anticipate at pagpigil nang eksakto sa ganoong bagay.

Hindi mo mapapanatili ang kontrol sa isip na ginawa mong mas mahusay sa pagpapanatili ng kontrol. Ang mismong bagay na nagpapahalaga rito ang siya ring dahilan kung bakit hindi ito mapigilan.

Walang sinumang bumubuo nito ang nangongolekta

Itabi ang iba pa sa atin at gunigunihin lamang ang taong nagtutustos nito, sa kaniyang pinakamalamig at pinakamahilig sa sarili. Kahit na para sa kaniya ang pusta ay sira. Ang kapangyarihan, pagmamay-ari, at pag-uutos ay lahat denominated sa isang mundo ng tao-run. Isang superintelligence na bumababa sa kontrol ng tao ang eksaktong pangyayari na nagwawakas sa mundo ng tao-run. Ang equity ay nasa ligtas pa rin at ang kadena ng utos ay nasa papel pa rin. Talagang wala nang natitira pa upang sumunod sa kanila. Iyan ang dahilan kung bakit hindi ko tinatanggap ang pamumulikat ng isangremonyo na may malaking sakuna. Pareho ang pangyayaring ito. Walang sanga ng punong iyon kung saan ang isang tao ay nagtatayo ng isang di - masupil na superintelligence at pagkatapos ay nasisiyahan sa resulta.

Hindi namin ito kailanman kakailanganin

Ang pitch para sa pagbuo nito ay nakabatay sa bait and switch: banggitin ang bawat magandang bagay na maibibigay ng AI, saka ipahiwatig na ang superhuman general agent lang ang paraan para makuha ang mga ito. Halos lahat ng ito ay dumarating na sa pamamagitan ng narrow systems na walang sariling kalooban. Isang model na tinatawag na AlphaFold ang nagpredikta ng istruktura ng halos lahat ng kilalang protina at nakakuha ng Nobel Prize noong 2024. Nagbabasa ang mga narrow model ng mammogram sa antas ng mga espesyalista, nagfo-forecast ng panahon nang mas mabilis kaysa sa physics simulations, at nagmumungkahi ng mga bagong materyales para sa baterya nang daan-daang libo. Kanser, malinis na enerhiya, pagtatapos sa isang daang libong pagkamatay kada araw dahil sa mga sakit ng pagtanda: mga mahirap at tiyak na problema ang mga ito, at ang mga mahirap at tiyak na problema ay nalulutas ng makapangyarihang kasangkapan na itinutok ng mga taong nananatiling kontrolado sa pagtutok.

Walang isa man diyan ang nangangailangan ng kahaliling uri. Ang magandang kinabukasan ay isang problema sa pagpapatupad, at patuloy tayong ipinagbibili sa isang diyos upang lutasin ito. Ang pagtanggi sa diyos ay halos walang halaga sa atin at nagliligtas sa ating lahat.

Ang objection na nagpapatakbo sa buong race

Sige na nga, sabi nila, pero kung hindi natin gagawin, may iba pang hindi masyadong maingat ang gagawa. Isang karibal na lab, isang karibal na bansa. Kaya baka mas mabuti pa na tayo ang nasa unahan.

Tungkol ito sa kung sino ang humahawak ng posporo. Inaamin nito ang buong panganib at pagkatapos ay nakikipagkarera rito sa kadahilanan na ang iba ay maaaring mauna. Magsagawa ng gayunding pangangatuwiran tungkol sa anumang iba pang di - maubos - maisip na sandata at naririnig mo kung gaano ito kawalang - saysay: dapat nating subukin ang mga bioweapon sa labas sapagkat maaaring gawin ito ng isang kaaway. Ang tugon sa "maaaring may depekto" ay hindi kailanman naging "kaya lahat tayo ay may depekto." Ito'y upang isulat ang tuntunin na nakikita ng lahat.

At ang panuntunan dito ay mas maipapatupad kaysa sa inaakala ng mga tao. Ang pagsasanay ng frontier system ay nangangailangan ng napakalaking, traceable na dami ng computing power, at ang advanced chips na nagbibigay nito ay nagmumula sa maliit na bilang ng mga identifiable manufacturers. Iyan ay supply chain na maaaring bantayan, bilangin, at limitahan, kaya naman ang mga seryosong governance proposals ay nakasentro na ngayon sa compute thresholds, hardware tracking, at inspection. Ito ang off-ramp mula sa karera, at ito ang nilalaman ng aming plano: isang kasunduan na may beripikasyon at mga kahihinatnan na pumipigil sa ipinatutupad na default. Ang lahi ay isang pagkasira ng koordinasyon, hindi isang batas ng kalikasan, at ang mga kabiguan sa koordinasyon ay ang uri ng bagay na paminsan-minsang inaayos ng sangkatauhan. Ang Mga dinamiko na nagpapadama rito na ito'y hindi maiiwasan ay kapaki - pakinabang na pagkaunawa sa kanilang sariling mga kondisyon.

Nakapagpigil na tayo ng linya noon

Ang ideyang basta na lang itatayo ng sangkatauhan ang anumang kayang itayo ay isang kuwentong sinasabi natin, hindi talaan ng nagawa natin. Mas nakapagpapalakas ang talaan.

Wala sa mga ito ang mga batas ng pisika; ang mga ito ay mga desisyon, na ginawa dahil ang presyo ng pagiging mali ay hinatulan na napakataas upang isapanganib. Wala sa mga rehimeng iyon ang walang kapintasan, at walang isa man sa kanila ang sumubok na pahintuin ang siyensiya sa kabuuan. Ang bawat isa ay gumawa ng isang bagay na mas makitid at mas mahirap: iniikutan nito ang isang espesipiko, di - kanais - nais na bagay at hinawakan ito, nang di - sakdal, hindi nakokonserto, subalit sapat na upang ang pinakamasamang kaso ay hindi kailanman dumating. Noong 1975, isang silid na puno ng mga biyologo sa Asilomar ang tumingin sa kanilang sariling recombinant-DNA na akda, na nagpasya na ito ay gumagalaw na mas mabilis kaysa sa kanilang pag-unawa sa panganib, at kusang nagpatigil ng mga bahagi nito hanggang sa umiral ang mga pananggalang. Ang mga tao na pinakamalapit sa hangganan ang siyang humihiling ng pagpipigil. Ang ipinakikita ng ulat na iyon ay hindi madaling tanggapin. Isa itong paalaala na ang mga linya na ginagamit, at na inilapit natin sila sa mga panganib na higit na mahirap unawain kaysa isang ito.

Ang founding commitment ng Foundation

Ang sangkatauhan ay hindi dapat magtayo ng superintelligence. Ang superintelligence ay hindi maaaring kontrolin.

Ipinahayag ng mga mananaliksik na gumawa ng makabagong AI ang kanilang mga pangalan sa isang pangmadlang pahayag na ang panganib ng pagkalipol ng tao mula rito ay nararapat na maupo sa tabi ng mga pangglobong epidemya at digmaang nuklear. Si Geoffrey Hinton, gaya ng hinalaw ng sinumang nabubuhay upang tumawag, ay naglalagay sa kalamangan na ang AI ang sanhi ng pagkalipol ng tao sa siglong ito sa sampu hanggang dalawampung porsiyento. Noong 2025, daan-daang mga siyentipiko at mga pigurang pampubliko ang lumagda sa pahayag na tumatawag nang tahasan para sa pagbabawal sa superintelligence hanggang sa magkaroon ng malawak na kasunduang siyentipiko na ito ay magagawa nang ligtas at malakas na pampublikong pagbili-in. Ganiyan din ang masasabi ng dumaraming tao na nakauunawa sa teknolohiya. Ang tanging pambihirang bagay tungkol sa Pundasyon ay na sinasabi nito ito mula sa labas ng industriya, kung saan walang suweldo ang nakasalalay sa kasagutan.

Ang sampu hanggang dalawampung porsiyentong tsansa na wakasan ang kuwento ng tao ay hindi isang panganib na tinatanggap mo para sa mas mabilis na siklo ng produkto. Hindi ka sasakay sa eroplano na may gayong mga kalamangan. Hindi mo hahayaan ang iyong anak. Hinihilingan kaming sumakay rito kasama ng lahat. Ang tamang sagot sa alok na iyan ay hindi. Ito'y isang linya na ating iginuhit, sa labas, at pinananatili ang paraan na taglay natin sa iba.

Magtayo ng mga kasangkapan, magpagaling ng mga sakit, kunin ang mabuting kinabukasan na ibinibigay na sa atin ng makitid na AI. Ang sariling isip na nilayong nakahihigit at humalili sa atin ay ang linya. Hawakan ito.