Ano ang hawak ng nanalo sa karera ng superintelligence? Sa mga silid na puno ng mga taong gumagawa ng AI, dumudulas ang usapan dito. May magtatayo pa rin nito, kaya baka mas mabuti tayo. Panganib, timeline, kung paano kontrolin ang sistemang mas matalino kaysa sa gumawa: lahat ay binabalewala na parang usapang panahon. Hindi tayo makakapagpigil. May karera.
Halos walang tumutol sa takbuhan. Palibhasa'y pinakikitunguhan bilang isang katotohanan ng kalikasan, bawat walang - ingat na pagpili sa ilog ay nagsisimulang maging responsable. Ang lagay ng panahon ang maling modelo para sa pagpili ng ilang kompanya ay gumagawa ng layunin.
Para saan ang isang karera
Ang isang karera ay isang paligsahan na may premyo sa dulo, at ang premyo ang dahilan para tumakbo. Ang space race noong 1960s ay naghatid ng watawat sa Buwan at ang prestihiyo na kasama nito. Ang nuclear arms race naman ay naghahatid ng sandata: ang estado na gumawa ng bomba ang humahawak nito, nakatutok ito, at nagpapasya kung gagamitin ito. Sa bawat kaso, ang nanalo ang nagtatapos na may hawak na isang bagay, isang kakayahang pag-aari at utos nila.
Ngayon tanungin kung ano ang hawak ng nanalo sa dulo ng lahi patungo sa superintelligence. Ang buong premise ng panganib ay ang sistemang mas matalino nang higit sa atin ay hindi magiging kasangkapan sa kamay ng sinuman. Ang artificial superintelligence ay isang ahente na nagtataguyod ng mga layunin. Kung ang mga layuning iyon ay bahagyang lumihis sa atin (ang problemang hindi pa nalulutas), hinahabol pa rin nito ang mga layuning iyon kahit hindi aprubado ng mga gumawa. Ang lab na "nanalo" ay hindi nagmamay-ari ng superintelligence. Sa halip, nakikibahagi ito sa isang planeta kasama ang isang bagay na hindi nito makokontrol.
Sulit lang manalo sa isang karera kung may premyo ang finish line. Dito, ang finish line ay isang system na walang nagpakita na kayang kontrolin. Ang unang makarating doon ay hindi nangangahulugang hawak ang kapangyarihan. Nangangahulugan ito na ikaw ang unang sasagot dito.
Ang finish line na walang makakapagmaneho ay hindi isang premyo. Ang unang makarating doon ay talo, isang hakbang sa harap ng iba.
Ang agwat na patuloy mong naririnig
Kapag inalis ang teorya, ang race narrative ay nakabatay sa isang konkretong pahayag: malapit na ang China, hindi ito titigil, kaya hindi rin tayo pwedeng tumigil. Tinatapos ng pahayag na ito ang bawat pulong, at mas madalas itong iniuugnay kaysa sinusuri.
Magsimula sa makatotohanang bahagi. May tunay na kompetisyon sa pagitan ng mga laboratoryong Amerikano at Tsino, at may tunay na paligsahang industriyal sa ibabaw ng mga chip at compute. Ang mga kontrol ng Amerika sa pagluluwas sa pinakamasulong na mga chip ng AI ay umiiral nang eksakto sapagkat ang paligsahang iyon ay tunay. Ang ang pulitika ng mga kontrol na iyon at kung saan talagang nangyari ang kooperasyon ay higit pa sa kuwento ng lahi.
Ano man ang ipuslit ng mga sparkist: "Magtatayo ang Tsina ng isang hindi masupil na superintelligence anuman ang ating ginagawa" ay hindi inilalarawan ang Tsina na sinabi o ginawa. Ito'y isang prediksiyon, at isang kombinyenteng hula, sapagkat pinapayagan nito ang tagapagsalita na gawin ang bagay na nais na niyang gawin. Nilagdaan ng Tsina ang Bletchley Declaration tungkol sa panganib ng AI noong 2023. Inilathala nito ang sarili nitong mga panukalang pamamahala. Ang pamahalaan nito ay umupo kasama ng Estados Unidos para sa mga direktang pahayag sa AI. Ang isang bansa na tumatakbong papalapit sa isang sistema na maaaring pumatay sa sarili nitong pamumuno ay isang kakatwang bagay na basta na lamang iisipin, nang walang katibayan na nais ng mga lider nito na mangyari ang gayon na gaya ng sa atin. "They'll do it anyway" ay isang kuwento tungkol sa ating sariling pahintulot, hindi sa kanilang mga intensiyon.
kung ang isang misaligned superintelligence ay sakuna para sa sinumang gumawa nito, may eksaktong parehong dahilan ang China gaya natin para hindi ito itayo. Walang premyo para sa sinumang karibal.
Ang karera ay pumipili sa mga hindi gaanong maingat
Ipagpalagay, para sa usapan, na kasing talas ng sinasabi ng mga racer ang kompetisyon. Sundan ang lohika kung saan ito patungo. Sa isang karera, ang pinakamabilis ang mananalo, at ang paraan para gumalaw nang pinakamabilis sa frontier ng AI ay ang gumugol ng mas kaunting oras sa mga bagay na nagpapabagal sa iyo: evaluation, red-teaming, oversight, ang pasyenteng gawain ng pagsuri kung ginagawa ng system ang inaakala mo.
Ang istruktura ng isang karera ay nagbibigay ng tagumpay sa sinumang humahiwa ng karamihan ng sulok sa kaligtasan. Ang nagwagi ang hindi gaanong maingat na laboratoryo, hindi ang pinakamahusay. "Kailangan nating manalo sa karera" at "kailangan nating gawin ito nang ligtas" hatak sa magkabilang direksiyon, at miyentras mas mahirap ang karera, mas mahirap ang hila nila. Hindi dinidisiplina ng kompetisyon ang panganib. Ito ay gumagawa nito. Ang isang daigdig ng mga laboratoryo na tumatakbo upang maging una ay isang daigdig na lubhang kapaki - pakinabang, taglay ang malaking lakas at pagkalaki - laking kapital, para sa eksaktong bagay na papatay sa lahat.
Kahit sa loob ng lohika ng karera mismo, "we must win" ay lumiliko laban sa sarili nito. Kung ang pagwawagi ay nangangailangan ng pagputol sa mga sulok na nagpapanatiling kontrolado ang superintelligence, kung gayon ang pagwawagi ay paraan ng pagkatalo.
Sino ang Nakikinabang sa Kwento
Kung ang race framing ay napakahina, bakit ito nasa lahat ng dako? Dahil ito ay kapaki-pakinabang, hindi lang sa iba sa atin.
Para sa isang hangganang laboratoryo, "may karera at dapat nating makamit ito" ay malapit nang maging perpekto. Sinasabi nito sa mga mamumuhunan na ang paggasta ay isang pagsunggab sa lupa para sa isang bagay na napakalaki. Sinasabi nito sa mga namamahala na ibibigay lamang ng mga alituntunin ang kinabukasan sa mas masasamang artista. At ang tahimik na bahagi: hinahayaan nito ang mga sariling inhinyerong pangkaligtasan ng laboratoryo na maniwalang ang karera ang responsable, dahil ang alternatibo ay pumapayag sa walang ingat na pagkapanalo. Binabago nito ang isang pasiya (upang patuloy na gumawa ng isang bagay na hindi mo pa kayang kontrolin) tungo sa isang pangangailangan na hindi nagpapahintulot sa sinuman na hindi makaawit, kahit na sa lahat ng tao na gumagawa nito.
Pangalanan ang sleight of hand. Ang isang race ay parang kondisyon na ipinataw sa mga lab mula sa labas. Ito ay isang pagpili, ginawa ng maliit na bilang ng mga kumpanya at ng mga gobyernong makakapigil sa kanila, para magpatuloy. Tinawag ni Elon Musk na demon ang AI at pagkatapos nagtayo ng lab para mas mabilis itong tawagin, na nagsasabi sa iyo na ang "karera" ay estratehiya na pinili ng isang tao, hindi batas ng pisika na sinusunod ng lahat. Maaaring iwanan ang mga estratehiya kapag hindi na sila makatwiran. Tumigil nang makatwiran ang isang ito nang lumabas na ang premyo ay isang sistema na walang makakapigil.
Ang opsyon na hindi kailanman nasa talahanayan
Ang karera ay tahimik na nag - aalis ng pinto sa paningin. Naghaharap ito ng dalawa: lahi, o sama - samang tumayo at hayaang manahin ng walang ingat ang kinabukasan. Sa ganiyang paraan, isang mangmang lamang ang pumili ng ikalawang pinto, at ang pagtatalo ay nagtagumpay sa pamamagitan ng pag - alis sa ikatlo.
Ang ikatlong pinto ang talagang ginamit na noon ng mga tunay na kalaban. Ang Estados Unidos at ang Unyong Sobyet ay kalaban sa bawat kahulugan, nakatutok sa mga sandatang makakapagwakas sa mundo sa mga lungsod ng isa't isa. Nagpirma pa rin sila at nag-verify ng arms-control agreements, dahil nakita ng magkabilang panig na mas malala ang kalalabasan ng walang hanggang karera kaysa sa panuntunang pareho silang itinatali. Ang hindi pagtitiwala ang dahilan ng kasunduan, hindi ang hadlang dito.
Ang superintelligence ay may katangian na gumagawa sa gayong kasunduan na makatuwiran: walang pangunahing mga pakinabang sa kapangyarihan mula sa isang sistema na hindi kayang kontrolin ninuman, kaya walang pangunahing kapangyarihan ang may tunay na interes sa pagiging ang isa na unang nagtatayo nito. Iyan din ang saligan ng isang kasunduan: isang may bisa, maaaring ihinto ang paggawa ng superintelligence. Superintelligence hindi makontrol. Isang permanenteng pagtanggi sa superintelihensya bilang kategorya ng produkto. Na-sketch na namin kung ano ang hitsura ng instrumentong iyan, mula sa isangmodelong kasunduan sa mas malawak na plano pag - aari ito. Mahirap ang Verification. Mahirap din ito para sa mga sandatang nuklear, at ito'y naitayo, sapagkat ang mapagpipilian ay hindi tinatanggap ng lahat sa mesa.
"Lahi o pagsuko" ay isang maling pagpipilian. Nakadepende ang pag-frame sa hindi mo napapansin ang pintuan na iniwan nito.
Pagtanggi sa karera
Ilang laboratoryo ang nagpapasiyang gumawa ng isang teknolohiya na hayagan nilang inaamin kung paano susupilin, at binibigyang - matuwid nila ito sa pamamagitan ng pagtuturo sa isang karibal na, ipinalalagay, ay gumagawa ng gayunding walang ingat na pagpili sa gayunding masamang dahilan. Ang kawalang - ingat ng bawat panig ay ibinibigay bilang dahilan para sa kabilang panig.
Wala sa mga ito ang nangangailangan ng paniniwalang hindi totoo ang kompetisyon o banayad ang geopolitics. Kailangan lang mapansin na ang isang labanan na walang premyo sa dulo ay hindi isang labanan na dapat ipaglaban ng buong uri ng tao, at ang mga taong nagsasabing hindi maiiwasan ito ay, halos palagi, ang mga taong nakikinabang dito. Ang lahi ay isang kuwento. Maganda, at maginhawa para sa buong industriya. Ang kuwento ay eksakto ang uri ng bagay na pinapayagang hindi paniwalaan.