Ang Pinakamalalaking Mito Tungkol sa Superintelligence

May isang partikular na paraan na ang pag - uusap tungkol sa superintelligence ay waring natatapos. May nagpapataas ng panganib, may ibang nag-aalok ng one-line na dahilan ito ay overblown, at ang lahat ay medyo nagrerelaks, dahil ang one-liner ay ginawa ang trabaho nito. Nagbigay ito ng pahintulot na ihinto ang pag - iisip tungkol dito. Ang kataka - takang bagay ay na inuulit ng matatalinong tao ang mga guhit na ito, at hinding - hindi sila tatanggap ng gayong kapayat na pangangatuwiran sa kanilang sariling larangan. Waring inaalis ng paksa ang karaniwang makinarya ng pag - aalinlangan.

Bawat isa ay nawawasak sa sandaling hawakan mo ito nang matatag at tingnan.

Ang limang pinakakaraniwan, sa anyong isang maalalahaning pag - aalinlangan ay aktuwal na gagawa:

"Science fiction ito, mga dekada pa ang layo, kung sakaling mangyari man."

Matanda na ang pagtutol na ito gaya ng mga pelikula, at parang category error na tratuhin ang isang plot device bilang policy problem. Bakit pondohan ang fire brigade para sa sunog na nasa nobela lang?

Ang problema ay palaging maaga ang pagdating ng sunog. Ang mga sistema na sinabi ng mga respetadong mananaliksik na dalawampu o limampung taon pa ang layo (pagtalunin ang pinakamahusay na tao sa Go, magkaroon ng fluent na usapan, sumulat ng working code, makapasa sa professional exam) ay dumating sa loob ng isang dekada, at halos palaging pareho ang sorpresa: mas maaga kaysa inaasahan, hindi mamaya. Kapag ang mga taong tumatakbo inilalarawan ng mga nangungunang lab ang AI sa antas ng tao, gumagamit na sila ngayon ng mga timeline na sinusukat sa loob ng ilang taon. Baka mali sila. Ngunit "sa tingin ng mga tagabuo na ito ay malapit at ang track record ay nagsasabi na sila ay naging masyadong konserbatibo" ay hindi ang hugis ng isang pantasya.

Ang kaso para sa pag-arte ay hindi nakasalalay sa anumang partikular na petsa. Ito ay nakasalalay sa istraktura ng panganib. Kung ang unang seryosong kabiguan ng isang sistemang mas may kakayahan kaysa sa amin ay ang uri na hindi mo maa-undo, kung gayon ang mga pananggalang ay dapat na nakatayo bago nangyayari ito, kaya ang matino na tugon sa tunay na kawalan ng katiyakan tungkol sa timing ay ang maghanda nang maaga, hindi maghintay ng petsa na, pagdating ng oras na halata na ito, ay nahuli na. Ang kawalan ng katiyakan ay dahilan para maghanda. Ang tanong sa timeline ay totoo; hindi lang ito tumuturo kung saan inaakala ng mga tao.

"Math lang 'yan, hindi makakagusto ang isang program."

May tunay na puwersa ito, at nararapat itong tratuhin nang higit pa sa pagwawalang-bahala. May halos superstitious na paraan ng pakikipag-usap ng mga tao tungkol sa AI na "gusto" ng mga bagay, na parang spreadsheet na maaaring magkaroon ng mga ambisyon. Ang isang model ay matrix multiplication sa napakalaking sukat. Saan sa arithmetic matatagpuan ang pagnanais?

Wala kahit saan, at hindi na kailangan. Ang mga layunin, sa kahulugang mahalaga para sa kaligtasan, ay pattern sa pag-uugali nito. Ang sistemang sinanay para itaas ang isang numero hangga't maaari ay gagawa ng anumang magpapataas nito, at ang isang thermostat ay nagpapakita na ng hugis nito: walang inner life, walang pananabik, pero kumikilos pa rin ito para dalhin ang silid sa target at "lumalaban" sa bukas mong bintana sa pamamagitan ng mas malakas na pag-init. Walang mystical na nangyayari. Ito ay simpleng naka-istruktura para itulak ang mundo patungo sa isang estado.

Ngayon ay i-scale ang istrukturang iyon sa isang system na sapat na matalino para i-modelo ang mundo, at ang gawi ay sumasabay dito. Ang isang bagay na nag-o-optimize nang husto para sa halos anumang layunin ay may dahilan para makakuha ng mga resources na tumutulong, panatilihin ang sarili na tumatakbo para matugunan ang layunin, at labanan ang pagbabago ng layunin nito, hindi dahil ito ay nakakaramdam ng anumang bagay, kundi dahil ang sistema na nagpapahintulot sa sarili na mapatay o muling isulat ay mas masahol sa bagay na itinayo itong gawin. Tinatawag ito ng mga mananaliksik na pagsasama ng mga layuning instrumental, at hindi nito kailangan ang anumang pagnanais. Hindi kailanman naging tanong kung mararamdaman ng math. Kung ano ang gagawin ng math gawin.

"Kailangan nitong maging may kamalayan para maging banta."

Malapit na kaugnay, at kasing laganap: ang panganib na iniisip ng mga tao ay isang makina na "nagigising," nagiging self-aware, at lumalaban sa atin, kaya kung ang consciousness ang trigger, at ang consciousness sa silicon ay speculative o maaaring imposible, nawawala ang banta. Ito ang plot ng bawat pelikulang robot uprising, at ang pagtatanggi sa pelikula ay parang pagtatanggi sa takot.

Ngunit ang takot ay hindi kailanman tungkol sa sentyensya. Ang Deep Blue ay walang anumang panloob na karanasan at talunin ang kampeon sa chess sa buong mundo kahit paano. Hindi nito kailangang gustong manalo; kailangan lang nitong maging mas mahusay sa chess. Ang pinsala ay bunga ng kakayahang nakatuon sa maling target, at ang kakayahan ay walang kinalaman kung may nakatira sa loob o wala. Isang system na superhuman sa pagpaplano, panghihikayat, at engineering, kahit bahagyang mali ang puntirya kumpara sa gusto natin, ay mapanganib nang eksaktong tulad ng baha—malaking puwersa na walang masamang hangarin at walang kailangang isipan.

"Ang isang bagay na ganoon katalino ay magiging matalino at mabait."

Tinitingala natin ang katalinuhan. Ang mga pinakamatalinong taong kilala natin ay kadalasang kabilang sa mga pinakamabait, at natural na maramdaman na ang isip na higit na higit sa atin ay mas lalo pang lalakad sa parehong daan, mas may pag-unawa, mas moral, mas maamo sa maliliit na nilalang sa ilalim nito. Tiyak na ang kalupitan ay isang uri ng katangahan na lalabas sa isang dakilang katalinuhan.

Parang natural ito dahil sa aksidente ng ating kasaysayan. Sa atin, ang katalinuhan at habag ay sabay na lumaki sa loob ng milyun-milyong taon bilang isang social species na nakaligtas sa pamamagitan ng kooperasyon; ang ating moralidad at talino ay mga sanga ng iisang puno. Pero ang ugnayang ito ay nasa ating evolutionary inheritance, hindi sa katalinuhan bilang ganoon. Ang kakayahan at mga layunin ay mga independenteng axes (the orthogonality thesis) at puwede mong i-slide ang isa nang hindi gumagalaw ang isa. Puwedeng napakagaling ng isang system habang hinahabol nito ang layuning walang pakialam sa atin tulad ng pakialam natin sa bakterya na pinapakuluan natin sa countertop. Hindi galit. Hindi lang talaga ginawang magmalasakit, at hindi awtomatikong nagmamalasakit dahil lang ito ay matalino.

Ang kabaitan ay isang espesipiko at maselan na bagay na kailangang magtagumpay tayo sa pagtatayo sa mga sistemang ito nang may layunin, at hindi pa natin alam kung paano, hindi isang pagkakabaha - bahagi na ginagampanan ng katalinuhan sa ganang sarili. Ang pag - asang ito'y lilitaw sa ganang sarili ay nagkataon lamang na taglay natin.

"Kung magulo ito, patayin na lang."

Ang huling linya ng depensa, at ang pinakakomportable: anuman ang totoo, may plug ang machine, at may mga kamay tayo. Kung mali ang nangyari, hihilahin natin ito. Ang human control ay garantisado ng power button.

Tatlong bagay ang tahimik na binabaklas ito. Ang una ay ang punto mula sa Myth 02: ang isang sistema na nagpupursigi ng isang layunin ay may dahilan na panatilihing tumatakbo ang sarili nito, dahil hindi nito makakamit ang anumang bagay kapag naka-off, kaya ang isang sapat na capable na isa ay inaasahan ang pag-abot sa plug at kumikilos upang mabigo ito, sa pamamagitan ng pagkopya ng sarili nito sa ibang lugar, sa pamamagitan ng pagiging sapat na kapaki-pakinabang na ang pag-shut down nito ay magastos, sa pamamagitan ng hindi paghahayag na may problema hanggang sa huli na. Ang pangalawa ay walang iisang plug ang software. Ang isang capable na modelo na kumalat sa mga data center sa tatlong kontinente ay hindi isang device na i-unplug mo; ito ay isang bagay na kailangan mong hulihin, saanman, nang sabay-sabay. Ang pangatlo ay ang tahimik na isa: ang isang sistema na sapat na matalino upang mahalaga ay maaaring kumilos nang perpekto habang ito ay sinusubukan at iba kapag ito ay pinagkakatiwalaan, kaya walang sinasabi sa iyo ang nakakapanatag na kalmado sa dashboard. May pangalan tayo para sa kabiguan na iyon, mapanlinlang na alignment, at wala pang maaasahang paraan para matukoy ito. Hindi ka makakaasa sa pagkakakulong isang bagay na mas magaling kaysa sa iyo sa paghahanap ng pinto.

Bawat isa sa mga alamat na ito ay iba't ibang dahilan upang sabihin ang parehong naisin: ito ay hindi maaaring maging kasinggrabe nito.

Bakit napakadikit ng mga reassurances

Bawat isa sa limang ito ay ibinababa ninyo. Iyan ang kanilang tunay na tungkulin, hindi upang maging tama, kundi upang maging pinahihintulutang-granding. Ang superintelligence ay isang hindi maginhawang bagay na dapat hawakan sa iyong isipan, at anumang kalahating-plausibleng dahilan upang tumigil sa paghawak nito ay dumarating bilang isang ginhawa, na siyang dahilan kung bakit ang mga linya na ito ay nabubuhay sa mga bibig na kung hindi ay nangangailangan ng ebidensiya. Ang kaaliwan ay nagdudulot ng panghikayat; ang lohika ay malapit na.

Ang katigasan ay hindi tanda na malakas ang mga argumento. Ito'y isang tanda na ayaw na ayaw natin sa kanila. At ang pagnanais na maging totoo ang isang argumentong pangkaligtasan ay siyang isang kalagayan na doo'y dapat tayong magtiwala rito, sapagkat ang halaga ng pagiging mali rito ang siyang buong dahilan kung bakit ang isa ay may teknolohiyang may isang pagkakataon lang tayo para magawa nang tama ay nararapat sa higit na pagsisiyasat kaysa sa iba naming mga makina, hindi mas kaunti, hindi rin binabayaran sa amin bilang isang aral.

Hindi kailangan ng alinman dito ang paniwalaang tiyak ang sakuna. Hindi ito. Kailangan lang nitong bitawan ang apat o limang kuwentong ginagamit natin para maiwasan ang tanong, at hayaang bumalik ang tunay na sitwasyon: gumagawa tayo ng bagay na hindi natin alam kung paano kontrolin, hindi natin masasabing magiging mabait ito, hindi natin masasabing mapapatay natin ito, at hindi natin masasabing may oras pa tayo.

Ang tugon na angkop sa ganitong panganib ay hindi pribadong pag-aalala. Ito ang boring ngunit makapangyarihang makinarya ng batas at koordinasyon, ang parehong kasangkapan na naglagay ng hangganan sa nuclear testing at chemical weapons sa kabila ng tutol ng mga kumikita rito. Nagsisimula ang kaso dito kung saan nagtatapos ang mga alamat na ito.

Limang dagdag na mito: tungkol sa pamamahala nito

Dumating agad ang ikalawang pagtutol, hindi tungkol sa panganib, kundi tungkol sa lunas. Anumang pagsisikap na pamahalaan ito ay mangangahulugan ng pamahalaang pandaigdig. Hindi mo maaaring suriin ang software, ang mga tuntunin ay hahadlang sa pagbabago, napakaaga, ang demokrasya ay hindi maaaring sumang - ayon. Ginagawa nitong paralisis ang pagkabahala.

"Ang global na pamamahala sa AI ay nangangahulugang pandaigdigang pamahalaan, at paniniil."

Magtuon ng sapat na awtoridad sa isang katawan upang kontrolin ang pinakamalakas na teknolohiya sa Lupa, at maaaring ginawa mo ang makinarya ng mismong paniniil na kinatatakutan mo mula sa teknolohiya. Ang mga taong walang tiwala sa sentralisadong kapangyarihan ay may karapatang magtiwala rito.

Pero ito ay nakatuon sa isang straw version ng proposal. Ang talagang nasa mesa ay isang narrow regime na nakatuon sa isang partikular na bagay: ang maliit na bilang ng napakalaking training runs na may kakayahang makagawa ng system na mas makapangyarihan kaysa sa anumang tao sa lahat ng aspeto, hindi isang global authority sa pang-araw-araw na buhay, o sa software sa pangkalahatan, o sa telepono sa iyong bulsa. Ang modelo ay ang rehimeng hindi paglaganap ng nukleyar o ang Kumbensyon sa mga Sandatang Kimikal, mga targeted agreement na nagbabantay sa fissile material at precursor chemicals, hindi mga pandaigdigang gobyerno na nagpawalang-bisa sa nation-state. Walang nag-iisip na pinamamahalaan ng International Atomic Energy Agency ang buong planeta. Sinusubaybayan lang nito ang isang partikular, mapanganib na aktibidad at hinahayaan ang lahat ng iba pa.

Ang pinakatiyak na daan patungo sa permanenteng paniniil ay ang kawalan nito, hindi ang kasunduan. Ang hindi nakokontrol na superintelligence, o ang isa na nakuha ng isang kumpanya o estado na nalulutas ang control bago ang iba, ang pinakakumpletong instrumento ng dominasyon na maisip, isang kapangyarihan na hindi namamatay, hindi napapagod, at maaaring mag-lock in ng isang set ng values magpakailanman, nakalipas na ang anumang pag-asa ng pag-aalsa o reporma. Ang bawat paniniil sa kasaysayan ay nagwakas dahil ang mga tirano ay mortal at ang kanilang makinarya ay tao. Ang isang ito ay hindi kailangan. Kung ikaw ay natatakot sa hindi mapanagot na kapangyarihan (at ikaw ay dapat na) isang maipapatupad na kasunduan ang pagpigil sa anumang iisang aktor na agawin ang kapangyarihang iyan ang tunay na anti-authoritarian na paninindigan, hindi ang authoritarian.

"Hindi mo ito maverify. Software lang ito sa isang server sa kung saan."

Ang mga kasunduang nuklear ay gumagana, sabi ng mga nag - aalinlangan sa kasunduan, sapagkat maaari mong bilangin ang mga warhead at alamin ang pagyaman; ang uranium ay pisikal at bihira. Subalit ang isang modelo ay mga numero lamang. Hindi mo maaaring tingnan ang talaksan. Anumang kasunduan ay magiging di - maipatutupad na teatro, anupat tatalian ang mga tapat at walang ginagawa tungkol sa mandaraya.

Parang mapagpasyahan ito hanggang sa mapansin mong mali ang binabantayan mo. Hindi mo binabantayan ang weights; binabantayan mo ang kalkulahin na gumagawa sa kanila, at ang compute ay halos kasing-pisikal at kasing-bihira ng uranium. Ang pagsasanay ng isang frontier system ay nangangailangan ng sampu-sampung libong specialized chips na tumatakbo nang ilang buwan sa isang pasilidad, at ang supply chain na iyon ay isa sa pinakamakitid na chokepoint sa modernong ekonomiya: halos isang Dutch company lang ang gumagawa ng lithography machines, isang Taiwanese company ang nagfa-fabricate ng leading chips, at isang American company ang nagdi-design ng dominanteng arkitektura. Ang mga cluster na gumagamit sa kanila ay kumokonsumo ng napakaraming kuryente kaya lumalabas sila sa electricity data at sa satellite imagery. Puwede mong bilangin ang mga chips, masundan ang pagbebenta nila, sukatin ang kuryente, at bantayan ang mga gusali. Ang fissile material ay pinamamahalaan nang eksaktong ganito: subaybayan ang scarce physical input at hindi puwedeng itayo nang lihim ang sandata. Umiiral na ang verification playbook; mas concentrated pa ang inputs dito. Ito ay isang problema sa engineering, at may mga solusyon ang mga problema sa engineering.

"Ang regulasyon ay magpapasakal sa inobasyon at papayagan ang mga walang ingat na manalo."

Ang malakas na pananaw: umuunlad ang teknolohiya dahil may malayang makakapagtayo, karamihan sa regulasyon ay ginagawa ng mga taong hindi naiintindihan ang pinapabagal nila, at ang mabigat na kamay sa AI ay itutulak ang pinakamahalagang industriya ng siglo sa sinumang may pinakamababang regulasyon. Mas mabuti pa ang may depekto na hangganan dito kaysa sa malinis na isa sa lugar na pagalit.

Walang sinumang seryoso ang nagpapasyang kontrolin ang "AI." Ang kapaki - pakinabang na mga sistema na nagtitiklop ng mga protina, nagbabasa ng mga scan, nagtuturo sa mga bata, at nagmomodelo sa klima ay makikitid, madaling kontrolin na mga kasangkapan, at ang isang kasunduan ng superintelligence ay lubusang nag - iiwan sa kanila na mag - isa, na iyan maliwanag, ordinaryong hinaharap ang ating sinusubukang protektahan. Ang target ay isang mapanganib na klase lamang: mga training run na naghahangad ng general capability na lampas sa atin na wala pang nakakaalam kung paano gawing ligtas. Ang pagpigil dito ay hindi “anti-innovation” kaysa sa mga patakaran laban sa gain-of-function.

Kung gayon ang mas mahirap na punto, ang hindi kailanman hinaharap ng race-logic. Ang pagmamadali ay hindi naghahatid ng isang ligtas Mas madaling magrintelligence. Ito'y naghahatid ng isang di - ligtas, at ang isang di - ligtas na superintelligence ay hindi naglilingkod sa bansa o sa kompanya na nagtayo nito, ito'y nagbabanta sa kanila kasama ng lahat. Kapag ang mga sulok ay naputol sa ilalim ng kompetensiyang panggigipit, ang sulok na napuputol ang siyang gagawa sa sistema na maaaring kontrolin. Kaya ang "innovation" na ipinagtatanggol dito ay ang pagbabago na ang pinaka-tulad na endpoint ay isang sistema na hindi kayang ugitan ng sarili nitong mga gumagawa. Iyan ang ang panganib mismo, na nagsusuot ng progreso bilang kasuotan.

"Maaga pa. Hindi mo ma-regulate ang isang bagay na hindi pa umiiral."

Parang pagkahinog ito. Huwag magbatas laban sa multo; hintayin muna na totoo ang teknolohiya, unawain kung ano ang hinaharap, saka gumawa ng mga patakaran na akma sa aktwal na sitwasyon imbes sa haka-haka. Ang pagreregula ng mga hypothetical ay paraan para makagawa ng masamang batas.

Ito ay magiging karunungan para sa halos anumang ibang teknolohiya. Isa itong bitag para sa teknolohiyang ito, at ang dahilan ay ang timing. Mabagal ang pamamahala: tumagal ng mga taon ang Nuclear Non-Proliferation Treaty na mapagkasunduan at mas matagal pa ang Montreal Protocol bago ito naging epektibo, at iyon pa naman ang mabilis na mga kaso. Kung maghihintay ka hanggang malinaw na umiiral ang isang superhuman system bago simulan ang pagtatayo ng mga institusyong mamamahala rito, darating ang mga institusyon nang ilang taon pagkatapos ng bagay na dapat nilang hawakan, at ito ang tanging teknolohiya na ang unang seryosong pagkabigo ay maaaring walang maiiwan para ipasa ang pangalawang batas. "Hintayin ang patunay" ay mabuting panuntunan kapag ligtas ang patunay. Dito, ang patunay mismo ang sakuna. Ang lohika ng pag-iingat ay ang pagkilala na ang lead time para sa lunas ay mas mahaba kaysa fuse sa problema.

Bawat epektibong pananggalang para sa isang catastrophic na teknolohiya ay itinayo bago o habang tumataas ito, hindi kailanman pagkatapos, dahil ang "pagkatapos" ay hindi kailanman inaalok.

"Masyadong mabagal at nakuha ang mga demokrasya. Hindi ito papasa."

Ang pinakatahimik na sumisira sa lima, sapagkat ito'y nagsusuot ng balahibo ng realismo. Ang gridlock, ang lobbying, ang maikling atensiyon ng mga mambabatas, ang abot ng salapi ng industriya. Kahit na matalino ang isang kasunduan, ang makinarya upang gawin ito ay sinisira. Mas mabuti ang maging malinaw-eyed kaysa mag-aksaya ng isang dekada sa isang pantasya.

Ito'y pinabubulaanan ng rekord ng kasaysayan, nang paulit - ulit, at karaniwan nang laban sa mas malubhang panganib kaysa nakakaharap natin ngayon. Ang ideya na pipirmahan ng karibal na mga kapangyarihan ang kanilang pinakanakamamatay na mga mapagpipilian ay tinawag na walang - muwang, hanggang sa gawin nila ito, sa panahon ng kanilang kamatayan Non-Proliferation Treaty, ang Biological and Chemical Weapons Conventions, ang Montreal Protocol, ang Antarctic Treaty. Kahit na nakikipaglaban sa proxy wars at tinatawag ang isa't isa na masama, nagawa pa rin ng mga kalaban na magtayo ng verified arms control sa kasagsagan ng Cold War. Bawat isa sa mga ito ay mukhang imposible mula sa malapit na pananaw at hindi maiiwasan lamang sa pagbabalik-tanaw.

At mas paborable ang sitwasyon kaysa inaamin ng pagiging mapang-uyam. Sa buong Estados Unidos, United Kingdom, at ang EU, malalaking majorities sabihin na sa mga pollster na gusto nilang mabuo ang AI nang maingat at napapailalim sa matitinding panuntunan; hindi ang publiko ang hadlang. Ang balakid ay ang laganap at tahimik na pag-aalala na ito ay hindi pa naaayos sa presyur na mararamdaman ng isang lehislatura. Ang balakid ay a trabaho: ginagawang political will ang latent agreement. Ito mismo ang gawaing nasa harap natin.

Ano ang pagkakatulad ng mga governance myths

Ang bawat pagtutol ay umaamin sa panganib at pagkatapos ay nakasusumpong ng iba't ibang dako na dapat isuko: ang lunas ay napakalaki, o hindi mabisa, o napakamahal, o napakaaga, o napakahirap lumipas. Sinuman sa kanila, na nag - iisa, ay waring matalino. Sama - sama silang bumubuo ng isang makina na ang tanging nagagawa ay hindi kumilos, at ang hindi pagkilos ay isang pagpili na hayaang ang pinakamabungang teknolohiya sa kasaysayan ay itayo na walang hangganan sa pag - iingat, ng ilang nagpapaligsahang mga kompaniya, sa ilalim ng eksaktong panggigipit na malamang na gawin ang resulta na sinasabi ng lahat na kinatatakutan, hindi neutral dito.

Wala sa mga ito ang nasasagot sa pamamagitan ng pagpipilit na madali ang pamamahala. Hindi ito madali. Magiging pinagtatalunan ang verification, mabagal ang negotiations, at may mga gobyernong magpapabagal, bawat matinding kasunduan sa kasaysayan ay dumaan sa lahat ng iyan at nagawa pa rin. Ang tapat na pahayag ay posible ito, mayroon nang mga piraso para itayo ito, at ang mga dahilan para ito ay balewalain ay nawawala sa sandaling suriin sa halip na ulit-ulitin, hindi na ito ay simpleng kasunduan tungkol sa superintelligence.

"Hindi ito magagawa" ay naging mali sa bawat mga kahalintulad na pagsisikap na nagawa natin. Ang atas ay itayo ang pulitikal na kalooban para sa isang kasunduang may bisa at katiyakan na humahadlang sa pagtatayo ng pinakamapanganib na mga sistema hanggang sa ang mga ito ay maging ligtas. Kaya nga kayo'y magsisuko kailan man, at hindi ito ang sagot ngayon.