May isang matalinong ginagawa ang mga pagtutol sa pamamahala ng superintelligence. Kinikilala nila ang panganib ("oo, baka mapanganib") at pagkatapos ay tahimik na inililipat ang imposibilidad mula sa teknolohiya patungo sa solusyon. Kung hindi maitatanggi ang panganib, baka gawing mukhang walang muwang, o mapanganib naman, o walang pag-asa ang tugon. Pareho ang epekto nito sa tuwirang pagtanggi sa panganib: walang gagawin.
Sasakal daw ng mga patakaran ang inobasyon at ibibigay ang pangunguna sa mga walang ingat. Napakaaga pa. At hindi rin kailanman magkakasundo ang mga demokrasya. Ito ang mga argumento na nagiging sanhi ng pagkakaparalisa ng pag-aalala.
Narito ang limang madalas kong marinig, ipinahayag nang buong lakas na kaya ko, dahil walang nakukumbinsi ang rebuttal sa mahinang bersyon. Isang kaugnay na pamilya ng mga pagtutol (na hindi susunod ang China, na kaya nang i-regulate ng mga kumpanya ang sarili nila, na puwede lang nating patayin ang masamang sistema) ay nasagot ko na sa Pahina ng mga alamat. Ang limang ito ay tungkol sa mismong pamamahala.
"Ang global na pamamahala sa AI ay nangangahulugang pandaigdigang pamahalaan, at paniniil."
Magtuon ng sapat na awtoridad sa isang katawan upang kontrolin ang pinakamalakas na teknolohiya sa Lupa, at maaaring ginawa mo ang makinarya ng mismong paniniil na kinatatakutan mo mula sa teknolohiya. Ang mga taong walang tiwala sa sentralisadong kapangyarihan ay may karapatang magtiwala rito.
Pero ito ay nakatuon sa isang straw version ng proposal. Ang talagang nasa mesa ay isang narrow regime na nakatuon sa isang partikular na bagay: ang maliit na bilang ng napakalaking training runs na may kakayahang makagawa ng system na mas makapangyarihan kaysa sa anumang tao sa lahat ng aspeto, hindi isang global authority sa pang-araw-araw na buhay, o sa software sa pangkalahatan, o sa telepono sa iyong bulsa. Ang modelo ay ang rehimeng hindi paglaganap ng nukleyar o ang Kumbensyon sa mga Sandatang Kimikal, mga targeted agreement na nagbabantay sa fissile material at precursor chemicals, hindi mga pandaigdigang gobyerno na nagpawalang-bisa sa nation-state. Walang nag-iisip na pinamamahalaan ng International Atomic Energy Agency ang buong planeta. Sinusubaybayan lang nito ang isang partikular, mapanganib na aktibidad at hinahayaan ang lahat ng iba pa.
Ang pinakatiyak na daan patungo sa permanenteng paniniil ay ang kawalan nito, hindi ang kasunduan. Ang hindi nakokontrol na superintelligence, o ang isa na nakuha ng isang kumpanya o estado na nalulutas ang control bago ang iba, ang pinakakumpletong instrumento ng dominasyon na maisip, isang kapangyarihan na hindi namamatay, hindi napapagod, at maaaring mag-lock in ng isang set ng values magpakailanman, nakalipas na ang anumang pag-asa ng pag-aalsa o reporma. Ang bawat paniniil sa kasaysayan ay nagwakas dahil ang mga tirano ay mortal at ang kanilang makinarya ay tao. Ang isang ito ay hindi kailangan. Kung ikaw ay natatakot sa hindi mapanagot na kapangyarihan (at ikaw ay dapat na) isang maipapatupad na kasunduan ang pagpigil sa anumang iisang aktor na agawin ang kapangyarihang iyan ang tunay na anti-authoritarian na paninindigan, hindi ang authoritarian.
"Hindi mo ito maverify. Software lang ito sa isang server sa kung saan."
Ang mga kasunduang nuklear ay gumagana, sabi ng mga nag - aalinlangan sa kasunduan, sapagkat maaari mong bilangin ang mga warhead at alamin ang pagyaman; ang uranium ay pisikal at bihira. Subalit ang isang modelo ay mga numero lamang. Hindi mo maaaring tingnan ang talaksan. Anumang kasunduan ay magiging di - maipatutupad na teatro, anupat tatalian ang mga tapat at walang ginagawa tungkol sa mandaraya.
Parang mapagpasyahan ito hanggang sa mapansin mong mali ang binabantayan mo. Hindi mo binabantayan ang weights; binabantayan mo ang kalkulahin na gumagawa sa kanila, at ang compute ay halos kasing-pisikal at kasing-bihira ng uranium. Ang pagsasanay ng isang frontier system ay nangangailangan ng sampu-sampung libong specialized chips na tumatakbo nang ilang buwan sa isang pasilidad, at ang supply chain na iyon ay isa sa pinakamakitid na chokepoint sa modernong ekonomiya: halos isang Dutch company lang ang gumagawa ng lithography machines, isang Taiwanese company ang nagfa-fabricate ng leading chips, at isang American company ang nagdi-design ng dominanteng arkitektura. Ang mga cluster na gumagamit sa kanila ay kumokonsumo ng napakaraming kuryente kaya lumalabas sila sa electricity data at sa satellite imagery. Puwede mong bilangin ang mga chips, masundan ang pagbebenta nila, sukatin ang kuryente, at bantayan ang mga gusali. Ang fissile material ay pinamamahalaan nang eksaktong ganito: subaybayan ang scarce physical input at hindi puwedeng itayo nang lihim ang sandata. Umiiral na ang verification playbook; mas concentrated pa ang inputs dito. Ito ay isang problema sa engineering, at may mga solusyon ang mga problema sa engineering.
"Ang regulasyon ay magpapasakal sa inobasyon at papayagan ang mga walang ingat na manalo."
Ang malakas na pananaw: umuunlad ang teknolohiya dahil may malayang makakapagtayo, karamihan sa regulasyon ay ginagawa ng mga taong hindi naiintindihan ang pinapabagal nila, at ang mabigat na kamay sa AI ay itutulak ang pinakamahalagang industriya ng siglo sa sinumang may pinakamababang regulasyon. Mas mabuti pa ang may depekto na hangganan dito kaysa sa malinis na isa sa lugar na pagalit.
Walang sinumang seryoso ang nagpapasyang kontrolin ang "AI." Ang kapaki - pakinabang na mga sistema na nagtitiklop ng mga protina, nagbabasa ng mga scan, nagtuturo sa mga bata, at nagmomodelo sa klima ay makikitid, madaling kontrolin na mga kasangkapan, at ang isang kasunduan ng superintelligence ay lubusang nag - iiwan sa kanila na mag - isa, na iyan maliwanag, ordinaryong hinaharap ang ating sinusubukang protektahan. Ang target ay isang mapanganib na klase lamang: mga training run na naghahangad ng general capability na lampas sa atin na wala pang nakakaalam kung paano gawing ligtas. Ang pagpigil dito ay hindi “anti-innovation” kaysa sa mga patakaran laban sa gain-of-function.
Kung gayon ang mas mahirap na punto, ang hindi kailanman hinaharap ng race-logic. Ang pagmamadali ay hindi naghahatid ng isang ligtas Mas madaling magrintelligence. Ito'y naghahatid ng isang di - ligtas, at ang isang di - ligtas na superintelligence ay hindi naglilingkod sa bansa o sa kompanya na nagtayo nito, ito'y nagbabanta sa kanila kasama ng lahat. Kapag ang mga sulok ay naputol sa ilalim ng kompetensiyang panggigipit, ang sulok na napuputol ang siyang gagawa sa sistema na maaaring kontrolin. Kaya ang "innovation" na ipinagtatanggol dito ay ang pagbabago na ang pinaka-tulad na endpoint ay isang sistema na hindi kayang ugitan ng sarili nitong mga gumagawa. Iyan ang ang panganib mismo, na nagsusuot ng progreso bilang kasuotan.
"Maaga pa. Hindi mo ma-regulate ang isang bagay na hindi pa umiiral."
Parang pagkahinog ito. Huwag magbatas laban sa multo; hintayin muna na totoo ang teknolohiya, unawain kung ano ang hinaharap, saka gumawa ng mga patakaran na akma sa aktwal na sitwasyon imbes sa haka-haka. Ang pagreregula ng mga hypothetical ay paraan para makagawa ng masamang batas.
Ito ay magiging karunungan para sa halos anumang ibang teknolohiya. Isa itong bitag para sa teknolohiyang ito, at ang dahilan ay ang timing. Mabagal ang pamamahala: tumagal ng mga taon ang Nuclear Non-Proliferation Treaty na mapagkasunduan at mas matagal pa ang Montreal Protocol bago ito naging epektibo, at iyon pa naman ang mabilis na mga kaso. Kung maghihintay ka hanggang malinaw na umiiral ang isang superhuman system bago simulan ang pagtatayo ng mga institusyong mamamahala rito, darating ang mga institusyon nang ilang taon pagkatapos ng bagay na dapat nilang hawakan, at ito ang tanging teknolohiya na ang unang seryosong pagkabigo ay maaaring walang maiiwan para ipasa ang pangalawang batas. "Hintayin ang patunay" ay mabuting panuntunan kapag ligtas ang patunay. Dito, ang patunay mismo ang sakuna. Ang lohika ng pag-iingat ay ang pagkilala na ang lead time para sa lunas ay mas mahaba kaysa fuse sa problema.
Bawat epektibong pananggalang para sa isang catastrophic na teknolohiya ay itinayo bago o habang tumataas ito, hindi kailanman pagkatapos, dahil ang "pagkatapos" ay hindi kailanman inaalok.
"Masyadong mabagal at nakuha ang mga demokrasya. Hindi ito papasa."
Ang pinakatahimik na sumisira sa lima, sapagkat ito'y nagsusuot ng balahibo ng realismo. Ang gridlock, ang lobbying, ang maikling atensiyon ng mga mambabatas, ang abot ng salapi ng industriya. Kahit na matalino ang isang kasunduan, ang makinarya upang gawin ito ay sinisira. Mas mabuti ang maging malinaw-eyed kaysa mag-aksaya ng isang dekada sa isang pantasya.
Ito'y pinabubulaanan ng rekord ng kasaysayan, nang paulit - ulit, at karaniwan nang laban sa mas malubhang panganib kaysa nakakaharap natin ngayon. Ang ideya na pipirmahan ng karibal na mga kapangyarihan ang kanilang pinakanakamamatay na mga mapagpipilian ay tinawag na walang - muwang, hanggang sa gawin nila ito, sa panahon ng kanilang kamatayan Non-Proliferation Treaty, ang Biological and Chemical Weapons Conventions, ang Montreal Protocol, ang Antarctic Treaty. Kahit na nakikipaglaban sa proxy wars at tinatawag ang isa't isa na masama, nagawa pa rin ng mga kalaban na magtayo ng verified arms control sa kasagsagan ng Cold War. Bawat isa sa mga ito ay mukhang imposible mula sa malapit na pananaw at hindi maiiwasan lamang sa pagbabalik-tanaw.
At mas paborable ang sitwasyon kaysa inaamin ng pagiging mapang-uyam. Sa buong Estados Unidos, United Kingdom, at ang EU, malalaking majorities sabihin na sa mga pollster na gusto nilang mabuo ang AI nang maingat at napapailalim sa matitinding panuntunan; hindi ang publiko ang hadlang. Ang balakid ay ang laganap at tahimik na pag-aalala na ito ay hindi pa naaayos sa presyur na mararamdaman ng isang lehislatura. Ang balakid ay a trabaho: ginagawang political will ang latent agreement. Ito mismo ang gawaing nasa harap natin.
Ano ang Pagkakatulad ng Lima
Ang bawat pagtutol ay umaamin sa panganib at pagkatapos ay nakasusumpong ng iba't ibang dako na dapat isuko: ang lunas ay napakalaki, o hindi mabisa, o napakamahal, o napakaaga, o napakahirap lumipas. Sinuman sa kanila, na nag - iisa, ay waring matalino. Sama - sama silang bumubuo ng isang makina na ang tanging nagagawa ay hindi kumilos, at ang hindi pagkilos ay isang pagpili na hayaang ang pinakamabungang teknolohiya sa kasaysayan ay itayo na walang hangganan sa pag - iingat, ng ilang nagpapaligsahang mga kompaniya, sa ilalim ng eksaktong panggigipit na malamang na gawin ang resulta na sinasabi ng lahat na kinatatakutan, hindi neutral dito.
Wala sa mga ito ang nasasagot sa pamamagitan ng pagpipilit na madali ang pamamahala. Hindi ito madali. Magiging pinagtatalunan ang verification, mabagal ang negotiations, at may mga gobyernong magpapabagal, bawat matinding kasunduan sa kasaysayan ay dumaan sa lahat ng iyan at nagawa pa rin. Ang tapat na pahayag ay posible ito, mayroon nang mga piraso para itayo ito, at ang mga dahilan para ito ay balewalain ay nawawala sa sandaling suriin sa halip na ulit-ulitin, hindi na ito ay simpleng kasunduan tungkol sa superintelligence.
"Hindi ito magagawa" ay naging mali sa bawat mga kahalintulad na pagsisikap na nagawa natin. Ang atas ay itayo ang pulitikal na kalooban para sa isang kasunduang may bisa at katiyakan na humahadlang sa pagtatayo ng pinakamapanganib na mga sistema hanggang sa ang mga ito ay maging ligtas. Kaya nga kayo'y magsisuko kailan man, at hindi ito ang sagot ngayon.