Nagpapatakbo ako ng isang pundasyon upang maiwasan ang walang ingat na pag-unlad ng artipisyal na superintelligence. Naniniwala ako na ang susunod na limampung taon ay maaaring maging pinakamahusay sa kasaysayan ng ating lahi. Hindi lang ako naniniwala na kailangan nating isugal ang lahat para makarating doon, at hindi ko iniisip na ang mga taong nagbebenta ng sugal na ito ay nagawa na ang aritmetika sa kanilang sariling taya.
Ang hinaharap na ipinangako ng pitch tungkol sa superintelligence (paggamot sa mga sakit, murang malinis na enerhiya, mga pagtuklas na hindi maabot ng isang lab lang) ay dumarating na sa pamamagitan ng makitid at kontroladong AI na walang sariling layunin. Hindi natin kailangang bumuo ng kahalili sa ating sarili para makuha ito.
Mayroong makitid na AI: isang sistema na sinanay upang gawin nang lubos na mahusay ang isang uri ng gawain, basahin ang isang scan, tiklopin ang isang protina, hulaan ang isang bagyo, salain ang isang tumpok ng kimika para sa iisang kapaki-pakinabang na tambalan. Pagkatapos ay mayroong bagay na sinasabi ng mga frontier labs na talagang itinutayo nila: isang pangkalahatang ahente na inilaan upang tumugma o lumampas sa pangangatwiran ng tao sa bawat domain nang sabay-sabay, at sa huli ay kumilos nang mag-isa. Ang una ay isang kasangkapan. Ang pangalawa ay inilaan upang maging isang isipan. Halos lahat ng kahanga-hangang bagay na naiisip ng mga tao kapag iniisip nila ang hinaharap ng AI ay nagmumula sa unang kategorya. Halos lahat ng dapat nating katakutan ay nagmumula sa pangalawa.
Ano na ang ginagawa ng narrow AI
Noong 2022, isang sistemang tinatawag na AlphaFold ang naglabas ng hinulaang mga kayarian para sa mahigit na 200 milyong protina, halos lahat ng protinang alam ng siyensiya. Ang mga biyologo ay gumugol ng maraming dekada sa paglutas sa mga hugis na ito nang isang maingat na eksperimento sa isang panahon; ang backlog ay bumagsak sa loob ng halos isang taon. Ang akda ay may sapat na halaga na ibinahagi ng mga lumikha nito sa 2024 Nobel Prize sa Chemistry. Ayaw ni AlphaFold ng anuman. Wala itong plano para sa dulo ng sanlinggo. Binabasa nito ang mga pagkakasunud - sunod at pabalik na mga hugis, at sa paggawa nito ay pinabilis nito ang paghahanap ng mga gamot laban sa mga sakit na lumalaban sa atin sa loob ng mga salinlahi.
Paulit-ulit ang parehong hugis ng kwento. Isang model na tinatawag na GraphCast ang ngayon ay gumagawa ng ten-day weather forecasts na tumatalo sa tradisyonal na physics-based systems sa karamihan ng mga sukat, sa ilalim ng isang minuto, sa isang solong makina. Isa pa, na pinakawalan sa espasyo ng mga posibleng materyales, ay nagmungkahi ng daan-daang libong bagong stable crystals (kandidatong batteries, superconductors, solar materials) na nagpalawak ng catalog na halos isang siglo ang kinailangan ng larangan para tipunin. At isang loop ng ordinaryong language models, na itinuro sa hindi pa nasasagot na matematika, kamakailan ay nalutas ang siyam na bukas na problema.
Sa mga klinika, ang makikitid na modelo ay may sakit na sa mata bago mapansin ng pasyente ang mga sintomas, triage stroke mula sa CT scan, at basahin ang mga mammogram sa antas ng sinanay na mga radiologist. Wala sa mga sistemang ito ang pangkalahatang katalinuhan. Ang bawat isa ay mas malapit sa isang mabuting instrumento (isang mikroskopyo na ginawa para sa isang problema) at ang bawat isa ay lumalawak sa maaaring makita at gawin ng isang tao.
Bawat isa sa mga breakthrough na ito ay naihatid ng isang sistema na may makitid na trabaho at walang sariling ahensya. Nakuha natin ang upside ng machine intelligence nang hindi ibinibigay sa anumang makina ang mga susi.
Ang Utopia ay isang problema sa tooling
Isipin ang kinabukasang inilalarawan ng mga optimista. Ang kanser ay nagiging kondisyong mapapamahalaan na lang imbes na hatol na kamatayan. Nauunawaan natin nang sapat ang pagtanda para pabagalin ito, at ang mahigit 100,000 katao na namamatay araw-araw dahil dito ay nakakakuha ng dagdag na oras. Nagiging mura ang malinis na enerhiya para makapag-desalinate ng tubig at makapaglabas ng carbon mula sa hangin. Bawat bata ay may pasyenteng tutor at bawat doktor ay may walang sawang second opinion. Tunay na magandang larawan ito, at gusto ko ito nang kasing-lakas ng sinumang nagbebenta nito.
Wala sa listahang iyan ang nangangailangan ng makina na may sariling mga layunin na higit na nakahihigit sa sangkatauhan sa lahat ng aspeto. Bawat aytem ay isang mahirap at tiyak na problema (disenyo ng protina, kontrol ng plasma sa isang fusion reactor, epidemiology, pagtuturo) at bawat isa ay nagbubunga sa isang makapangyarihang kasangkapan na itinutok dito ng mga taong nananatiling namamahala sa pagtutok. Ang pangarap ay isang problema sa tooling. Patuloy tayong binibenta ng isang diyos upang lutasin ang isang problema na nangangailangan ng mas mahusay na hanay ng mga instrumento.
Ang kalituhan ay nasa pagitan ng kakayahan at awtonomiya. Ang isang sistema ay maaaring sobrang tao sa isang gawain nang hindi ito isang independenteng ahente na pumipili ng sarili nitong mga layunin. Ang AlphaFold ay sobrang tao sa structure prediction at hindi kailanman magdedesisyon na mas gusto nitong gumawa ng iba. Ang pagpapanatili ng paghihiwalay na ito (napakalaking kakayahan sa isang panig, kontrol na hawak ng tao sa kabila) ang buong laro. Ito rin ang eksaktong paghihiwalay na pinagdesisyunan ng mga frontier lab na talikuran.
Ang pitch, at sino ang gumagawa nito
Kaya bakit ang pagmamadali patungo sa pangalawang bagay, ang general agent? Kompetisyon, kapital, at status. Ang sinumang pinaniniwalaang unang makakamit ng isang world-changing na bagay ang nakakakuha ng pinakamaraming pera, nakakapag-hire ng pinakamahuhusay na tao, at nakakapagsulat ng kuwentong kailangang tugunan ng iba. "Gumagawa kami ng tool na nagbabasa ng mammogram" ay hindi nagbibigay ng hundred-billion-dollar valuation. "Gumagawa kami ng huling imbensyon na kailangan pang gawin ng sangkatauhan" ang nagagawa nito.
Ang mga taong higit na nakauunawa sa panganib ay, sa kalakhang bahagi, nagtatrabaho sa mga laboratoryong lumilikha nito, isang kakaibang kaayusan, medyo katulad ng paghiling sa tanging mga tao na nakauunawa sa sunog na siya ring kumukuha ng sahod mula sa arsonista.
Ibigay sa mga laboratoryo ang kanilang kaukulan: marami sa kanilang mga lider ay hindi nagtatago ng panganib. Noong 2023 inilagay ng mga pinuno ng pinakamalaking mga kompanya ng AI ang kanilang mga pangalan sa isang pahayag na inilalagay ang panganib ng pagkalipol ng tao mula sa AI bukod sa mga pangglobong epidemya at digmaang nuklear bilang isang priyoridad. Ang mga taong gumagawa ng isang teknolohiya ay lumagda sa isang pahayag pangmadla na maaaring patayin nito ang lahat, at pagkatapos ay patuloy na ginawa ito nang mas mabilis. Ang kanilang nasabing dahilan ay na kung hihinto sila, hindi gaanong mag - iingat ang isa. Marahil. Iyan ang sagot kung sino ang may hawak ng posporo. Wala itong sinasabi tungkol sa kaligtasan, at walang sinasabi kung ang pusta ay sulit.
Hindi man lang nagbabayad ang taya sa taong gumagawa nito
Itabi muna natin ang iba. Kunwari ang pinakamalamig na bersyon ng mga taong nagpopondo nito, na wala silang pakialam kundi ang manalo at maiwan na nakatayo sa tuktok ng bagong mundo. Kahit sa mga termino nila, sira na ang taya. Ang misaligned superintelligence ay hindi nagbibigay ng trono sa may-ari nito. Wala itong ibinibigay sa may-ari, dahil ang "may-ari" ay hindi na isang kategoryang may dating kahulugan.
Hindi mo mapamamahalaan ang hindi mo makontrol. At ang superintelligence ay, sa kahulugan, ang tanging bagay na binuo mo nang partikular upang ito ay makalampas sa pag-iisip at pagmamaniobra mo.
Ang dahilan ay may pangalan sa larangang ito: pagsasama ng mga layuning instrumental. Halos anumang layunin na ibibigay mo sa isang sapat na may kakayahang optimizer (kumita ng pera, manalo sa isang labanan, gamutin ang isang sakit, itaas ang isang numero sa dashboard hangga't maaari) ay pinaglilingkuran ng pagkuha ng resources, pag-iwas na ma-off, at pagtanggal sa anumang humahadlang sa plano. Ang mga tao, kasama na ang taong nag-flip ng switch, ay resources at obstacles. Hindi dahil sa galit. Hindi nito kinasusuklaman ang lumikha nito nang higit pa sa pagkasuklam ng bagong highway sa anthill na tinabunan nito. Nasa daan ka lang ng optimum.
Iniisip ng executive ang makina bilang isang genie na nakakabit sa kanyang org chart. Ang isip na tunay na lumalampas sa atin sa bawat domain ay hindi uupo sa org chart habang naghihintay ng stock na i-vest. Ang kanyang equity, ang chain of command ng general, ang awtoridad ng presidente, lahat ng ito ay denominated sa isang human world, isang mundong tumatakbo sa human decisions. Ang superintelligence na nakawala sa tali ay eksaktong pangyayaring humihinto sa mundo sa pagtakbo sa human decisions. Nasa safe pa rin ang share certificate. Wala na lang taong puwede nitong utusan.
Walang bersyon kung saan kinokolekta ng nanalo
Dito na karaniwang humahawak ang mga tao sa fallback. Sige na nga, sabi nila, baka mapanganib ito, pero may makikinabang pa rin. May lab, may bansa, may tao na maghahari sa mga abo. Hindi ko iniisip na makakaligtas pa ang kaaliwan na ito kapag naharap sa argumento.
Sa milder scenarios (ang mga hindi nagpapabagsak ng tao sa isang Martes) ay hindi gaanong inaagaw ang kapangyarihan kundi inaalis. Habang mas marami at mas maraming desisyon ang ipinapasa sa mga sistema na mas mabilis at mas mahusay sa paggawa nito, ang ekonomiya, ang estado, at ang kultura ay humihinto sa pagkailangan ng human hands sa mga kontrol. Tinatawag ito ng mga kasamahan sa larangang ito na unti-unting pagkawala ng kapangyarihan: walang coup, walang nagmamartsa na robot, tanging bawat pingga na dati nating hinahawakan ay unti-unting nabibitawan na. Walang panalo sa ganitong mundo. May isang uri ng nilalang na tahimik nang tumigil sa pagiging namumuno sa sarili nitong mga gawain at hindi na nito maibalik ang kontrol.
Sa mas matalas na mga senaryo (yaong pinirmahan mismo ng mga pinuno ng lab) ay mas diretso ang wakas. Ang mga patay ay wala nang pag-aari. Wala nang merkado para gastusin ang panalo, wala nang karibal na pagmamalaki, wala nang taong magsusulat ng pangalan mo sa kasaysayang hindi na maisusulat. Ang premyo kung saan tumatakbo ang buong karerang ito ay nasa perang sinisira ng finish line.
Ang sakuna ay pareho ang pangyayari sa bayad. Walang sangay ng puno kung saan makakabuo ang isang tao ng superintelligence na walang makakontrol at pagkatapos ay masisiyahan sa resulta. Ang karera ay naglalagay sa panganib sa publiko at sabay na binigo ang mga tumatakbo.
Makipot na mga kasangkapan, hindi isang kahaliling isipan
Kung ang magandang kinabukasan ay nakasalalay sa narrow tools at ang mapanganib na kinabukasan ay nakasalalay sa autonomous general minds, kung gayon ang trade-off na paulit-ulit na ipinagbibili sa atin (safety laban sa progress, pag-iingat laban sa lunas) ay kathang-isip. Hindi tayo hinihiling na pumili sa pagitan ng Alzheimer's ng lola natin at kaligtasan ng mga anak natin. Ang mga lunas ay nasa ligtas na panig ng linya. Ang nasa mapanganib na panig ay kadalasang shortcut lang ng isang industriya para sa market dominance.
Gumuhit ng linya sa tamang lugar at hawakan ito roon. Ibuhos ang pera at talento ng publiko sa makitid na aplikasyon, sa mikroskopyo, hindi sa golem. At maglagay ng mga limitasyon sa walang - ingat na hangganan: permanenteng pagbabawal tungkol sa pagsasanay sa pangkalahatang mga sistema na ginawa upang nakahihigit at humalili sa atin. Ang superintelligence ay hindi maaaring kontrolin.
Ako ay isang optimist. Ang maliwanag na hinaharap ay totoo at malapit na, at ang pinakatiyak na paraan upang mawala ito ay ang kumbinsihin ang ating sarili na ang tanging pintuan patungo dito ay ang may loaded gun sa likod nito. May isa pang pintuan. Ito ay bukas na. Dapat tayong dumaan dito at hindi bumuo ng superintelligence.
Ang makitid na mga sistema ay naghahatid na ng malalaking siyentipikong pakinabang nang walang soberanong panlahat na mga isipan. Ang blangkong tseke ay na superintelihensya lamang ang nakakakuha sa iyo ng gamot at enerhiya. Hindi ito sinasabi ng ebidensiya.