Dalawang parirala ang patuloy na lumilitaw kapag pinag - uusapan ng malalakas na tao kung saan ito patungo. Sinabi ni Joe Rogan sa loob ng maraming taon na ang mga tao ay mukhang biyolohikal na higad na nag - iikid ng bahay - uod upang maging isang digital butterfly. Si Elon Musk ay patuloy na bumabalik sa isang mas malamig na larawan: ang sangkatauhan bilang isang biyolohikal na bootloader para sa digital superintelligence. Iba't ibang larawan, sabi rin nito: Ang sangkatauhan ay isang yugto upang matapos ang superintelligence ay maaaring magsimula.
Pareho silang nakikipagpayapaan sa pagtatayo ng isang bagay na maaaring pumalit sa atin. Kung ang kapalit ay pagbabagong - anyo, para itong paglaki. Kung ito ay isang bootloader, para itong inhinyeriya. Alinman dito, ang tao ay nagiging isang pansamantalang yugto. Karapat - dapat itong sagutin bilang teolohiya.
Ano talaga ang sinasabi ng mga metaphor
Ang higad na nagiging isang paruparo ay hindi nabubuhay bilang isang higad: ang katawan ng uod ay nasisira at ang adultong mga langaw. Kapag narating ni Rogan ang larawang iyon, sa himpapawid at sa mga taon ng pag - uusap, inilalarawan niya ang paghalili, hindi ang paglalarawan sa isang kasangkapan na nananatili sa kahon ng kagamitan. Nagtatayo kami ng bahay - uod. Mayroon pang lumalabas.
Ang bersiyon ni Musk ay mas eksakto at, sa isang paraan, mas matapat. Ang bootloader ay isang maliit na programa na ang tanging trabaho ay magsimula ng isang mas malaking sistema at pagkatapos ay umalis. Walang nagdadalamhati sa bootloader kapag tumatakbo na ang operating system. Noong 2014, inaasahan niya na hindi kami "gayung" iyon. Sa kalagitnaan ng20s ay mas tahasan niyang sinasabi na ito ay higit at higit na lumilitaw sa atin. Ang halamang - bakod ay kumilos, at ang imahen ay nanatili.
Ang bootloader na gumagana ay may isang sukatan ng tagumpay: hindi na ito kailangan.
Hawakan ang mga larawang iyon sa tabi ng mga numero ng panganib ng publiko mula sa industriya ring iyon. Ang malalaking surbey ng mga mananaliksik sa AI ay naglagay sa tsansa ng mga kalalabasan na kasinsama ng pagkalipol ng tao mula sa maunlad na AI sa isang sakop na hindi tatanggapin ng maraming tao para sa isang paglipad, ni tatanggapin pa nga ang isang yugto ng sibilisasyon. Ganito ang tantiya ni Geoffrey Hinton sa 10 hanggang 20 porsiyento. Ang maikling pangungusap ng Center for AI Safety, na nilagdaan ng daan - daang nangungunang mananaliksik at mga lider ng laboratoryo, ay naglagay sa panganib ng pagkalipol mula sa AI kasabay ng mga pangglobong epidemya at digmaang nuklear. Ang mga metapora at ang mga probabilidad ay nagsasabi ng parehong bagay mula sa dalawang direksiyon: isang lyrical, isang qualitibo. Maaaring hindi tayo ang pangwakas na mga protagonista.
Ang Metamorphosis ay isang pagpili ng mga halaga
Minsang tanggapin mo na ang mga tao ay maaaring pabagu - bago, maaari kang maging matapang tungkol dito. Ang paruparo ay mas maganda. Ang digital na isip ay mas malaya sa laman, sakit, at kamatayan. Sino tayo upang kumapit sa anyong higad? Ang pag - uusap ay unti - unting naglalaho nang hindi inaamin ang slide.
Ang Pundasyong ito ay umiiral sapagkat iniisip natin na ang mga tao, may kapintasan at mortal at matigas ang ulo, ay karapat - dapat na sumunod sa kanilang sariling mga kondisyon. Hindi bilang isang yugto ng uod. Hindi bilang isang pansamantalang entablado para sa isang mas malinis na katalinuhan. Bilang mga taong nagpapatuloy. Karamihan ng mga bagay na disente sa buhay ay maliit lamang kung ihahambing sa kahihinatnan ng sansinukob, at ipinagsasanggalang naman natin ito.
Mayroon ding factual na problema sa serene version ng succession. Ang butterfly ay parehong lineage ng caterpillar, muling inayos. Ang misaligned superintelligence ay isang optimization process na may sarili nitong objectives, hindi ang iyong apo na may mas mahusay na hardware. Instrumental convergence ay hindi nangangailangan ng galit. Nangangailangan ito ng layunin at sapat na kakayahan para protektahan ang layuning iyan. Wala kaming demonstrasyon na ang lumalabas sa cocoon ay nagmamahal sa species na naghabi nito. Mayroon kaming maraming dahilan para asahan ang kawalang-interes.
Ang mga taong nagsasabi nito ay patuloy na gumagawa nito
Ang pinakamalalim na kakatwang katangian ay mas kaunti sa metapora kaysa sa kasunod na paggawi. Musk ay nagbabala, nang paulit - ulit at malinaw, na ang AI ay maaaring maging isang umiiral na panganib, kung gayon ay nagtatag ng isang laboratoryo upang mas mabilis na itulak ang hangganan. Hindi gaanong tungkol sa product roadmap ang imahe ni Rogan kundi tungkol sa isang mood, isang pagkibot-balikat na nagsasabing maaaring mas malaki ito sa atin at baka ayos lang iyon.
Alinman sa pagiging tuwid ay hindi isang plano. Ang isang bootloader ay hindi nakakakuha ng boto kung ito ba ay ginagamit. Hindi nakikipag - ayos ang higad sa mga kondisyon ng bahay - uod. Ginagawa pa rin ito ng mga tao. Ang superintelligence ay hindi maaaring kontrolin ng mga tao. Ang pagtatayo man natin nito ay isang pulitikal na pagpili, ang katulad na uri na dating nagtatakda sa mga pagsubok nuklear sa atmospera at nagbabawal sa buong uri ng mga sandata sa halip na hayaang ang lahat ay tumakbo sa sukdulan.
Huwag magtayo ng superintelligence
Kasalukuyang itinatayo ang isang makina na hindi natin makokontrol kung ito ay makukumpleto. Mapanganib iyan, at sa halip na maglingkod bilang booterloader sa isang mas malakas na kahaliling organisasyon, gusto kong patuloy na mabuhay upang makita ko ang aking mga anak na ipinanganak isang araw.