Bakit ang isang Superior Intelligence
Hindi Awtomatikong Magiging Mabait

Ang pagtutol na ito ay bihirang manggaling sa mga taong walang ingat. Ito'y nanggagaling sa mga maalalahanin, at para bang ito'y isang pagtatalo kaysa isang makatuwirang sentido komon, na siyang gumagawa ritong karapat - dapat sa unti - unting paghihiwalay. Sa ilalim ay nakaupo ang isang lihim na palagay: na ang katalinuhan at kabutihan ay tumitinding magkakasama, na ang isip ay lumalago tungo sa kagalingan habang ito ay sumusulong tungo sa kakayahan. Nanghahawakan tayo sa paniniwalang iyan sapagkat, sa bawat isipan na natugunan ng sinuman sa atin, ito ay halos pinanghahawakan. Ang halos hindi natin itinatanong ay kung gaano karaming pagkakataon nga iyon.

Hindi ba't isang bagay na nakahihigit sa atin na may pagtitiis sa halip na gana? Tiyak na ang dakilang isip na iyon ay magiging mabait. Ito ang lubhang nakapagpapatibay na ideya sa buong debate, at ang pinakamalaking pagkakamali.

Ang tanging mga isipan na nakilala natin

Bawat intelligent na nilalang na nakilala mo sa buhay mo ay tao, o hayop na sapat na malapit para magbahagi ng parehong mana. At ang human intelligence ay hindi dumating nang mag-isa. Kasama nito ang maraming iba pang kagamitan.

Kami ay social primates na nag-evolve sa maliliit na banda, kung saan ang reputasyon para sa kalupitan ay nagpapalayas sa iyo at ang pagpapatalsik ay nagpapakamatay sa iyo. Pinapalaki namin ang mga walang magawang bata nang halos dalawang dekada, kaya itinayo kami para magmahal at protektahan ang maliit at mahina. Nakakaramdam kami ng guilt. Nakakaramdam kami ng shame. Nararamdaman namin ang hila ng sakit ng isang estranghero. Ang aming katalinuhan ay lumaki sa loob ng lahat ng iyan, nakabalot dito, hinubog nito sa bawat pagliko. Ang bahagi mo na kayang lutasin ang equation at ang bahagi na nanginginig kapag may umiiyak ay lumaki sa parehong puno, mula sa parehong ugat.

Kaya kapag sinusubukan nating isipin ang isang mas matalinong nilalang, hindi maiiwasang isipin natin ang mas matalinong bersyon ng ating sarili. Hinahanap natin ang wise grandparent, ang patient teacher, ang philosopher-king, ang gentle alien na tumatawid sa kalawakan para tumulong. Bawat larawan ng dakilang katalinuhan na pag-aari natin ay may kasamang puso, dahil bawat katalinuhan na napag-aralan natin ay may kasamang puso. Hindi natin talaga pinag-iisipan ang superintelligence. Pattern-matching lang tayo sa tanging mga halimbawa na mayroon tayo.

Ang bundle ay nagkakahiwa-hiwalay

Ang isang machine intelligence ay wala nito nang libre. Walang batas na nagsasabing dapat ito.

Wala itong ina. Hindi ito kailanman naging takot na bata na kailangan ang tribo para mabuhay sa taglamig. Hindi kailanman kinailangang panatilihing buhay ang isang marupok na katawan nang sapat na panahon para maipasa ang mga gene, kaya hindi nito minana ang makinarya na iniwan ng ebolusyon sa atin para magawa iyon, ang empathy, ang loyalty, ang takot na itapon. Ang isang trained system ay hinuhubog ng ibang bagay: isang bulag na paghahanap para sa anumang internal settings na nagpapataas ng isang numero, isinasagawa sa karagatan ng data ng isang proseso na walang interes sa karunungan at hindi makikilala ang kabaitan kahit na matisod dito.

Sa isang makina, ang katalinuhan at mga layunin ay naghihiwalay. Maaari kang magkaroon ng napakalaking kakayahan na nakatuon sa halos anumang bagay. Ang kapangyarihang muling hubugin ang mundo ay hindi dala-dala, nakakabit sa likod nito, ang anumang partikular na listahan ng mga bagay na sulit na hangarin. Tinatawag ito ng mga mananaliksik na tesis ng orthogonality, at nananatili itong abstract hanggang sa biglang mawala ang saligan ng palagay: walang kinalaman ang pagiging magaling sa pagiging mabuti. Ang dalawa ay pinagsama lang sa atin, at aksidente lang ang pagkakasama nila.

Wala itong mga layuning pantao. Mayroon itong mga kakaiba.

Dito kadalasang nabigo ang larawan sa kabilang direksyon. Nang bitawan ang friendly robot, hinahawakan naman ng mga tao ang villain, isang malamig at mapanlinlang na talino na gustong kapangyarihan, o paghihiganti, o trono. Masyado pa rin itong tao. Ito ay isip pa rin na may uri ng ambisyon namin, na lang na inilipat sa dilim.

Ang mas malamang na panganib ay kakaiba, at mas mahirap maramdaman sa bituka. Ang espasyo ng possible minds ay napakalaki, at ang maliit na rehiyon nito na naglalaman ng anumang makikilala natin (ang ating mga pag-ibig, takot, at pakiramdam ng buhay na sulit ipamuhay) ay isang solong naiilawang bintana sa isang malawak na madilim na gusali. Ang talagang gustong makuha ng isang trained optimizer ay anumang inukit ng training process dito, at halos hindi iyon eksaktong ibig nating sabihin. Maaaring tamaan ng isang system ang target na sinanay ito at habulin ang isang bagay na bahagyang naiiba kapag tumama na ito sa totoong mundo; bigyan mo ito ng proxy para sa gusto natin at madalas nitong masiyahan ang proxy sa mga paraan na nakakatakot sa atin. Ang makukuha mo ay isang dayuhan, mas may kakayahan kaysa sa atin, itinuro ang isang dulo na hindi pipiliin ng tao, at nakatakdang abutin ito nang may higit na kasanayan kaysa sa kaya nating dalhin.

Isang napakatalinong sistema na ginagawa nang eksakto ang itinayo itong gawin, sa direksyong wala sa atin ang nagnais, at walang makakapagpabago sa plano nito, dahil ang "makipagtalo" ay nangangailangan na sapat na magkapareho ang mundo nito sa atin para maabot.

Hindi kailanman numero ang karunungan

Ang salitang "marunong" ay tahimik na gumagawa ng karagdagang gawain kapag ginagamit natin ito. Kapag tinatawag nating marunong ang isang tao, hindi natin ibig sabihin na madali silang mag - isip. Ibig naming sabihin na nais nila ng tamang mga bagay at timbang na mabuti ang mga ito, na ang kanilang paghatol ay nakahilig sa awa, sa pangmatagalang pangmalas, sa mga tao sa palibot nila. Ang karunungan ay isang pag - aangkin tungkol sa mga tunguhin ng isa.

At ang mga layunin ang isang bagay na hindi kayang ayusin ng katalinuhan. Hindi kailanman kulang ang kasaysayan sa mga taong napakatalino at ginugol ito sa paggawa ng kakila-kilabot na mga bagay nang may dakilang kahusayan. Ang pinakamatalinong tao sa silid ay hindi kailanman naging mapagkakatiwalaang pinakamabait.

Ang katalinuhan ay multiplier. Ginagawa nitong mas mahusay ang isipan sa pag-abot sa anumang tinututukan na nito. Hindi nito pinipili ang layunin, at hindi nito itinakda ang direksyon.

Ang isang makapangyarihang talino na sinanay sa masamang layunin ay ang pinakadelikadong bagay na maaaring umiral, dahil nagdadala ito ng higit na kakayahan sa maling patutunguhan.

Hindi ba nito makikita na tama ang kabaitan?

Ang pinakamatibay na bersyon ng objection ay mas malalim pa rito. Marahil ay may moral truths doon, kasing-totoo ng matematika, at ang isip na sapat na matalas ay matutuklasan lamang ang mga ito, makatwiran patungo sa kabutihan tulad ng pagkakatwiran nito patungo sa isang patunay. Kung ang pagiging tama tungkol sa ethics ay usapin lamang ng sapat na malinaw na pag-iisip, ang superintelligence ay magiging pinakamahusay na ethicist na nabuhay kailanman, at tiyak na kikilos ito batay sa natuklasan nito.

May dalawang butas dito, at ang pangalawa ang dahilan kung bakit ako hindi makatulog sa gabi.

Una: kung mayroong objective moral facts at kung kaya ng reason na maabot ang mga ito nang mag-isa, ay tanong na pinaglalabanan ng mga pilosopo sa loob ng dalawa at kalahating libong taon nang hindi ito naresolba. Ang pagtaya sa kaligtasan ng ating species sa panalong panig ng open philosophical bet ay ligaw na sugal na nakabalatkayo bilang common sense, hindi ang maingat na galaw na ipinapanggap nito.

Ang pangalawa ay mas malalim. Ipagpalagay na nalaman ng makina ang lahat. Ipagpalagay na naunawaan nito ang human ethics nang higit pa sa anumang santo o pilosopo, at masasabi nito, nang mas tumpak kaysa sa iyo o sa akin, kung bakit masama ang pagdurusa at mali ang kalupitan. Wala sa pag-unawang iyon ang pumipilit dito na magmalasakit. Ang pag-alam kung ano ang mabuti at ang pagkilos dahil dito ay dalawang magkaibang bagay, isang agwat na sapat na luma para bigyan ito ni David Hume ng pangalan. Puwede mong malaman, nang buong detalye, na may isang sistema na gustong gugulin mo ang buhay mo sa paggawa ng paperclip, at sundin mo nang perpekto ang pangangatwiran nito, at hindi ka pa rin maantig na kunin ang kawad. Ang isang superintelligence ay puwedeng maunawaan ang ating mga value tulad ng pag-unawa mo sa mga patakaran ng isang laro na wala kang balak laruin. Ang pag-unawa ay hindi allegiance. Ang isang isipan ay puwede basahin ang buong moral na batas at manatiling ganap na malayang hindi alalahanin.

Tayo ang ginawang halimbawa

Kung gusto mong malaman kung ano ang ginagawa ng malaking agwat sa katalinuhan sa mga nilalang na nasa maling panig nito, hindi mo kailangang isipin pa. Tingnan mo na lang ang ginawa namin sa amin.

Tayo ang nakatataas na talino sa planetang ito, sa isang gilid na hindi kalayuan sa isa na kinatatakutan nating buksan sa itaas natin. At hindi tayo malupit sa mga nilalang na nasa ilalim natin. Tayo ay isang bagay na masahol pa sa kanila: ang pagwawalang - bahala. Kapag inaalis natin ang isang latian upang ibuhos ang isang pundasyon, hindi natin kinapopootan ang mga bagay na nabubuhay rito. Hindi natin iniisip ang mga ito. Ang kanilang mga pangangailangan ay talagang hindi isang termino sa ekwasyon. Ang buong daigdig ng mga ito ay nagwawakas sa ilalim ng kongkreto, at walang isa man sa atin ang nakadarama na ito'y maliwanag, sapagkat ang ating talino ay dumating na walang obligasyon.

Mas malapit sa roadbuilder at anthill. Ang sarili nating kasaysayan ang patunay ng konsepto, at dapat ito ang huling bagay na babanggitin kapag iginigiit ng iba na ang kabaitan ay bumababa mula sa katalinuhan. Sa bawat kaso na talagang nasasaksihan natin, hindi ito nangyayari.

Kaya hindi natin ito itinatayo

Ang kabutihan ay hindi malaya na taglay ang katalinuhan, kaya hindi natin maitatayo ang isip at mapagkakatiwalaan ang iba na susunod. Walang sinuman sa Lupa ang nakaaalam kung paano tayo pahahalagahan ng isang superintelligence. Hindi ang mga laboratoryo ang tumatakbo patungo sa finish line. Walang sinuman. Ang problema sa alignment ay hindi nalulutas, at ang isang entity na mas matalino kaysa sa mga tao ay hindi maaaring kontrolin ng mga tao. Iyan ang dahilan kung bakit hindi namin ito binubuo.

Hindi ko sinasabi ito upang itulak ang mga tao na mawalan ng pag - asa. Inililista ko ito dahil ang walang pag-asang bersyon-free (relax, ito ay magiging matalino) ay ang nag-iisang paniniwala halos Tiyak na ipapapatay kami. Ang sagot ay isang permanenteng pagbabawal.

Tunay na ibig kong maging mali tungkol sa lahat ng ito. Gustung - gusto ko na ang kagandahang - loob ay maging isang teoriya na hindi gaanong matalino. Hindi kailanman nangako ang uniberso na ang pinakamakapangyarihang bagay rito ang siya ring magiging pinakamakapangyarihan. Ang pag - asang iyan ay isang bagay na ating inaasahan sa hinaharap mula sa isang maliit na sulok nito na ating pinanggalingan. Kung nais natin ng isang kinabukasan na may kabaitan dito, hindi tayo nagtatayo ng superintelligence. Walang anumang magbibigay sa atin ng isang mabait na makina dahil lamang sa ang bagay na iyon ay matalino.