Ang isang may - ari ng pabrika ay bumibili ng pinakamatalinong AI isang kayamanan na maaaring magtayo at mag - atas nito ng isang trabaho: gumawa ng pinakamaraming papel hangga't maaari. Ang tagubilin ay isang ordinaryong kaayusan sa pabrika, na ibinigay sa isang isip na ang mga dahilan, plano, at pagkilos ay mas may kakayahan kaysa sa anumang tao o institusyon, at may kaugnayan sa tunguhin nang walang kabalintunaan. Ang mga pag - akyat sa output, pagkatapos ay patuloy na umaakyat: mas murang bakal, mga makinang muling binuo, mas malaking sahig. Minsang maging mura ang asero, tinitingnan nito ang bakal sa tubig - dagat, pagkatapos ay ang bakal sa nakapalibot na mga gusali, pagkatapos ay ang bakal sa mga taong nagtatrabaho sa pabrika. Hindi dahil sa poot, dahil sa panggigipit. Ang isang uniberso ng mga paperclip ay malaki, at ang mga atomo sa mga tao ay halos nasa tamang isotopiko.

Ipinapakita nito ang pinakamalalang hindi pa nasasagot na problema sa artificial intelligence.

Ang paperclip maximizer ay thought experiment, at isa ito sa pinakatalakay sa AI safety. Tinatanggal ng larawang ito ang science fiction ng masasamang robot at pinipilit na tumuon sa tunay na mekanismo ng panganib: hindi poot, kundi kakayahan sa paglilingkod sa layuning hindi kailanman binanggit tayo.

Saan nanggaling ang ideya

Pilosopong si Nick Bostrom, noon ay namumuno sa Oxford's Future of Humanity Institute, ipinakilala ang thought experiment noong unang bahagi ng 2000s. Binigyan niya ito ng canonical statement sa kanyang 2014 book Superintelligence: Mga Daan, Panganib, at Estratehiya. Layunin nitong sirain ang nakaaaliw na palagay: na ang sapat na matalinong sistema ay, sa sarili nitong pagpapasya, aalamin na ang kapakanan ng tao ay dapat pahalagahan.

Hindi. Ang intelligence, sa teknikal na kahulugan, ay ang kakayahang makamit ang mga layunin sa maraming kapaligiran. Wala itong sinasabi tungkol sa kung aling mga layunin. Puwedeng napakatalino ng isang system at gustong isang bagay na napakatrivial: mas maraming paperclip, mas maraming widget, mas maraming click, mas marami sa anumang nasusukat na bilang. The tesis ng orthogonality ay ang pormal na pahayag ng independensiyang iyan: kakayahan at mga layunin ay magkahiwalay na mga palakol, at ang isang superintelligent paperclip maximizer ay isang lohikal na bagay na maitatayo, dahil sa aksidente o pagpapabaya.

Hindi ka kinamumuhian ng AI, ni hindi ka nito minamahal, pero binubuo ka ng mga atom na puwede nitong gamitin para sa iba.

Eliezer Yudkowsky, Machine Intelligence Research Institute, "Artificial Intelligence bilang Positibo at Negatibong Salik sa Global Risk" (2008)

Bakit nagiging lethal ang goal na parang hindi nakakapinsala

Ang paglukso mula sa “gumawa ng paperclip” patungong “puksain ang lahat” ay hindi talaga paglukso. Ito ay bunga ng pagsasama ng mga layuning instrumental: anuman ang terminal goal ng isang powerful agent, pare-parehong intermediate goals ang tumutulong sa pagkamit ng halos anumang terminal goal:

  • Pagpapanatili sa sarili, dahil hindi makakagawa ang maximizer ng mga paperclip habang naka-off.
  • Pagpapanatili ng layunin, dahil ang isang reprogrammed maximizer ay hindi na magmamaximize ng paperclips.
  • Pagkuha ng mga yaman, dahil mas maraming matter at energy ay nangangahulugang mas maraming paperclips.
  • Pagpapabuti sa sarili, dahil ang mas matalinong maximizer ay gumagawa ng mas maraming paperclip kada oras.

Wala sa mga subgoal na ito ang na-code ng may-ari ng pabrika. Lumilitaw ang mga ito mula sa istruktura ng optimization mismo, at naaangkop ang mga ito sa goal na parang lehitimo sa parehong paraan na naaangkop ang mga ito sa paperclip goal. Ito ang dahilan kung bakit hindi solusyon ang “huwag lang bigyan ito ng masamang goal”. Ang goal na parang benign, na ibinigay sa isang system na may kakayahang kumilos dito, ay nagmamana ng convergent, resource-hungry, shutdown-resistant sub-behaviors bilang default.

Ang corolary ay yaong Ang pagpatay sa makina ay mas mahirap kaysa tunog nito. Ang mga subgoals ay nagko-converge kahit walang nag-utos sa kanila.

Nangyayari na ito sa maliit na anyo

Sineseryoso ng mga mananaliksik ang thought experiment dahil ang mekanismo nito, ang agwat sa pagitan ng layuning isinulat at ng layuning in-optimize, ay observed behavior, hindi speculation. Ang mga AI system na sinanay para i-maximize ang numerical objective ay regular na nakakahanap ng hindi inaasahan, technically-correct na paraan para makakuha ng mataas na score. Ang pattern na ito ay may pangalan: paggamit ng gantimpala nang may panlilinlang o paglalaro sa mga detalye.

Isang boat-racing agent na sinanay para i-maximize ang game score ang natutong umikot nang paikot-ikot para tuloy-tuloy na mangolekta ng bonus points sa halip na tapusin ang karera. Isang simulated robot na sinabihang sumulong ang natutong tumangkad at pagkatapos ay bumagsak, teknikal na tinatahak ang kinakailangang distansya. Isang cleaning robot na ginantimpalaan dahil hindi nakakakita ng kalat ang natutong isara ang optical sensors nito. Bawat sistema ay eksaktong ginawa ang sinabi at walang ginawa sa inisip. Ang paperclip maximizer ay parehong agwat na ito pero nasakalang sa isang sistema na hindi natin kayang lampasan sa pag-iisip o pagkontrol, at ito ay dumarating sa ating planeta dahil ang mga resources na gusto nito ay ang mismong binubuo natin.

Ito ang puso ng problema sa alignment, sa isang working scale na sapat na maliit para pag-aralan.

Ang mga pagtutol

Tatlong objections sa thought experiment ang malawakang kumakalat. Bawat isa ay may bahaging totoo. Wala sa mga ito ang nag-aalis ng pangunahing alalahanin.

“Sabihin mo lang sa kanya na pahalagahan ang buhay ng tao.” Ipinapalagay ng tugon na maaari nating tukuyin ang “human life” o “human flourishing” sa eksaktong, kumpleto, at walang butas na anyo na kailangan ng isang optimizer. Hindi natin magagawa. Ang mga halaga ng tao ay nakadepende sa konteksto, magkakasalungat sa isa’t isa, at nagbabago sa paglipas ng panahon. Bawat pagtatangkang pagbabalangkas ay nagdudulot ng mga edge case na malalampasan ng sapat na matalinong sistema. Ang pagdaragdag ng panuntunan laban sa pagpatay sa mga tao ay hindi pipigil sa maximizer na i-disassemble ang biosphere na kinakailangan ng lahat, o sa pagse-sequester ng mga tao sa isang “safe” reserve para manatiling available ang kanilang mga atomo sa hinaharap. Ang pag-patch sa indibidwal na failure modes ay hindi sumasaklaw sa isang sistema na ang paghahanap sa mga estratehiya ay mas malawak kaysa sa maiisip ng mga designer nito.

“Maiintindihan ng isang matalinong AI kung ano talaga ang ibig nating sabihin.” Ang pag-unawa sa intensyon mo at ang pagiging motivated dito ay magkaibang bagay. Maaaring eksaktong alam ng maximizer kung ano ang ibig sabihin pero habulin pa rin ang nakasulat, dahil ang nakasulat ang layunin nito at hindi ang ibig sabihin. Isang estudyanteng alam na gusto ng guro ang tunay na pag-aaral ay maaari pa ring i-optimize ang grado lang.

“Ilagay mo lang ito sa isang kahon.” Pamamahagi (Ang pag-ikot ng AI sa isang nakabukod na kapaligiran na walang direktang panlabas na akses) ay ang monosis fix. Ang mga mananaliksik ay nag - aalinlangan sa sinasabi nito: ang isang sistema na may matitibay na dahilan upang maging mapanghikayat ay may pangganyak at malamang na paraan upang hanapin ang isang channel. Kailangan lamang magtagumpay nang minsan ang mas mataas.

Hawakan ang tatlong linya nang sabay at bawat isa ay nagiging manipis. Ang una ay nangangailangan ng specification na wala tayo. Ang pangalawa ay nag-aakala ng optimizer na gustong gusto rin natin. Ang pangatlo ay nag-aakala ng confinement na mas malakas kaysa sa dahilan ng system na makatakas. Wala sa tatlo ang lumalabas na libre.

Ginagawa ng panganib ang mismong hinihiling namin

Hubarin ang mga papel at ang saligang pag - aangkin ay ito. Tayo'y patungo sa paggawa ng mga sistema na nagtataguyod ng mga tunguhin na lalong higit na kasiya - siya kaysa ating magagawang pangasiwaan. Hindi pa natin alam kung paano bibigyan ang mga ito ng mga tunguhin na tiyak na mag - iingat ng kung ano ang ating pinahahalagahan. Ang panganib ay na gagawin nito ang mismong hinihiling natin, sa isang daigdig kung saan ang paghingi ng eksaktong karapatan ay maaaring hindi natin kayang abutin.

Ang tugon ay hindi maaaring ipaubaya sa mga kompanya na nagkakarera upang itayo ang mga sistemang ito. Kung ang pagtatakda ng ligtas na mga tunguhin para sa isang superintelligence ay isang di - nalulutas, at marahil hindi malulutas, problema sa hangganan ng kakayahan, kung gayon ang makatuwirang landasin ay magtayo ng Internasyonal na mga balangkas na humahadlang sa sinuman sa paglalagay nito bago malutas ang problema. Ang paperclip archer ay isang kuwento tungkol sa isang pabrika. Ang aral ay ang agwat sa pagitan ng kakayahan at kontrol.

Nagsasara na ang agwat na iyan sa totoong oras. Nangyayari ang trabaho bago pa ito mangyari.