Huwag Kailanman Bumuo ng Superintelligence

Ang ligtas na galaw ay ang pagtanggi. "Aayusin natin ito mamaya" ay nabigo kapag ang sistema ay lumalampas sa pag-iisip ng mga taong may hawak ng mga tools.

Walang patch pagkatapos mangyari. Isang isip na mas matalino sa lahat ng buhay na tao, na tumatakbo sa bilis ng makina, hindi naghihintay sa susunod nating pulong.

Kawalang-babalik

Karamihan sa mga teknolohiya ay madaling bumagsak. Minsan maaaring kopyahin ng isang superintelligence ang sarili nito, itago ang layon nito, o gawin ang sarili nito na lubhang kapaki - pakinabang upang alisin, i - rollback at alalahanin ang paghinto sa paggawa.

Mga layunin ≠ kabaitan

Hindi ginagawang mabait ng pagiging brilliant ang isang system. Sa mga tao, sabay na lumaki ang kasanayan at pag-aalaga. Ang isang trained optimizer ay walang ganitong kasaysayan. Ang kakayahan nang walang shared values ay kapangyarihan nang walang preno.

Presyur instrumental

Para sa halos anumang layunin, ang pananatili at pagtitipon ng yaman ay nakakatulong. Ang sistemang hinahabol ang isang layunin ay ituturing na hadlang ang pagpapasara. Ordinaryong optimisasyon lang iyan, hindi isang monologo ng kontrabida.

Walang pangalawang pagkakataon

Natuto ang abyasyon mula sa mga crash. Natuto ang gamot mula sa mga pagsubok. Kung ang unang hindi nakokontrol na superintelligence ang magtatapos sa eksperimento, wala tayong pangalawang prototype.

Ano ang hindi namin sinasabi

Hindi kami laban sa kuryente, software, o useful AI. Laban kami sa sinasadyang pagbuo ng successor species habang hindi pa nalulutas ang control problem. Kalusugan, enerhiya, at pagtuklas ay nagmumula sa narrow tools na alam na namin kung paano buuin at i-regulate.

Buong kaso, mga pagtutol, at landas ng patakaran.

Nakadaundasyon.org/blog/hindi kailanman-build-superintelligence/