Ilang libro lang ang nagsasaad ng konklusyon nila sa pamagat. Kung May Magtatayo Nito, Lahat Ay Mamamatay, na inilathala noong 2025 nina Eliezer Yudkowsky at Nate Soares ng Machine Intelligence Research Institute, ang eksaktong gumagawa nito. Ang pahayag ay kung ang anumang grupo ay gagawa ng superintelligent AI gamit ang anumang katulad ng mga pamamaraan ngayon, ang resulta ay pagkalipol ng tao bilang default, hindi lamang pinakamasamang kaso. Ito ang pinakawalang kompromisong posisyon sa larangan, iniharap para sa pangkalahatang mambabasa, at itinulak nito ang argumento sa pangunahing pananaw.
Sulit na intindihin ang libro, dahil inilalatag nito ang pessimistic case nang mas malinaw kaysa sa anumang iba pang available.
Ang argumento sa tatlong galaw
Nakabalangkas ang aklat sa tatlong bahagi.
Una, ang kaso para sa panganib. Tayo ay nasa landas upang itayo ang AI na higit na may kakayahan kaysa mga tao. Hindi natin alam kung paano bibigyan ang gayong sistema ng mga tunguhin na talagang kasuwato ng kaligtasan at pag - unlad ng tao, at sa pamamagitan ng hindi pagtupad sa isang sistema na ubod ng talino na naghahangad ng halos anumang tunguhin na kasalukuyang matitiyak natin ay makikitungo sa sangkatauhan bilang isang hadlang o isang yaman. Ang mga awtor ay umaasa sa katulad na mga mekanismo: na ang kakayahan ay hindi nagpapahiwatig ng kahusayan, na ang isang may kakayahang optimista ay lumalaban sa pagtutuwid, at na hindi natin matiyak kung ano talaga ang nais ng isang sistema. Ang kanilang namumukod - tanging pag - aangkin ay kung gaano sila nagtitiwala na ang mga problemang ito ay hindi malapit na malutas at na ang kabiguan ay nakamamatay sa halip na basta masama.
Pangalawa, isang konkretong kuwento. Sa halip na iwanang abstract ang panganib, isinalaysay ng libro ang isang tiyak na senaryo kung paano makakapangyari ang superhuman AI at matatapos ang kontrol ng tao. Malinaw na sinabi ng mga may-akda na hindi malamang ang anumang iisang kuwento sa mga detalye nito; ang punto ay gawing buhay ang abstract na mekanismo.
Ikatlo, kung ano ang gagawin. Ang kanilang reseta ay kasing-tapat ng diagnosis: isang pandaigdigang paghinto sa pag-unlad ng superintelligent AI, ipinapatupad nang seryoso, kasama ang mga kontrol sa computing hardware na kailangan para i-train ang frontier systems, at pinapanatili nang permanente. Hindi kayang kontrolin ng tao ang superintelligence; hindi lang ito dapat asahan.
Ang pangunahing claim ng libro ay na, sa kasalukuyang landas, ang pagkakamali ang inaasahan, at ang pagkakamali ay nangangahulugang lahat, hindi lang na maaaring magkamali ang AI.
Tiyak
Ang pinakakaraniwang pagtutol ay sa certainty. Tinatanggap ng mga kritiko na ang AI risk ay totoo at seryoso habang tinatanggihan ang near-inevitability ng extinction, na nangangatwiran na tinatrato ng mga may-akda ang contested premises, tungkol sa kung gaano kabilis lalago ang capabilities, kung gaano kahirap ang alignment, at kung paano magaganap ang isang takeover, nang may higit na confidence kaysa sa sinusuportahan ng ebidensya. Ang iba ay nangangatwiran na ang alignment progress ay mas promising kaysa sa pinahihintulutan ng libro, o na ang bleakness ay counterproductive, na nagtutulak sa mga tao patungo sa fatalism sa halip na aksyon.
Ang pagtitiwala ng aklat ang pinakamadalas na tampok nito. Masusumpungan mo ang katiyakan na labis - labis ang binabanggit at ang pagtatalo ay nakababahala pa rin, sapagkat ang mga reklamo ay kadalasang sumasalakay kung gaano tayo katiyak, hindi kung ang panganib ay tunay.
Saan nakaposisyon ang Foundation
Pinagpapasyahan namin ang pangunahing paniniwala ng aklat: na hindi natin alam kung paano i-align ang isang superintelligence, na ang pagbuo nito sa kasalukuyang trajectory ay isang hindi katanggap-tanggap na sugal, at na ang responsableng tugon ay ang huminto hanggang sa malutas ang problema. Saklaw ng aming mga sulatin kung bakit maaaring hindi masolusyunan ang alignment at bakit ang unaligned superintelligence ay hindi naghahatid ng magandang future.
Kung saan kami nagkakaiba ay sa diin at tono. Malapit nang mawalan ng pag-asa ang libro tungkol sa kung malulutas pa ba ang alignment problem sa oras. Inilalagay namin ang bigat sa pagkakamit ng solusyon na mismong inendorso ng libro, isang binding international halt, at tinatrato namin ito hindi bilang isang walang pag-asang pag-asa kundi bilang isang konkretong political at legal na proyekto na may tunay na precedents. Ang Pahayag tungkol sa Superintelligence, pirmado ng maraming founder mismo ng larangan, nagpapakita na ang panawagan para sa paghinto ay naging mainstream na. Hindi mo kailangang tanggapin ang lahat ng claim sa Kung May Magtatayo Nito, Lahat Ay Mamamatay na ang reseta nito ang matino. Ang inaasahang kasong-halaga kahit na sa mas mababang pagtitiwala kaysa taglay ng mga awtor. Ang paggawang totoo ng resetang iyon ay isang espesipikong proyekto sa pulitika at batas.