Ang pagpigil sa superintelligence ay hindi nangangahulugang sirain ang bawat chip o wakasan ang machine learning. Ito ay nangangahulugang legal at praktikal na pagbabawal sa pagbuo ng artificial superintelligence. Ang superintelligence ay hindi kayang kontrolin ng mga tao. Ito ay permanenteng pagbabawal, hindi timed pause na magtatapos sa parehong karera.
Ano ang dapat tumigil vs ano ang dapat magpatuloy
Dapat magpatuloy ang narrow AI na nagfo-fold ng protina, nagbabasa ng scan, nag-o-optimize ng logistics, at nananatili sa loob ng bounded domain. Ang target ay general, recursively improving superintelligence at ang mga programang naglalayon dito, na sinala sa pamamagitan ng compute thresholds, capability tests, at research rules. Ang mga kritiko na nagsasabing "gusto nilang ipagbawal ang AI" ay nagbebenta ng paninira na nagpoprotekta sa karera.
Bakit Hindi Sapat ang mga Pangako ng Lab
May pananagutang mga patakaran sa pag - aayos at ang mga pangako ng multi-lab ay maaaring maghayag ng layon. Sila'y nabibigo bilang ang pangunahing sistema ng pagkontrol. Ang kompaniya ring iyon ang sumusulat ng patakaran, nagpapatakbo ng mga pagsubok, humahatol sa mga resulta, at mga pakinabang mula sa pagpapadala. Sa ilalim ng kompetisyon, ang mga patakarang panloob ay bumabaluktot, kaya ang panlabas na batas ay kailangang magtustos ng kagat.
Ang hagdan ng pagpapatupad
Isipin ang isang hagdan sa isang bangin.
Kagustuhan ng publiko sa pundasyon: mga taong kayang pangalanan ang hinihingi at parusahan ang mga lider na nag-aalok lang ng innovation theater.
Batas at ahensya sa loob ng bansa: lisensya para sa malalaking training run, kriminal at sibil na pananagutan para sa sinasadyang superintelihensya development, evaluation bodies na may tunay na access, proteksyon para sa mga whistleblower.
Mga chip at ulap: Mga kontrol sa pagluluwas, kumpol alam-iyong-customer, kapangyarihan at data-center view. Ang hardware ay pisikal. Iyan ay isang katangian ng pamamahala.
Kasunduan ng koalisyon: isang sentrong set ng mga estado na sumasaklaw sa karamihan ng mga hangganang kapasidad, na may mga kawing na nmeriko, hindi lamang mga simulain. Normal ang kawalan ng tiwala; umiiral ang beripikasyon kaya ang mga partido ay hindi kailangang umasa sa pagkakaibigan.
Institusyon ng pagpapatunay: mga inspektor, iskedyul ng FLOP, pag-uulat ng insidente, awtoridad na mag-trigger ng mga kahihinatnan. Isipin ang kapasidad na parang IAEA para sa mga data center at training, hindi isang talk shop.
Nakatayong kondisyon ng pagbabawal: muling buksan lamang kapag malinaw na pinahintulutan ng independiyenteng agham at ng publiko sa ilalim ng mga institusyong hindi hawak ng mga lab.
Bawat baitang ay sumusuporta sa susunod. Mga summit na walang patakaran sa compute, o patakaran sa compute na walang suporta ng publiko, ay nag-iiwan sa pag-akyat na hindi tapos.
Kalahati ng problema ay domestic politics
Sa Estados Unidos, ang magandang teksto ng Geneva ay hindi nagbibigkis nang walang landas sa pamamagitan ng Senado o sa pamamagitan ng mga batas at mga kasunduang Congressional-exmix na maaaring pumasa. Idisenyo ang instrumento na iniatras mula sa mga boto na maaari mong manalo. Ang ibang mga bansa ay may kani - kaniyang bitag sa ratification. Mag - absorb ng domestic design at kumuha ka ng press releases.
Ang China, mga karibal, at ang dahilan ng karera
Ang nangingibabaw na dahilan para sa walang - takdang pag - uunat ay: kung tayo'y babagal, ang mga ito ay hindi. Ang dalawang paraan ay parehong may kahinaan. Ang isang hindi masupil na superintelligence ay isang paraan upang mawala ang bansa habang sumasaludo sa bandila, hindi isang pambansang asset. Ang Veripikasyon, pagkakait ng hardware, at parehong paglalantad ng mga programang breakout ay umiiral para sa mga karibal na hindi nagtitiwala sa isa't isa.
Buksan ang weights
Ang mga high-end open general na mga timbang ay lumilikha ng isang lumalaking landas na kontrol sa pagluluwas na bahagya lamang na adres. Minsang ang mga timbang ay pampubliko, walang sentrong alaala. Itrato ang high-end general releases bilang mga desisyon sa pagpaparami, hindi ordinaryong produkto launchs.
Ano ang Magagawa Mo
Itugma ang aksyon sa iyong abot.
Mga Botante: makipag-ugnayan sa mga kinatawan na may hiling na may-bisang pagbabawal, hindi lang malabong "mag-ingat." Mga kawani: draft na licensing at evaluation bill na may mga numeric na trigger.Mga Nagbigay: nagpopondo ng adbokasiya na nakakaimpluwensya sa mga boto at teksto ng kasunduan. Mga Siyentipiko: i-endorso ang permanenteng pagbabawal at tumulong sa pagdidisenyo ng verification. Mga empleyado ng lab: use lawful reporting channels when internal safety is overridden. Role-specific force beats generic anxiety.
Karamihan sa pera at prestihiyo ay napupunta pa rin sa paggawang mas ligtas ng karera, hindi sa pagtatapos ng karera patungo sa superintelihensya. Kulang pa rin ang mga donasyong sumusuporta sa paghinto.
Ano ang hitsura ng tagumpay
Sa loob ng dalawang taon: statutes na may ngipin sa maraming hurisdiksyon, mas mahusay na end-use monitoring sa chips, seryosong negotiation text na may mga numero, matibay na suporta ng publiko para sa binding prohibition. Sa loob ng lima hanggang sampung taon: licensed compute na sumasakop sa karamihan ng frontier capacity, gumaganang inspection, coalition coverage ng training, at isang kultura kung saan mahal at nakikita ang breakout. Hindi binibilang ang summit communiqués lamang.
Mga mode ng pagkabigo
Mag-ingat para sa reefinition ("advanced help" sa halip na superintelihensya), pagbihag ng mga tagasuri, mga simbolikong kasunduan nang walang beripikasyon, at paghihintay para sa "nalutas na pagkakahanay" bilang isang permit na magtayo. Paghihiwalay nang walang bayad. Sabihin ang mga ito upang makapaglagay ka ng mga barangay sa pag-akyat.
Disenyo ng kasunduan nang walang banal na teksto
Walang iisang sacred draft. May mga pamilya ng disenyo. Maaaring gumalaw muna ang isang core coalition na sumasakop sa karamihan ng frontier capacity bago ang universal membership. Hinahiram ng Framework-then-annex sequencing (mga prinsipyo muna, numeric schedules na nag-a-update) mula sa matagumpay na environmental at arms regimes. Binabago ng trade measures laban sa mga hindi partido ang opt-out math. Maaaring bumili ng suporta mula sa mga estado na takot na maiiwan sa narrow AI ang isang multilateral fund o technology access bargain. Ang MIRI-style draft ay isang fully specified proposal; ang NPT, Montreal, at chemical weapons law ang precedent shelf. Pumili ng mga istrukturang kayang i-verify, hindi tula na kayang purihin lamang.
Pananaliksik malapit sa linya
Ang pinakamahirap na drafting problem ay ang gawaing katabi ng ban: agentic systems, automated AI-research assistants, large-scale self-play. I-ban ang malinaw na superintelihensya path. I-license at i-inspect ang gray zone. Huwag magkunwaring bawat papel ay bomba, at huwag magkunwaring ordinaryong agham ang automated AI research kapag pinapaikli nito ang daan patungo sa mga sistemang walang sinuman ang makakapigil.
Katarungan at kung sino ang magbabayad
Hindi pantay na tatamaan ng compute rules ang mga kompanya at bansa dahil hindi pantay ang industrial base. Ang isang patas na rehimen ay nagpapares ng mga paghihigpit sa tuktok ng capability ladder sa patuloy na access sa beneficial narrow tools, at hindi ginagamit ang "safety" bilang takip para sa permanenteng technological caste systems. Ang punto ay shared survival, hindi monopolyo sa progreso.
Pagsagot sa dalawang mahirap na linya
"Mawawala sa atin ang ekonomiya." May kapital na lilipat. May mga equity story na bababa. Kita ang mga gastusing ito sa quarterly calls. Hindi lumalabas bilang isang line item ang pagkalipol at permanenteng pagkawala ng kapangyarihan. Hindi awtomatikong nananalo ang mga nakikitang gastos kapag ang alternatibo ay sibilisasyon.
"Palaging may magdidepekto." Ang designion ay isang input ng disenyo. Ang Veripikasyon, pagkakait ng hardware, mga restriksiyon, at parehong paglalantad ng mga programang breakout ay umiiral upang baguhin ang mga pakinabang. Ang sakdal na pagsunod ay hindi siyang pamantayan; ang pagtaas ng halaga ng pandaraya ay.
Muli ang hagdan
Ang mga baitang ay pampublikong testamento, batas, chips, kasunduan, inspektor, at permanenteng pagbabawal. Ang pag - akyat ay nangangahulugan ng pag - iinstala ng mga baitang at pagtangging magkunwaring isang pintang pader ay isang hagdan. Ang mga dokumento, industriyal na mga chompint, at legal na mga pamarisan ay umiiral na. Ang puwersa ay nasa susunod na hakbang na maaari mong abutin. Mas simple ang panimulang linya: huwag bumuo ng superintelligence. Hindi makokontrol ang superintelligence.