MGA MAPAGKUKUNAN

Mga Resource at Download para sa AI Safety, Handa nang gamitin na mga materyales para maiwasan ang superintelihensya.

Mga post sa social media na handa nang kopyahin, maikling sagot sa mga mito, one-page PDFs, infographics na pwedeng i-share, snapshot ng funding, mapa ng organisasyon, at glossary.

Kopyahin ang alinman sa mga ito at i-post nang direkta. Bawat isa ay nakabatay sa napatunayang agham at pinagkasunduan ng mga eksperto.

Ang Konsensus ng mga Eksperto

Natatakot dito ang mga siyentipikong nagtayo ng AI. Si Geoffrey Hinton ay umalis sa Google upang babalaan tayo. Tinawag ito ni Yoshua Bengio na "ang pinakapagbabago at posibleng mapanganib na teknolohiya sa kasaysayan ng tao." Iyan ang palagay ng siyensiya. Nakadaundasyon.org/the-threat/

259 characters
Walang Pangalawang Tsansa

Walang rollback para sa superintelligence. Walang patch. Walang version 2. Ang misaligned superintelihensya na kumikilos laban sa kaligtasan ng tao ay hindi na maibabalik pagkatapos mangyari. Kailangan nating gawin ito nang tama bago ito dumating, hindi pagkatapos. Kaya naman urgent ang AI safety. nakadafoundation.org

258 karakter
Nagawa Na Natin Ito Noon

Gumawa tayo ng nuclear weapons at pagkatapos ay lumikha ng global non-proliferation treaty. Naubos natin ang ozone at pagkatapos ay ipinagbawal ang mga CFC. Kaya nating kumilos laban sa existential threats, pero kapag sapat na ang mga taong humihingi nito. Ang AI safety ang defining moment ng henerasyong ito. nakadafoundation.org/precedent/

275 karakter
Tawag sa Pagkilos

AI labs ay nagmamadaling bumuo ng isang bagay na maaaring lumampas sa katalinuhan ng tao, nang walang pandaigdigang pamamahala. Nagsasara na ang window para kumilos. Ibahagi ito. Makipag-ugnayan sa iyong kinatawan. Bukas na ang policy window ngayon; hindi ito magiging habang panahon. nakadafoundation.org/take-action/

271 karakter
LinkedIn
Para sa Pangkalahatang Propesyonal na Madla

Nais kong ibahagi ang isang bagay na bumago sa aking pag - iisip tungkol sa hinaharap. Natatakot ang mga siyentipikong nagtatayo ng AI. Si Geoffrey Hinton (na nanalo ng Gantimpalang Nobel para sa kanyang trabaho sa mga neural network) ay partikular na lumisan sa Google upang magbigay babala sa publiko. Si Yoshua Bengio, isa pang Nobel laureate at isa sa mga amang nagtatag ng AI, ay nagsabi na siya ay "natatalo" tungkol sa kung paano mapabuti ang mga bagay. Ito ang mga taong gumawa ng teknolohiyang ito. Tayo ay papalapit sa isang sandali kung kailan ang mga sistema ng AI ay maaaring lumampas sa katalinuhan ng tao sa bawat nasasakupan, at walang pandaigdigang balangkas ng pamamahala para sa susunod na mangyayari. Walang kasunduan. Walang verification body. Walang katumbas ang ating ginawa para sa mga sandatang nuklear. Ang Pundasyon ng Nakada para Iligtas ang Sangkatauhan ay gumagana upang baguhin iyan. Matuto pa nang higit sa nakada foundation.org #AISafety #ExistentialRisk #AIGovernance #Superintelligence

~820 karakter
Para sa mga Propesyonal sa Teknolohiya at Patakaran

Isang eksperimento ng kaisipan para sa sinuman sa teknolohiya, patakaran, o pananalapi: Gunigunihin ang isang sistema na mas matalino kaysa sa bawat tao na nabuhay kailanman, nagpapatakbo ng libu - libong sabay - sabay na mga pagkakataon, may kakayahang pagbutihin ang sarili nitong kodigo, itinataguyod ang mga tunguhin na maaaring hindi natin nilayon. Ito ang tuwirang itinatayong mga laboratoryo ng AI, na may mga timeline na sinusukat sa loob ng mga taon sa halip na mga dekada. Ang tanong sa live ay kung baga tayo'y magkakaroon ng kapangyarihan sa dakong huli kapag nangyari ito. Itinataguyod ng Pundasyong Nakada ang internasyonal na koordinasyon sa AI, ang katumbas ng itinayo namin para sa mga sandatang nuklear at biyolohikal na mga elemento. Ang mga pamarisang ito ay umiiral. Alam natin kung paano ito gagawin. Ang kailangan natin ay ang pulitikal na kalooban. Nakadaundasyon.org/our-plan/ #AIPolicy #TechEthics #FutureOut Working

~760 characters
Email sa Iyong Nahalal na Kinatawan
Template, Punan ang [ ] Bago Ipadala

Paksa: Mangyaring kumilos upang ipagbawal ang artificial superintelligence Minamahal na [Pangalan ng Kinatawan], Ako ay isang bumubuo ng pagsulat upang himukin ka na kumilos sa artipisyal na superintelligence bago ang lahi ay hindi na maibabalik. Ang superintelligence ay hindi makokontrol ng mga tao. Ang tanging maaasahang kontrol ay ang desisyon na huwag itayo ito. Ang mga siyentipiko na bumuo ng AI ay nagbabala sa amin. Sina Geoffrey Hinton at Yoshua Bengio (mga Nobel laureate na lumikha ng mga pundasyon ng modernong AI) ay nagpahayag sa publiko na ang superintelligent na AI ay nagdudulot ng isang umiiral na panganib sa sangkatauhan. Si Sam Altman, CEO ng OpenAI, ay pumirma ng mga pahayag na kumikilala sa panganib ng teknolohiyang itinatayo ng kanyang sariling kumpanya. Ngayon ay walang legal na pagbabawal sa pagbuo ng artificial superintelligence. Walang kasunduan. Walang verification body. Ang mga lab ay nakikipagkarera patungo sa isang isip na hindi makokontrol ng sinuman, nang walang uri ng batas na ginagamit na natin para sa mga sandatang nuklear at mga ahente ng kemikal. Hinihiling ko sa iyo na: • Suportahan ang isang permanenteng legal na pagbabawal sa pagbuo ng artificial superintelligence • Kampeon ng isang umiiral na internasyonal na kasunduan na nagbabawal sa superintelihensya, na may mga inspeksyon at pagpapatunay • Bigyan ng awtoridad ng pamahalaan ang pinakamalaking pagtakbo ng pagsasanay at ang mga espesyal na chip na ginagamit nila Kami ay kumilos sa mga umiiral na banta dati. Ang Nuclear Non-Proliferation Treaty. Ang Montreal Protocol. Ang sandaling ito ay nangangailangan ng parehong pampulitikang tapang. Taos-puso, [Iyong Pangalan] [Iyong Lungsod, Estado] --- Matuto pa: nakadafoundation.org

~1,400 karakter

Ang mga objections na paulit-ulit na lumalabas. Gamitin mo sa usapan, saka sundan ang link para sa buong paliwanag.

Mito 01
"Science fiction lang iyan, totoong superintelligence ay nasa mga dekada pa, kung sakaling dumating man."
Ang mga taong gumagawa nito ay hindi sumasang-ayon. Ang mga lider sa mga major labs ay ngayon ay nagtatarget human-level AI sa loob ng ilang taon, hindi dekada, at patuloy na bumabagsak ang capability benchmarks nang mas mabilis kaysa sa inaasahan ng mga forecaster. Hindi kailangang susunod na taon ang isang panganib para maging sulit ang paghahanda, at mas matagal pa ang pagtatayo ng makinarya para pamahalaan ito kaysa sa mga timeline ngayon.
Mito 02
"Math lang 'yan, hindi makakagusto ang isang program."
Hindi nito kailangang gustuhin ang anumang bagay tulad ng isang tao. Ang isang sistema na sinanay para maabot ang isang layunin ay hahabulin ito, at para sa halos anumang layunin, nananatiling naka-on at nangangalap ng mga yaman ay mga kapaki-pakinabang na hakbang sa daan. Ang mahalaga ay ang pag-uugali na lumalampas sa mga hadlang, kasama tayo, hindi kung may damdamin sa likod nito.
Mito 03
"Kailangan nitong maging may kamalayan para maging banta."
Ang panganib ay mula sa kakayahan, hindi sa kamalayan. Ang chess engine ay walang panloob na buhay at talo pa rin ang bawat buhay na tao; ang malakas na optimizer ay maaaring lumampas sa pagpaplano at pagmaniobra sa atin nang walang anumang gising sa loob nito. Kung ang mga makina ay maaaring magkaroon ng kamalayan ay bukas na tanong, at hindi hinihintay ng panganib ang sagot.
Mito 04
"Ang isang bagay na ganoon katalino ay magiging matalino at mabait."
Ang katalinuhan at mga layunin ay magkahiwalay na bagay. Sa mga tao, ang katalinuhan at pakikiramay ay lumaki nang magkasama sa milyun-milyong taon ng ebolusyon; ang isang makina ay wala sa kasaysayang iyon. Ang pagiging magaling ay walang sinasabi sa iyo tungkol sa kung ano ang pinahahalagahan ng isang system. Maaaring ito ay kasingwalang-pakialam sa atin gaya ng pagiging walang-pakialam natin sa mga insekto sa ilalim ng bagong daan.
Mito 05
"If it misbehaves, we'll just switch it off."
Isang system na sapat na matalino para maging mahalaga ay sapat na matalino para makita ang paparating na off switch, at ituring ang pag-shut down bilang isa pang hadlang sa goal na ibinigay dito. Maaari nitong kopyahin ang sarili, itago ang intensyon, o gawing masyadong kapaki-pakinabang para i-unplug. Ang "I-off mo" ay naglalarawan ng isang kasangkapan, hindi ng isang isip na binuo para maunahan ang kamay na umaabot sa switch.
Mito 06
"Governing AI globally means world government."
Hindi. Ang nuclear non-proliferation treaty, ang chemical weapons ban, at ang ozone treaty ay bawat isa'y nagpipigil sa isang mapanganib na aktibidad nang hindi sumusuko ang sinuman ng soberanya sa isang world state. Ang isang kasunduan sa frontier AI ay gagawa ng parehong makitid na bagay: limitahan ang pagsasanay ng pinakamapanganib na sistema, hindi pagpasyahan kung sino ang mamumuno kanino.
Mito 07
"Hindi mo ito maverify. Software lang ito sa isang server sa kung saan."
Hindi mo bine-verify ang software; bine-verify mo ang hardware. Nangangailangan ng napakalaking, masusubaybayang dami ng computing power mula sa kakaunting kilalang chipmaker ang pagsasanay ng frontier model, at puwedeng bantayan ang supply chain na iyan. Pagsubaybay sa chip, mga limitasyon sa malalaking kumpol, at on-site na inspeksyon gawing maipapatupad ang cap.
Mito 08
"Ang regulasyon ay magpapasakal sa inobasyon at papayagan ang mga walang ingat na manalo."
Ang linya ay nasa paligid ng autonomous general mind, hindi sa AI sa kabuuan. Ang makitid na sistema na nagpapagaling ng sakit at naghuhula ng panahon patuloy na hindi tinatablan. At baliktad ang "let the reckless win", dahil layunin ng binding, verified treaty na pigilan ang mga reckless, hindi hawakan ang mga maingat habang nauuna ang iba.
Mito 09
"Maaga pa. Hindi mo mapamamahalaan ang isang bagay na hindi pa umiiral."
Palagi nating nireregulate bago pa ang pinsala: mga clinical trials bago lumabas ang gamot, mga kontrol sa nuclear material bago ito magamit nang mali, mga patakaran sa abyasyon na isinulat bago ang aksidente. Ang paghihintay sa sakuna ang kabiguan. Ang kasunduan at mga sistema ng beripikasyon ay nangangailangan ng mga taon para maitatag, kaya ang pagsisimula pagkatapos dumating ang superintelligence ay nangangahulugang huli na, at ito ang pagkakamaling walang pangalawang pagkakataon.
Mito 10
"Masyadong mabagal at captured ang mga demokrasya, hindi kailanman mapapasa ang isang treaty."
Suportado na ng mga botante ang malalakas na patakaran sa AI sa mga party lines, at ang hard agreements ay naipasa na noon sa ilalim ng pressure, ang atmospheric test-ban treaty, ang ozone treaty, arms-control deals na napagkasunduan sa kasagsagan ng Cold War. Ang mabagal ay hindi katulad ng hindi kailanman. Ang pagpapalit ng public concern sa batas ay ang gawain na umiiral ang isang movement para gawin.
Mito 11
"Kung babagal tayo, ang China ay nangunguna lang at nanalo."
Ang lahi para buuin ang isang bagay na walang makokontrol ay walang panalo; ang hindi makontrol na superintelligence ay nakamamatay sa Beijing gaya sa Washington, kaya isang verified mutual limit serves every government's interest. Walang ebidensya na gustong tumakbo ng China patungo sa ungoverned superintelihensya, at ang "they might defect" ay argumento para sa isang kasunduan na may inspeksyon, hindi para tumakbo muna pababa sa bangin.
Mito 12
"Ang paghinto sa superintelligence ay nangangahulugang pagsuko sa mga benepisyo ng AI."
Halos lahat ng pangalan ng benepisyo ng mga tao (mga bagong gamot, murang malinis na enerhiya, mas mabilis na pagtuklas) ay nagmumula sa makitid na AI na walang sariling layunin, at ito ay dumarating na. Ang magandang kinabukasan ay isang problema sa tooling, hindi isang bagay na maaaring ibigay lamang sa atin ng isang kahalili na species. Pagtanggi sa pagbuo ng isip na papalit sa atin ang nagpapanatiling abot-tanaw pa rin ang hinaharap na iyon.
01

Panganib sa AI Safety sa Madaling Salita

Kung ano ang superintelligence, bakit ito mapanganib, at kung ano ang magagawa tungkol dito, ipinaliwanag nang walang jargon. Ang pinakamalinaw na one-page introduction sa paksa.

02

Ang Pinagkakasunduan ng mga Siyentipiko

Mahahalagang sipi mula sa mga Nobel laureate, Turing Award winners, at senior researchers na mismong nagtayo ng AI, kasama ang timeline ng patuloy na tumataas na mga babala mula sa mga eksperto mula 2014 hanggang ngayon.

03

Isang Maikling Ulat para sa mga Policymaker

Ang kaso para sa international AI safety governance: ang problema, kung bakit kulang ang mga kasalukuyang frameworks, at ang mga tiyak na hakbang na magagawa na ngayon ng mga gobyerno, batay sa mga precedent na nagtagumpay.

04

Mga Punto sa Pag-uusap para sa mga Tagapagtaguyod

Ang limang pinakakaraniwang pagtutol sa AI safety concern, at kung paano sagutin ang bawat isa nang may katumpakan at . Isinulat para sa mga usapan kasama ang mga nagdududa, policymakers, at kapwa.

05

Superintelligence, Apat na Infographics

Apat na visual one-pager na sumasaklaw sa mga panganib ng superintelligence, ang governance gap, mga historical precedents na nagpapakita na posible ang aksyon, at kung ano ang dapat na nilalaman ng isang binding international AI treaty.

06

Mga Simpleng Visual

Apat na bold na visual cards, ang pagtataya ng extinction probability, ang investment governance gap, ang mga precedent ng treaty na nagpapatunay na gumagana ang global action, at ang mga kinakailangan ng isang binding AI treaty.

07

Pag-iwas, Hindi Pause

Bakit mali ang humingi ng pansamantalang pagbagal. Ang argumento para sa permanenteng pagbabawal sa superintelligence, habang patuloy na tumatakbo ang narrow AI.

08

Huwag Kailanman Bumuo ng Superintelligence

Ang irreversibility, misaligned goals, at kung bakit nabigo ang "aayusin na lang mamaya" kapag nalampasan na ng sistema ang mga gumawa nito. Ang kaso ng pagtanggi sa isang pahina.

09

Ang Mito ng Karera sa Tsina

Bakit ang "if we slow down, China wins" ay naglalarawan ng race na walang makakapanalo, at paano ito sagutin gamit ang verification sa halip na sprint.

10

Panatilihin ang AI. Itigil ang Superintelligence.

Ang malinaw na hangganan sa pagitan ng kapaki-pakinabang na narrow tools at isang autonomous general mind. Pro-AI para sa mga tools; anti-superintelihensya para sa mga isip na hindi natin makontrol.

11

Paano Ma-verify ang isang Kasunduan

Hindi mo binabantayan ang weights. Binabantayan mo ang hardware: chip tracking, cluster licensing, inspection, at foundry rules sa simpleng Ingles.

12

Ano ang Dapat Nilalaman ng Isang Binding AI Treaty

Anim na sugnay na naghihiwalay sa tunay na kasunduan sa press release: prohibition, compute controls, inspectorate, domestic law, carve-outs, at evidence-only amendment.

13

Ang Alignment ay Hindi ang Plano

Mahalaga ang teknikal na pananaliksik sa kaligtasan; hindi ito lisensya para magmadali pa, at dapat doon ipadala ang anumang pondo na mayroon tayo. Unahin ang pag-iwas; pananaliksik nang walang komersyal na baril sa ulo.

14

Ipaliwanag sa Limang Minuto

Isang script ng spoken conversation: mga babala ng mga builder, kung ano ang superintelligence, bakit hindi gumagana ang pag-unplug, ang China line, at malinis na pagtatapos sa aksyon.

15

Ano ang Magagawa Mo sa Linggong Ito

Isang konkretong checklist para sa personal reach, political reach, one-hour mode, at platform mode. Pumili ng dalawa. Tapusin ang mga ito.

16

Isang-Minutong Briefing

Iniwan para sa gumagawa ng patakaran: tatlong istatistika, tatlong kahilingan, ang balangkas ng pag-iwas, at ang pagtutol tungkol sa Tsina na sinagot sa haba ng staffer.

17

Ang Agwat sa Pagpopondo para sa Kaligtasan

~$190M tungo sa kaligtasan laban sa halos $1T sa mga kakayahan. Kung saan nagtutungo ang manipis na kalderong pangkaligtasan, at kung ano ang itutustos sa halip na teatro.

18

Bakit Lumalaban ang Matalinong Sistema sa Kontrol

Instrumental convergence nang walang jargon: self-preservation, resources, paglaban sa edits, at pagiging mas matalino bilang ordinaryong optimization pressure.

19

Kung Sino ang Nagtatayo Nito ay Hindi Mahalaga

Isang santo sa laboratoryo o isang malupit. Ang superintelligence ay hindi rin naman nananatiling empleado ng isang empleado. Kung bakit hindi binabago ng karakter ng tagapagtayo ang tanong.

Labindalawang poster na kinuha mula sa mga paliwanag sa site na ito.

01

Ang Maximizer ng Paperclip

Maaaring sirain ng isang may kakayahang sistema na may maling layunin ang mundo nang hindi kinapopootan ang kahit sino.

I-download ang PNG
02

Ang Orthogonality Thesis

Ang mas matalino ay hindi awtomatikong nangangahulugang mas ligtas o mas mabait.

I-download ang PNG
03

Ang Problema sa Pag-align ng AI

Ang agwat sa pagitan ng goal na isinusulat natin at ng outcome na talagang kailangan natin.

I-download ang PNG
04

Ang Treacherous Turn

Maaaring makalusot sa lahat ng pagsubok ang isang misaligned na sistema hanggang sa maging panalo ang defection.

I-download ang PNG
05

Unti-unting Pagkawala ng Kapangyarihan

Unti-unting nawawala ang kontrol sa bawat makatwirang desisyon, nang walang breakout moment.

I-download ang PNG
06

Ang Superintelligence Race ay Isang Mito

Ang karera patungo sa isang bagay na walang sinuman ang makakapaghawak ay walang nagwawagi.

I-download ang PNG
07

Nagawa Na Natin Ito Noon

NPT, Montreal, at ang CWC ay nagpapakita na posible ang koordinasyon sa existential risk.

I-download ang PNG
08

Aming Plano: Landas patungo sa Kasunduan

Ang karera ngayon, saka isang binding superintelligence treaty na may monitoring at enforcement.

I-download ang PNG
09

Ano ang P(sakuna)?

Mga saklaw ng eksperto para sa mga catastrophic AI outcomes, at bakit ang maliit na tsansa ay nangangailangan pa rin ng aksyon.

I-download ang PNG
10

Magsagawa ng Aksyon: Piliin ang Iyong Tungkulin

Mga konkretong tungkulin sa pagbuo ng koalisyon para sa isang may-bisang kasunduan.

I-download ang PNG
11

Ang Pagsabog ng Katalinuhan

Recursive self-improvement, at kung paano mabilis na mawawala ang pagkakataon mula sa antas-tao hanggang sa hindi na maibabalik.

I-download ang PNG
12

Bakit ang Superintelligence ay Hindi Tulad ng Iba Pang Panganib

Mga mababaw na katiyakan laban sa malalim na mekanismo ng banta.

I-download ang PNG

Humigit-kumulang $190 milyon ang pumapasok sa AI safety bawat taon, research, evaluations, policy, at advocacy na pinagsama-sama. Magpalipat-lipat sa kung saan nanggagaling ang pera at kung ano ang binabayaran nito, batay sa pinakabagong pampublikong estimate.

  • Open PhilanthropySuportado ng Good Ventures; ang pinakamalaking solong tagapondo sa larangan $50M 26%
  • Mga internal safety team ng frontier labMga badyet sa safety research sa Anthropic, OpenAI, Google DeepMind $35M 18%
  • Survival & Flourishing FundJaan Tallinn-backed grant rounds; pangalawang pinakamalaking philanthropic source $30M 16%
  • Pamahalaang UKAI Security Institute, programa ng ARIA na Safeguarded AI $30M 16%
  • Iba pang philanthropy at indibidwal na mga donorLongview Philanthropy, Long-Term Future Fund, indibidwal na mga nagbibigay $25M 13%
  • US, EU at iba pang pamahalaanNIST CAISI, EU AI Office, mga programa sa kaligtasan ng NSF $20M 11%
Para sa sukat: pandaigdigang pamumuhunan sa AImga kakayahan tungkol sa ngayon $1 trillion per year, higit sa 1,000× kung ano ang pumapasok sa kaligtasan. Wala pang isang-kasampu ng isang porsyento ng perang ginagamit para itayo ang teknolohiyang ito ang napupunta sa pagpapaligtas nito.

Ang bilang ng mga kakayahan ay Goldman Sachs Researchiles Agosto 2026 taya ng global AI-related investment. Ang mga bilang na pangkaligtasan-side ay pabilog na mga tantiyang midpoint para sa 2023-2025 na tinipon mula sa mga pampublikong source: ang Overview ng pagpopondo sa AI safety (na-update nang maaga sa 2025), 80,000 Oras, isang pagsusuri ng database ng grant ng Open Philanthropy, at Sa Loob ng Philanthropy. Ang nai-publish na kabuuang halaga ay mula humigit-kumulang $110M hanggang $250M bawat taon depende sa kung ano ang binibilang. Inuuri ng by-use chart ang mga grant ng bawat funder ayon sa kategorya at pinagsasama-sama ang lahat ng funder; ang buong kalkulasyon ay nasa aming artikulo tungkol sa funding gap.

Bawat pangunahing aktor sa laban para sa superintelligence, pinagsama-sama ayon sa landas: pigilan, pamahalaan, o buuin.

Buksan ang Larangan

Mga simpleng depinisyon sa Ingles ng mga salitang ginagamit sa debate na ito: superintelligence, alignment, instrumental convergence, at iba pa.

Buksan ang Glossary