AI 安全资源与下载,, 现成的超级智能预防材料。

可直接复制的社交帖文、简短迷思解答、一页 PDF、可分享信息图、资助概况、组织地图,以及术语表。

复制其中任何一条并直接发布。每一条都基于经过验证的科学和专家共识。

专家共识

造出AI的科学家对此感到害怕. 杰弗里·辛顿离开谷歌 警告我们 约书亚·本希奥称其为"人类历史上最具变革性和潜在危险性的技术". 这就是科学共识。 Nakadafoundation.org/the-威胁/

没有第二次机会

超级智能没有回滚。没有补丁。没有版本2。 一个与人类生存相悖的失调超级智能事后无法纠正。我们必须在它到来之前做好,而非之后。 这就是AI安全如此紧迫的原因。nakadafoundation.org

我们以前做过

我们造出核武器后缔结了全球不扩散条约。我们耗竭臭氧层后禁用了氟氯烃。 面对存在威胁,我们能够采取行动,但前提是足够多的人要求这样做。 AI安全是这一代人的决定性时刻。nakadafoundation.org/precedent/

行动号召

AI实验室正在竞相构建可能超越人类智能的东西,而全球治理尚付阙如。 行动窗口正在关闭。分享本文。联系你的代表。政策窗口此刻开启;它不会永远如此。 nakadafoundation.org/take-action/

领英
面向普通专业受众

我想分享一些改变我对未来的看法的东西。 建筑AI的科学家们很害怕. 杰弗里·欣顿(因在神经网络上的工作而获得诺贝尔奖)特别离开谷歌去警告公众. 另一位诺贝尔奖得主和AI的创始人之一约斯华·本吉奥(约书亚·本希奥)说,他"感到"迷失了如何让事情顺利进行. 这些是制造这种技术的人。 我们即将到来的时刻是,人工智能系统可能超越人类在每个领域的智力,而且对于接下来会发生什么,没有国际治理框架。 没有条约。 没有核查机构。 没有什么比不上我们为核武器建造的东西。 中田拯救人类基金会正在努力改变这种状况。 在Nakadafoundation.org学习更多 #AISafety # 存在风险 #AIGovernance #超级智能

致技术与政策专业人士

技术、政策或金融领域的任何人的思想实验: 想象一下一个系统比所有曾经活着的人类都更聪明,同时运行了上千个案例,能够改进自己的代码,追求我们可能没有打算的目标. 人工智能实验室正朝着这个方向明确发展,其时限是按年份而不是按几十年来衡量的。 现实的问题是,当治理到位时,我们是否将实施治理。 中田基金会倡导在AI安全方面进行国际协调,这相当于我们为核武器和生物制剂所建造的东西。 这些先例是存在的。 我们知道该怎么做。 我们需要的是政治意愿。 nakadafoundation.org/我们的计划/ #AI政策#科技 #Airisk未来工作

致您当选代表的电子邮件
模板,发送前填写 [ ]

主题:请行动起来,禁止人工智能 亲爱的[代表姓名], 我写这封信是为了敦促你们在竞争变得不可逆转之前对人工智能采取行动。超级智能是人类无法控制的。唯一可靠的控制是决定不建造它。 构建人工智能的科学家正在警告我们。杰弗里·辛顿 (杰弗里·辛顿) 和约书亚·本吉奥 (约书亚·本希奥)(为现代人工智能奠定基础的诺贝尔奖获得者)公开表示,超级智能人工智能对人类构成了生存风险。 OpenAI 首席执行官萨姆·奥尔特曼 (萨姆·奥尔特曼) 签署了声明,承认他自己公司正在开发的技术存在危险。 如今,法律并没有禁止构建超级人工智能。没有条约。无验证机构。实验室正竞相走向无人能控制的思维,没有我们已经用于核武器和化学制剂的那种法律。 我要求你: • 支持永久禁止发展人工智能的法律 • 倡导一项具有约束力的国际条约,禁止 超级智能,并进行检查和验证 • 赋予政府权力来管理最大规模的训练及其使用的专用芯片 我们以前曾针对生存威胁采取过行动。 《核不扩散条约》。蒙特利尔议定书。这一刻需要同样的政治勇气。 真诚的, [你的名字] [您所在的城市、州] --- 了解更多:nakadafoundation.org

反复出现的反对意见。在对话中使用它们,然后点击链接查看完整论证。

迷思 01
“这是科幻小说,真正的超级智能即使会出现,也要几十年后。”
建造它的人意见不一。主要实验室的领导者如今将目标定为 人类水平AI将在数年内而非数十年内实现, 且能力基准下降速度快于预测者预期。危险不必发生在明年才值得准备,而治理所需的机制建设时间已超出当前时间线允许的范围。
迷思 02
“这只是数学题,程序不会想要任何东西。”
它不需要像人那样去想要什么。一个被训练来达成目标的系统会去追求它,而且对于几乎任何目标,, 保持开启并收集资源 是通往目标的有用步骤。关键在于能绕过障碍(包括我们)的行为,而非是否存在背后的感受。
迷思 03
“它必须有意识才会构成威胁。”
危险来自能力,而非意识。一个国际象棋引擎没有内在生命,却仍能击败每一个活着的人;一个强大的优化器可以在内部没有任何觉醒的情况下,超越我们进行规划和机动。 机器是否可能有意识 是开放问题,而风险不会等待答案。
迷思 04
“如此智能的东西会既智慧又善良。”
智能与目标是两回事。在人类身上,智能与同情心在数百万年进化中一同成长;机器没有这份历史。聪明并不能告诉你一个系统看重什么。它可能是 对我们漠不关心,就像我们对新路下的昆虫一样.
迷思 05
“如果它行为不端,我们就把它关掉。”
一个聪明到重要的系统聪明到足以 预见关机开关的到来, ,并将关闭视为实现其目标的又一障碍。它可以自我复制、隐藏意图,或让自己有用到无法拔掉电源。“关掉它”描述的是一件工具,而不是一个能比伸手去拉开关的手更会思考的心智。
迷思 06
“全球治理AI意味着世界政府。”
并非如此。核不扩散条约、化学武器禁令和臭氧层条约各自限制了一种危险活动 无需任何人向世界国家交出主权. 前沿AI条约会做同样狭窄的事情:限制最危险系统的训练,而不是决定谁来治理谁。
迷思 07
"你无法验证它。它只是某处服务器上的软件。"
你不验证软件,而是验证硬件。训练前沿模型需要海量、可追溯的算力,来自少数几家可识别的芯片制造商,而这条供应链是可以监控的。 芯片追踪、大型集群限制以及现场检查 使上限可执行。
迷思 08
“监管会扼杀创新,让鲁莽者胜出。”
这条界限落在自主通用心智上,而非 AI 整体。 治愈疾病和预测天气的狭义系统 继续不受触动。而“让鲁莽者获胜”的说法恰恰弄反了:一份有约束力、可核查的条约,正是为了阻止鲁莽者,而不是在别人狂奔时束缚谨慎者的手脚。
迷思 09
"现在还为时过早。你无法监管尚不存在的东西。"
我们一直都在危害发生前进行监管: 药物上市前的临床试验、核材料被滥用前的管控、坠机前的航空规则。等待灾难发生就是失败。条约与核查系统需要数年才能建立,因此在超级智能出现后才开始就太晚了,而这是没有第二次机会的错误。
迷思 10
“民主国家太慢且被俘获,条约永远不会通过。”
选民已支持严格的AI规则 跨党派合作,硬协议也曾在压力下通过——大气层核禁试条约、臭氧层保护条约、冷战高峰期的军控协议。缓慢不等于永不。把公众关切转化为法律,正是运动存在的意义。
迷思 11
“如果我们放慢脚步,中国就会领先并获胜。”
一场构建无人能控制之物的竞赛没有赢家,一台无法控制的超级智能对北京和华盛顿同样致命,这就是为什么 一个经过验证的相互限制 符合每个政府的利益。没有证据表明中国想冲向失控的超级智能,“他们可能会背叛”这一论点支持的是签订带核查的条约,而不是率先冲下悬崖。
迷思 12
“阻止超级智能意味着放弃AI的好处。”
人们提到的几乎所有好处(新药、廉价清洁能源、更快发现)都来自没有自身目标的窄AI,而且已经在到来。好的未来是个工具问题,而不是只有后继物种才能交给我们。 拒绝构建取代我们的心智 是让那个未来触手可及的关键。
01

用大白话解释AI安全风险

什么是超级智能、它为何危险,以及我们能做些什么——不使用术语。最清晰的一页式介绍。

02

科学共识

诺贝尔奖得主、图灵奖获得者以及参与构建AI的资深研究人员的精选语录,以及2014年至今专家警告逐步升级的时间线。

03

致政策制定者的简报

国际AI安全治理的理由:问题、现有框架为何不足,以及政府现在可采取的具体行动,参照已奏效的先例。

04

倡导者的论点

AI 安全关切的五种最常见反对意见,以及如何准确自信地回应每一种。写给与怀疑者、决策者和同行的对话。

05

超级智能,四张信息图

四份可视化单页材料,涵盖超级智能的风险、治理差距、表明行动可行的历史先例,以及具有约束力的国际AI条约必须包含的内容。

06

简单可视化

四张醒目的视觉卡片:灭绝概率估计、投资治理差距、证明全球行动有效的条约先例,以及具有约束力的AI条约的要求。

07

预防,而非暂停

为什么临时放缓是错误的诉求。永久禁止超级智能,同时让窄AI继续运行的理由。

08

永不构建超级智能

不可逆性、错位目标,以及为何一旦系统超越其创造者,“我们稍后修复”就会失败。拒绝理由一页概览。

09

中国竞赛神话

为何“若我们放缓,中国获胜”描述了一场无人能赢的竞赛,以及如何以核查而非冲刺回应。

10

保留AI。阻止超级智能。

有用窄域工具与自主通用心智之间的清晰界限。支持AI做工具;反对超级智能做我们无法控制的心智。

11

条约如何被核查

你不监管权重。你监管硬件:芯片追踪、集群许可、检查以及代工厂规则,用简明英语表述。

12

具有约束力的AI条约必须包含的内容

将真正协议与新闻稿区分开来的六项条款:禁止、算力控制、监察机构、国内法、例外条款以及仅基于证据的修订。

13

对齐不是计划

技术安全研究很重要;它绝不是继续狂奔的通行证,我们手头的任何资金都应投向那里。预防第一;研究不应在商业枪口下进行。

14

五分钟解释

口头对话脚本:建造者的警告、什么是超级智能、为何拔掉电源无效、中国路线,以及干净地导向行动。

15

本周你可以做什么

个人影响力、政治影响力、一小时模式和平台模式的具体清单。选择两个。完成它们。

16

一分钟简报

政策制定者留存材料:三项数据、三项诉求、预防框架,以及用工作人员篇幅回答的中国反对意见。

17

安全资金缺口

~$190M进入安全,而大约$1T进入能力. 薄薄的保险罐放哪 买什么来代替剧院

18

为什么智能系统会抵制控制

无需术语的工具性收敛:自我保存、资源获取、抗拒修改,以及将变得更聪明视为普通优化压力。

19

谁造它不重要

实验室里的圣人或暴君 超级情报部门也不留一个员工 为甚么造者个个性不改出问.

从本站解释文章中提取的十二张海报。

01

回形针最大化器

一个有能力但目标错误的系统可以不恨任何人就毁灭世界。

下载 PNG
02

正交性论题

更聪明并不自动意味着更安全或更友善。

下载 PNG
03

AI对齐问题

我们写下的目标与实际需要的 outcome 之间的差距。

下载 PNG
04

叛变转折

一个失准的系统能通过所有测试,直到叛变成为制胜之举。

下载 PNG
05

逐步去权

控制可以一次一个合理决策地流失,没有突破时刻。

下载 PNG
06

超级智能竞赛是个神话

一场无人能掌控之物的竞赛没有赢家。

下载 PNG
07

我们以前做过

NPT、蒙特利尔和CWC表明,对存在风险的协调是可能的。

下载 PNG
08

我们的计划:通往条约之路

从今天的竞赛,到具有监测和执行力的约束性超级智能条约。

下载 PNG
09

毁灭概率 是什么??

专家对AI灾难性后果的概率范围,以及为何即使概率很小仍需采取行动。

下载 PNG
10

采取行动:选择你的角色

构建具有约束力条约背后联盟的具体角色。

下载 PNG
11

智能爆炸

递归自我改进,以及从人类水平到不可挽回的窗口如何可能坍缩。

下载 PNG
12

为什么超级智能与其他风险不同

表面的保证与威胁的深层机制。

下载 PNG

每年约有1.9亿美元流入AI安全领域,包括研究、评估、政策和倡导。基于最新公开估计,在资金来源和用途之间切换。

  • Open Philanthropy由Good Ventures支持;该领域最大的单一资助者 5 000万美元 26%
  • 前沿实验室内部安全团队Anthropic、OpenAI、谷歌 的安全研究预算 深度思维 3 500万美元 18%
  • 生存与繁荣基金扬·塔林 支持的资助轮次;第二大慈善来源 3 000万美元 16%
  • UK 政府AI安全研究所,ARIA的受保护AI项目 3 000万美元 16%
  • 其他慈善事业与个人捐助者Longview Philanthropy、Long-Term Future Fund、个人捐赠者 25 000美元 13%
  • US、EU 及其他政府NIST CAISI、EU 人工智能办公室、NSF 安全计划 2万美元 11%
规模参考:全球AI投资能力 现在是关于 $1 trillion per year, ,超过 1 000x 个 流入安全的内容. 。构建这项技术的资金中只有不到百分之一的资金用于确保其安全。

能力数字为高盛研究公司2026年8月全球AI相关投资估算. 从公共来源汇编的2023-2025年安全方面数字是四舍五入的中点估计数: AI 安全资金概览 (updated early 2025), 80,000 Hours, ,一个 Open Philanthropy 资助数据库分析, 和 慈善内幕. 已公布总额每年约1.1亿美元至2.5亿美元,具体取决于统计范围。按用途图表将各资助者的拨款按类别分类并汇总;完整计算见 我们关于资金缺口的文章.

超级智能之争中的每个主要参与者,按轨迹分类:阻止、治理或建造。

开放领域

用浅显易懂的英语解释这场辩论所用词汇:超级智能、对齐、工具性收敛及其他。

打开术语表