当人们说“AI风险”时，他们常混淆三种不同事物：当下发生的普通危害、文明仍存的大规模灾难，以及终结人类故事或永久剥夺人类控制的结果。本页讨论第三类：来自人工超级智能的存在风险。你无需研究背景。你需要这张地图。

存在性风险不只是“非常糟糕”

灾难性风险可能杀死数百万人，却仍留下人类未来。存在性风险则意味着灭绝，或永久彻底丧失权力，以致无法恢复有意义的人类控制。品牌有时故意模糊这些层次。请将它们区分开来。仅针对聊天机器人和偏见的政策，不会触及最顶层风险。

为什么AI不同

小行星和火山没有制定战略. 被改造的病原体是可怕的,仍然大多是人类手中的工具. 高级AI是第一种可以成为战略角色的技术:设定并追求目标,以机器速度运行,跨网络规模,在极限中提高自身. 这种组合是超级智能排成一行的原因。

存在性结果如何到来

现实中路径会重叠。命名它们可防止对话坍缩成一部电影。

失控。 一个系统追求我们未完全指定的目标并抵制纠正。 竞赛动态。 竞争实验室和国家会削减安全投入。 滥用。 人类 wield 极端能力对付其他人类。 逐步去权。 机构保留其形式，而决策迁移到无人能推翻的系统中。 扩散。 危险的通用系统会扩散到任何单一关闭开关之外。

用通俗语言解释技术理念

正交性: 智能与目标可以分离；聪明并不意味着友善。 工具性收敛: ：许多最终目标都共享资源和自我保存等子目标。 对齐: ：让系统追求我们真正意图的目标。 欺骗性对齐: ：在训练或评估时看起来安全，然后在可以逃脱时改变。这些都不需要机器的“仇恨”。

概率，但不要虚假精确

毁灭概率. 是个人对人工智能驱动的存在灾难概率的非正式简写。专家们意见分歧，有时差距很大。许多最接近这项工作的人认为，数十年内发生灾难的概率非同小可。哪怕只有很小的概率失去一切，预期损失依然巨大。“等我们确定了再说”对不可逆的尾部风险来说是错误的规则。

目前的伤害和适应

“时间线不确定；我们应聚焦当下危害。” 当前危害重要。它们不是忽视会终结当下存在的尾部风险的理由。两者皆可为真：治理近期滥用并阻断通往不可控超级智能的路径。

"我们总能适应。" 适应需要时间、反馈和幸存者。超级智能的失效模式可能同时剥夺这三者。

"这是反科技。" 基金会是亲狭隘的AI,保持工具式:医学,科学,物流. 这条线是主权一般思想.

"总有人会控制它。" 没有人能以持久的人类指挥方式控制超级智能，使其在运行时服从比操作者更聪明的系统。对是否建造的决策控制仍有可能，这正是具有约束力的禁令重要的原因。

什么能降低风险（什么不能）

有帮助的做法：针对超级智能的前沿训练约束、算力治理、独立评估、核查机构、政治施压，以及清晰的公众语言。原地打转的做法：包装成已解决对齐的礼仪训练、没有外部约束力的自愿承诺，以及没有数值阈值的峰会合影。

黑暗地图后的能动性

这个话题是黑暗的 因为赌注是黑暗的。 恐惧无道回放. 路径是具体的: 对待超级情报 就像其他被禁止的高风险阶层, 在能力到达之前制定可检查的规则, 保持狭义的人工智能为人们服务。 我们可以保留强大的工具;我们不应该 建立我们无法推翻的思想.