毁灭概率不是正式论文中的技术术语。它在在线AI安全讨论中出现，作为大多数2020年前研究者根本不会给数字的概率估计的简写。愿意量化它（将AI灾难风险视为可估计的概率而非模糊暗示的可能性）是与AI开发最接近的人思考问题方式的重大转变之一。
估计从9%到50%以上不等,这取决于研究人员以及他们如何评价调整难度和治理速度。
毁灭概率中的“末日”故意未作具体定义。不同研究者用它指人类灭绝、人类自主权的永久丧失、权力永久集中于单一行为体，或其他某种文明灾难。这种不精确是公认的；该术语的意义在于迫使人们对风险进行明确的量化推理，而不是依赖“真实”或“推测”这类直觉。
估算的样子
这些研究者之间的范围差异显著。Hinton与Yudkowsky相差数十个百分点。Carlsmith的正式分解得出的是一个宽泛范围而非单一点估计，反映了每个中间步骤的真实不确定性。这些估计的共同点是它们都非微不足道——所有认真对待该问题并给出数字的安全导向研究者，没有低于约5%的。
在下方每个关键点上设定自己的观点，观察它们如何汇聚成一个整体估计。
为何存在广泛范围
毁灭概率作为一个数字，是若干不确定中间问题相乘的结果。AI能力将以多快速度推进？在超出我们已测试的能力水平上，对齐问题有多困难？给定能力水平的失调AI引发灾难性而非可控伤害的概率有多大？治理能在关键能力阈值到来前有效应对的概率有多大？?
不同研究者对这些问题持有不同的概率分布，而这些估计会相互叠加。一位认为对齐问题可解、能力进展相对缓慢且治理能及时跟上的研究者，其整体估计值会远低于在每个问题上持相反看法的研究者。如此宽泛的范围反映了每个因素的真实不确定性，而非通过更仔细审视同一证据就能解决的分歧。
期望值论证
对非零毁灭概率概率的常见回应是：“即使10%也低到不足以重构社会。”这一回应依赖的期望值推理缺陷，在其他风险情境中是不会被接受的。
任何一年发生能杀死数百万人的重大疫情的年概率估计低于1%，但全球仍在疫情 preparedness 上投入大量资源和政策关注。在US，一生中死于车祸的概率约为1%，而道路安全监管被视为完全正常的事。认为10%（甚至5%）的文明灾难概率不值得认真采取预防性投入的论点，并非对其他领域风险处理方式的一致应用。
预期值是概率倍数。 对于不可逆的和规模化的风险(如果从不良结果中无法恢复,不良结果抵消了所有未来价值),即使概率远低于10%,预防的预期价值仍然很大。 百分之一的输掉一切的机率是一个问题,其预期成本是一切的1%,从长期未来所包含的规模来看,这是一个巨大的数字,而不是1%的问题。
什么会降低毁灭概率
表达高毁灭概率估计的研究者，是在诊断最关键的工作应发生在哪里，而非听天由命。大多数研究者估计中能降低毁灭概率的因素已广为人知：已展示的进展包括 可解释性工具 能够验证前沿系统对齐；可扩展监督方法在超越人类专家的能力水平上依然有效；具有真正执行力的约束性国际治理框架；以及能力发展速度慢于对齐研究，以便在危险能力水平达到前确立安全。
基金会侧重于治理框架和调整研究,将其作为主要杠杆,而不是要么放弃风险,要么将特定QQ毁灭概率XQ估计数作为权威答案。 在QQ毁灭概率中的不确定性并不是等待更多信息的理由,不良结果达到了特定的能力阈值,而不是一个允许无限期地推迟防范的时间.