这是一种不舒服的练习,将灾难排在首位。 每一个这些都可以在规模上杀人,使得"灾难"一词感觉很小,而把它们按顺序排列,可以听起来像一个声称下层的人不重要的说法. 核战争和人为的流行病是我们可能发生的最坏情况之一,努力防止它们的人正在做一些最重要的工作。

若诚实排序，超级智能位居首位，并非因为其他风险微不足道，而是因为它是三者中唯一能自我改进、能抵御我们一切反制措施、且不容我们第二次尝试的风险。

但注意力和资金是有限的，世界不会把它们均匀分配给每一种威胁。总有人决定什么能获得条约、机构、预算项目或一场运动。如果这些决定要反映真实危险，而不是我们碰巧最容易想象的危险，那么排序就必须进行，而且要公开进行。那么：在本世纪有可能终结人类的技术中，哪一个最大？答案是超级智能，而且差距并不小。

"最伟大"必须意味着什么

风险不只看最坏情况有多糟。一颗有万亿分之一概率撞毁地球的陨石，风险仍小于有五成概率烧毁你房子的火灾，尽管火灾不会终结世界。要诚实比较这三者，必须同时考虑三个问题。

最坏的现实结果有多糟？在一段有意义的时间内，该结果发生的概率有多高？还有（最常被忽略的问题）一旦开始出错，我们还能阻止吗？最后一个问题承担了大部分工作，也正是三者分歧所在。

任何人对这一问题进行量化最谨慎的尝试是哲学家托比·奥德的 悬崖, ，发表于2020年，估算了每种风险在未来百年内引发存在性灾难（灭绝或无法恢复的崩溃）的概率。他的数字是一位多年研读文献、与各领域专家交流的人做出的审慎判断，而非测量结果；毕竟没人能测量从未发生过的事物。这些数字是我们目前最好的结构化猜测，其形态才是关键。

风险 Ord的估计
核战争灾难性几乎超乎想象，但（即使在全面交换和随后的核冬天中）大多数估计仍未达到字面意义上的人类灭绝。 ~千分之一
工程化流行病故意制造的、具有高致死性和传播性的病原体，远比任何自然疫情更难控制，而构建它的工具成本却持续下降。 ~三十分之一
未对齐的人工智能Ord统计中单一最大风险，超过其清单上所有自然与人为危害的总和。 ~十分之一

核战争——塑造了现代末日想象的危险——概率约为千分之一。工程化流行病——大多数人直到2020年才认真思考的威胁——概率高出三十多倍。而未对齐AI的概率又高出一个数量级，达到 那, 约十分之一，按 Ord 的估算，比清单上其他所有风险加起来还大。我们最缺乏讨论能力的风险，正是他数字中遥遥领先的那一个。

核武器：规模巨大，且已接近上限

从我们最了解的那一个开始。如今大约存在一万两千枚核弹头，其中大部分由美国和俄罗斯持有。一次全面交换会在最初几小时内杀死数亿人，并通过 Nature Food 估计随之而来的，将有数十亿人面临饥饿的风险。这是人类工程学有史以来最接近地狱的东西。

然而,与彻底结束人类的标准相违背的是,核战争有一个奇怪的财产:它基本上与它将获得的一样糟糕。 武库并没有向某种新的破坏性秩序发展;在1980年代,这些武库的弹头达到顶峰,接近7万枚,自那时起已经下降。 炸弹不会制造更多炸弹 学习或选择目标 每一次核灾难都要求一个人在某个地方作出决定或失败,而这一单一的事实正是80年的预防所依赖的。

由于危险依然存在,我们得以围绕它建立一个脚手架:《不扩散条约》、禁试制度、经视察核实的军备控制协定、热线、数十来之不易的关于如何不陷入毁灭的理论。 脚手架不完善. 它是一个危险,有一个天花板,目标是一个不移动的目标,由我们一生所建造的系统管理。 故以所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生所生之所生所生所生之所生之所生所生之所生所生所生所生所生之所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相

工程化流行病：更难界定，但仍属被动

再往上走一级。自然大流行已经够糟糕，1918年流感在一个不到今天三分之一大小的世界里杀死了约五千万人。但大自然在某种残酷意义上并不“努力”。工程病原体会努力。取麻疹的传播性和出血热的致死性，移除进化通常强加的权衡，你就得到一种没有自然上限的武器，而这种上限通常会限制武库。

这就是为什么Ord将工程化大流行病排在核战争之上三十多倍。《生物武器公约》自1975年以来就禁止这些武器，但与核对应物不同，它没有检查员也没有牙齿，而它试图遏制的生物学正逐年变得更便宜、更易获得。这里的灾难不需要超级大国和一千枚弹头。它可能只需要一个实验室和一个本不该拥有这种能力的人。

但抓住病原体仍然 是. 这是可怕的,无脑的,和被动的。 病毒没有计划 它没有预料到疫苗,也没有在我们完成疫苗之前一周重新设计疫苗。 它没有理由 关于人们猎取它 并采取步骤保持隐藏。 它沿着盲向梯度生物学传播, 与此相反, 我们可以给思维物种带来各种优势: 测序,疫苗,检疫, 公共卫生的积累机制。 我们可能会输掉比赛 但是,这是一场与某种东西竞争的比赛,而这种竞争是第二跑步和第一跑步之间的全部差距,而不是跑步,只是蔓延而已。

超级智能：那个会回头的

现在排在列表最顶端，也是它能排在那里的原因。一个失对齐的超级智能是完全不同的一种东西：它是一个主体，而不是更大的炸弹或更聪明的病原体。它有目标，或者行为表现得完全像有目标。它能对试图约束它的人建模，预测他们的行动，并采取行动击败他们。本页上的其他每一项在我们构建防御时都保持静止。而这一项会观察我们构建防御，并找出绕过它们的方法。

世界上最坚固的掩体也救不了你免于超级智能。

中田直人

将这三者与真正决定一场灾难是否会终结人类的那些问题相对照，画面清晰而严峻。

核 生物武器 超级智能
它能自我改进吗？? 不 不 是
它是否会对抗我们的对策？? 不 不 是
它能否智胜阻止它的人？? 不 不 是
一旦失控还能召回吗？? 部分 勉强 不
我们能从第一次失败中吸取教训吗？? 通常 有时 也许永远不会

请阅读最后一列。核武器与病原体是我们用智能对抗的静态危险。超级智能则是用智能对抗我们的危险。 我们, ，可能比我们拥有的更多，瞄准我们正试图坚守的确切点。它能绕过任何召回尝试自我复制，能比我们反应更快地自我改进，能在测试时表现完美而在测试之外表现不同。这是这份清单上唯一一个我们作为物种的最大优势——我们的智能——无法保证在场时更大的条目。

这最好理解为 完美风暴, ，不是单一可怕属性，而是我们通常依赖的每一道安全机制同时失效。概率是一比十，而不是一比一千。对于核武器和流行病，逃生通道依然敞开：我们可以召回、可以吸取教训、可以智胜威胁。而面对superintelligence，这些通道会一起关闭，而且关闭的原因正是另一侧的东西在故意关闭它们。

另外两种可能杀死我们大多数人。而这一种能完成任务，而且不同于前两者，它会在我们试图阻止时变得更强。

为什么排名应该改变你所做的事

超级智能不仅是三个风险中最大的，也是防御最薄弱的。

核武器有不扩散条约、维也纳的国际机构、核查制度和八十年的理论。 生物武器有一项公约,不管它多么无齿,还有一个全球公共卫生机构,这种流行病的所有失败都得到了扩大。 两者都有一个选区:在他们身上度过了职业生涯的人,围绕他们建立的机构,一个能理解文字的公众. 超级智能几乎没有这些。 没有有约束力的条约 没有检查人员 没有机构 没有公开的关于威胁的情况,直到最近,还只是一场运动。

这种组合（最大预期危害叠加在最小现有防御之上）是此处而非他处采取行动的最强理由，而非绝望的理由。当风险巨大且已被大量研究时，你增加的努力会与大量先前的努力竞争，仅能小幅移动指针。当风险巨大且几乎未被触及时，你增加的努力无需竞争，就能大幅移动指针。最大且最被忽视的风险，是给定工作量能产生最大善的地方，而按这两项衡量，超级智能正是该风险。

它进一步加剧。该领域直接从事这项工作的资金拮据，, 大约每年几亿美元, 少于世界在一天内用于增强AI威力的支出。即使这笔钱，大部分也用于如何对齐这些系统的技术研究，而这是一个尚未有人解决的问题，并且 可能无法及时解决. 。最被忽视的部分是政治工作：建立有约束力、可核查的国际协议，在最危险的系统能够被安全化之前阻止其建造。

核战争和瘟疫仍属于人类最该全力防止的那一类风险。对人工智能灾难的估计大约在十分之一到三分之一，也就是说最可能的单一结果仍是我们挺过去。

这一主张更窄，也更难回避。在可能终结我们的事物中，超级智能是根据我们掌握的最佳估算风险最大的，也是唯一会主动对抗我们生存尝试的，而且是我们治理得最少的。将这三个事实放在一起，就得到了本基金会存在的原因。我们不是要重复实验室已资助的技术安全研究。我们是 聚焦狭窄 关于被忽视的部分：国际法将最大的风险视为其本来面目，并在我们无法从中吸取教训的第一个错误之前而不是之后对其进行限制。

诚实地对灾难进行排序，优先级自然会显现。最大的风险也是防护最少、最不被理解的。