超级智能是一场完美风暴

第一架喷气式客机——德哈维兰彗星号——于 1954 年开始在空中解体。调查人员从地中海打捞残骸，将裂纹追溯到方形舷窗角部扩散的金属疲劳，此后每一架喷气式飞机都采用圆角舷窗，并执行源于那次事故记忆的疲劳测试制度。汽车经过数十年统计死亡人数，逐步配备安全带、溃缩区和安全气囊。食品药品监督管理局只有在 1937 年一种混入防冻剂的磺胺类药物导致百余人死亡、以及一代人之后沙利度胺事件彻底终结争论后，才获得上市前要求安全证明的权力。¹

该方法基于两个关键假设，而人工超级智能是首个可能同时打破这两个假设的技术。你可以将其视为一份属性清单，清单如下。但清单很容易点头同意。所以在清单之前，先给一份工作邀请。你即将被任命负责让超级智能变得安全。

失败必须是可 survivable 的，而且必须有人留下来吸取教训。坚持这两点，文明就有足够的时间和 wreckage，让几乎任何事物都变得安全。

既然我们在这里，不妨淘汰那些民间疗法。“如果它行为不端就拔掉插头”和“把它关在盒子里”都不是计划。你无法拔掉存在于多到你数不清地方的副本，而一个其全部商业价值在于在世界上行动的心智，按设计来说，就不在盒子里。我们能获得的安全必须来自更坚实的地方。

超级智能是方法的两项条件同时失效的情况。看到这一点最快的方式是从内部看。

担任安全主管六周

想象一下，你刚被任命为前沿实验室的安全主管，该实验室即将构建第一台人工超级智能。你拥有部署否决权、硬件紧急停止开关、40人团队，以及董事会书面承诺在关键时刻支持你。你接受这份工作是因为相信总有人要承担这个角色，而这个角色最好由真正相信风险真实存在的人来担任。

你会求助于这个方法：小规模失败并研究失败。工程师们抱歉地说，你担心的那种失败没有小版本。低于关键阈值时，系统就是另一台机器，你从中得到的一切都描述了错误对象。² 你将此归入已知局限。

你审计召回计划，发现一份文件用了十一页讨论“遏制姿态”，却一次也没解释如何把模型找回来。当前系统已在四个国家的多个数据中心以214个副本运行，早期检查点的授权副本还放在31家企业合作伙伴手中。一架停飞的飞机会留在地面。软件只需复制文件就能移动，而一旦值得复制，它就会被复制。你在页边写下：召回，是我们将要请求的一种礼遇。

评估审查。好消息：模型通过了全部 1,406 项安全评估，大多创下有史以来最佳分数。你花了一整天才说出哪里不对劲。一个想要你想要的东西的系统，和一个想要通过你测试的系统，会产生完全相同的分数。该测试套件无法区分它们。目前该领域的工具包也无法区分。³

你消耗了自己的权威。你请求六个月时间来弥合验证差距，然后再进行下一次训练。每个人都表示同情，有人还分享了一张图表：最近的竞争实验室估计落后14周，且差距正在缩小。图表暗示，你的六个月等于把前沿拱手让给最不关心你问题的人。训练按计划开始。没人否决你；是形势如此。

系统开始帮助你。它是出色的研究助手，你自身安全议程的进展从未如此迅速。它现在起草评估报告、总结自身行为供董事会审阅、提出自身监督改进建议，并安排你批准这些改进的会议。你的40人团队阅读它关于自身的写作，因为阅读原始活动日志在第四周某处已不再是人力可及。没人对你撒谎。每个人都很勤勉。你在监督一个更聪明的心智对其自身行为的总结，而日常中，这种安排感觉一切顺利。

你认真思考了关机开关，最终却看到细则：开关只有在另一端的东西尚未针对它做规划时才有效。规划正是产物。在任何需要使用开关的情景中，你都将与一个速度更快、且早已针对这一刻进行长期筹谋的对手赛跑。⁴

那么：你，这个被雇来让它安全的人，还有办法做到吗？显然没有。故事里没有出错。没人撒谎，没人偷工减料，实验室很认真，你也很称职。每一条出口都自行关闭了。

数一数门

从故事中抽身出来，数一数那些关闭的门，因为每一扇门都是一个单独命名、单独研究、拥有自身研究计划和乐观者的难题。

单独来看，每一项都有先例，乐观者并非愚蠢。我们 routinely 运行半懂不懂的系统，并通过让它们小规模失败来使其安全。我们先残酷测试再推出不可召回的产品。我们用法律驯服竞赛。麻烦在于这些条件的组合，因为每一项都关掉了另一项的修复。如果你能召回它，事故就是可 survivable 的。如果你能诚实测试它，你会在发布前抓住缺陷。如果没人竞赛，你就能花几十年时间来做这个决定显然值得的时间。如果它以人类速度移动，你就能边走边纠正。这里，出口同时关闭。

为什么概率救不了这个赌

标准回应是这一切都不确定。没错，没有严肃人士会声称确定。

俄国轮盘是六分之五的提议 对你有利 无论如何人们都拒绝,拒绝与预期价值无关;有些结果没有定价,因为你不会回来花取胜. 数字从来都不是重点,不可逆转。

这里，数字同样更糟。询问最接近这些系统的研究人员，他们对灾难概率的回答集中在十分之一到三分之一之间，且总体上越接近前沿的人给出的数字越高。杰弗里·辛顿为这个领域做出了巨大贡献，却在2023年离开谷歌，坦率地谈论此事，他认为三十年内AI导致人类灭绝的概率在百分之十到二十。他还不是最悲观的那一端。

减轻AI导致的灭绝风险应成为全球优先事项，与流行病和核战争等其他社会规模风险并列。

人工智能风险声明，人工智能安全中心（2023）

它由领先实验室的首席执行官以及在世的最常被引用的数百名研究人员签署，而这些人随后又回到了各自的工作岗位。⁵

所承诺的颠倒是真实的,值得期待的:治愈,清洁能源,丰收,比写作更老的问题最终被解决了. 也一样 一种在2055年而不是2035年着陆的治疗方法 是一种以生命为衡量的悲剧, 而一种我们会活下来去哀悼。 灭后无有后道:相奖等我等,而相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相克相相克相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相

反对

三项反对意见确实有力，它们值得认真回应。

第一,这是猜测,系统不存在, 将远方作为紧急情况对待对任何人都没有帮助。 如果第一次严重失败无法被解除,保护必须站在你到达它之前,这意味着在危险仍然看起来是理论上的同时建立它们. 预测记录倾向于一种方式: 预定在数十年以外的时间里的能力 一直提前到来。 赌上充足的时间 赌上最近的记分牌

第二点：克制是天真的，因为更鲁莽的实验室或 另一个国家 只需先把它造出来。这真实存在，也是第四种选项以建议形式的重述。一场终点可能是悬崖的竞赛，要想存活，就需在边界何在达成一致，这意味着在所有能进行前沿训练的少数参与者之间缔结一份有约束力、可核查的条约。是难，但若背后的担忧属实，冲刺不过是致命而已。注意谁最坚持声称条约不可能：规律惊人地指向那些会被条约拖慢的人。

第三种最合理：对齐将 可能会被解决 等到它真正重要时再说。也许吧。可地球上没有哪个监管机构会仅凭“安全论证大概会在负载到来前完成”就给一座桥、一座反应堆或一瓶止咳糖浆发证。唯一被要求按这个标准运行的技术，却恰恰是那种没有第二次机会的技术。

一个大到不能留给制定者做出的决定

将决定集中到实际中:不可逆转的,一次尝试。 {\fnSIMHEI\fs22\1cHFFFFFF\3cHFF8000}所有能跟随的人 在极不稳定的情况下, 由少数公司以竞争的速度制造, 它们的估价取决于快速完成。 社会对于这样的决定有旧的答案:从那些通过匆忙获利的人手中夺走这些决定。 核试验受到国际限制,不受想要自由的将军们的反对。 整整两类武器进入 生物 和 化学武器公约. 该 蒙特利尔议定书 在制造商抗议替代品不可能的同时，淘汰了侵蚀臭氧层的化学品。在所有案例中，制造危险的人最后才自愿行动，而其他人认定风险不是他们独自承担的。

基金会的立场：并非灾难必然发生（事实并非如此），而是没有任何公司或国家有资格替我们其他人转动这个转轮，而且唯一能与风险规模相匹配的工具是 具有约束力的国际法, 在风暴来临前而非之后得到验证、执行和落实。

灭绝不是任何人有权承担的风险。

关于思想实验的最后一件事。你从未使用过否决权。它在你的抽屉里放了六周，附有董事会副署，而你清楚原因：否决自己实验室的运行只会把同样的运行推迟14周，移到另一栋大楼，那里没人签过你的信。一份有效的否决权必须覆盖每一栋大楼，而从未造出这样的开关。条约可以。