超级智能竞赛的赢家会得到什么？在满屋建造AI的人中间，谈话会跳过这个问题。反正总有人会造，不如是我们。风险、时间线、如何控制比造物者更聪明的系统：所有这些都被当成天气闲聊一带而过。我们停不下来。有场竞赛。
几乎没有人争论种族。 被看成是自然的事实, 每一个鲁莽的选择 下游开始看起来有责任。 天气是选择错误的模式 少数公司是故意的
竞赛的意义
竞赛是一场有奖品的角逐，奖品正是参赛的理由。1960年代的太空竞赛带来月球上的旗帜及其带来的声望。核军备竞赛带来武器：造出炸弹的国家拥有炸弹、瞄准它，并决定是否使用。在每种情况下，赢家最终都握有某种能力——他们拥有并掌控的东西。
现在问问，超级智能竞赛的赢家最后握有什么。危险的前提正是：一个比我们聪明得多的系统，不会是任何人手中的工具。人工超级智能是一个追求目标的主体。如果那些目标与我们的目标哪怕稍有偏差（我们 尚未解决），它会追求这些目标，无论其创造者是否赞同。“获胜”的实验室并不会拥有超级智能。它只会与一个自己无法掌控的超级智能共处一颗星球。
一场竞赛只有当终点是奖品时才值得去赢。而这里的终点是一个无人证明能控制的系统。先到达并不等于掌握权力，而是第一个要向它负责。
无人能掌控的终点线不是奖品。率先到达只是比其他人领先一步的失败。
你一直听到的差距
剥去理论外衣，竞赛叙事只剩下一个具体主张：中国已接近，中国不会停，因此我们也不能停。这个主张终结每一次会议，却远多于被审视的次数。
从事实部分开始 美国和中国实验室之间有真正的竞争,在芯片和计算方面也有真正的工业竞争. 美国对最先进的AI芯片的出口管制之所以存在,正是因为这一竞争是真实的。 这个 那些控制的政治 和 合作真正发生的地方 比种族故事更重要
什么加速主义者走私进来:"无论我们做什么,中国都会建设出无法控制的超级情报",这描述了中国没有说过什么或者做过什么. 这是一个预测,一个方便的预测,因为它允许演讲者做他已经想做的事。 中国于2023年签署了"关于AI风险的布莱切利宣言". 它公布了自己的治理建议。 其政府与美国坐下来就AI进行直接会谈. 一个国家冲向一个可能杀死自己领导人的系统,这仅仅是一种奇怪的假设,没有证据表明其领导人比我们的领导人更想取得这种结果。 "They'll do it anyway" 是关于我们自己的同意 而不是他们的意图
如果一个失调的超级智能对建造者而言是一场灾难，那么中国与我们有着完全相同的理由不去建造它。谁都不是赢家。
竞赛选择最不谨慎者
姑且承认竞争如竞赛者所说那般激烈。顺着逻辑走下去。在竞赛中，谁行动最快谁赢，而在AI前沿行动最快的方式，就是在那些会拖慢你的事物上少花时间：评估、红队测试、监督，以及耐心检查系统是否在做你认为它在做的事。
赛事胜利的结构 给那些在安全上 割出最角落的人 获胜者是最不谨慎的实验室,而不是最有能力的实验室. "我们必须赢得比赛"和"我们必须安全地建造这个"拉出相反的方向,而比赛的难度越高,他们拉得越多. 竞争不约束危险. 它制造它。 一个实验室冲刺的世界 是一个最优化的世界, 拥有巨大的能量和巨大的资本, 以确切的事物 让每个人都被杀害。
即使在竞赛自身的逻辑中，“我们必须获胜”也会反噬自身。如果获胜需要砍掉让超级智能可控的那些环节，那么获胜就是你失败的方式。
谁从这个故事中获益
如果竞赛框架如此薄弱，为什么它无处不在？因为它有用，只是对我们其他人无用。
对于一个前沿实验室来说,"有一个种族,我们必须赢得它"是接近完美的. 它告诉投资者 支出是土地掠夺 某事巨大的。 它告诉监管者,规则只会将未来交给更糟糕的行为者. 而静静的部分:它让实验室自己安全受损的工程师们相信赛车是负责任的选择,因为另一种选择是让鲁莽者取胜. 它把一个决定(继续建造你尚不能控制的东西)转变为一个必须,让任何人,尤其是所有制造它的人都无法摆脱。
点明这一障眼法。竞赛听起来像是外部强加给实验室的条件。它其实是少数几家公司以及本可约束它们的政府做出的选择：继续推进。埃隆·马斯克曾称AI为恶魔，随后 建了一个实验室来更快地召唤它, ，这告诉你“竞赛”是一种有人选择的策略，而非任何人都必须服从的物理定律。当策略不再合理时就可以放弃。当奖品变成一个无人能掌控的系统时，这个策略就已经不再合理。
从未被考虑的选项
比赛的设定悄悄地从视野中取出一扇门. 它呈现出两个:种族,或单方面站倒,让鲁莽者继承未来. 如此说来,只有傻瓜挑出第二道门来,辩才取胜,只留下了第三道门去.
第三扇门是真正的对手之前用过的。美国和苏联在各个意义上都是对手，把能终结世界的武器瞄准对方的城市。他们仍然签署并核查军备控制协议，因为双方都能看到，无限制的竞赛会让双方都比一个平等约束双方的规则更糟。不信任是达成协议的原因，而不是障碍。
超级智能具有使此类协议合理的特征：没有哪个大国会从无人能控制的系统获益，因此没有哪个大国真正有兴趣成为第一个构建它的国家。这种共同利益是条约立足的基础：对超级智能发展实施具有约束力、可验证的停止。超级智能无法控制. 。永久拒绝将 超级智能 作为产品类别。我们已勾勒出该文书可能的样子，从示范条约 到 更广泛的计划 属于它。 核查是很难的。 对核武器来说也很难,而且无论如何,它都是建造起来的,因为其他选择对在座的每个人都是不可接受的。
“要么竞赛，要么投降”是个虚假的选择。这个框架的前提是你永远注意不到它遗漏的那扇门。
拒绝竞赛
少数实验室正在选择开发一种技术 他们公开承认自己不知道如何控制, 他们通过指向一个竞争对手来证明它的合理性, 他可能出于同样糟糕的原因做出同样的鲁莽选择。 每方莽所出为相取为相取为相取为相取为相取为相取为相取为相取为相取为相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相取相相取相取相取相取相取相取相取相取相取相取相取相取相取相取相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相
这一切并不要求相信竞争是虚构的，或地缘政治是温和的。它只要求注意到：一场终点没有奖品的竞赛，不值得用整个物种去输；而告诉你这场竞赛不可避免的人，几乎总是它最终的受益者。竞赛只是一个故事。一个好故事，对整个行业很方便。故事正是你可以停止相信的那类东西。