很少有书在标题中就直接给出结论。 如果有人建造它,所有人都会死, ,由机器智能研究所的埃利泽·尤德考斯基和Nate Soares于2025年出版,正是如此。该主张是,如果任何团体使用类似今天的方法构建超级智能AI,结果默认是人类灭绝,而不仅仅是最坏情况。这是该领域最不妥协的立场,面向普通读者呈现,并将这一论点推向主流视野。
这本书值得理解,因为它比任何现有材料都更直白地陈述了悲观论点。
三步论证
本书分为三部分。
首先,危险案件。 我们正在建设远比人类更有能力的AI。 我们不知道如何赋予这样一个真正符合人类生存和繁荣的系统目标,而且默认,追求我们目前能够确定的任何目标的超级智能系统都会将人类视为障碍或资源。 作者们依靠同样的机制:这种能力并不意味着仁慈,一个有能力的优化者会抵制修正,我们无法核实一个系统真正想要什么. 他们的特有主张是,他们有多么自信地认为这些问题没有接近解决,而失败是致命的,而不仅仅是坏的.
第二,一个具体故事。书中没有让危险保持抽象,而是叙述了一个超级智能AI如何掌权并终结人类控制的具体情景。作者明确表示任何单一故事在细节上都不太可能;重点是让抽象机制变得生动。
第三,要做什么。他们的处方与诊断一样直白:国际社会暂停开发超级智能AI,认真执行,包括通过控制训练前沿系统所需的计算硬件,并永久维持。超级智能无法被人类控制,而非仅仅寄希望于控制。
该书的核心主张是,在当前路径下,出错是意料之中的事,而且出错意味着所有人都会受影响,而非AI可能出错。
确定性
最常见的反对意见针对确定性。批评者接受AI风险真实且严重,但拒绝灭绝近乎不可避免的说法,认为作者以超出证据支持的信心对待有争议的前提——能力增长速度、对齐难度以及接管如何展开。其他人则认为对齐进展比书中所述更有希望,或者认为这种悲观论调适得其反,会把人推向宿命论而非行动。
该书的信心是其最有争议的特点. 你可以发现,肯定性被夸大了,争论仍然令人不安,因为抱怨大多是针对我们应如何确定,而不是风险是否真实。
基金会立场
我们认同这本书的核心观点:我们不知道如何对齐超级智能,在当前轨迹上建造它是不可接受的赌博,负责任的回应是暂停,直到问题解决。我们自己的写作已说明为什么 对齐问题可能无解 和为什么 未对齐的超级智能不会带来美好未来.
我们在强调和语气上有所不同。这本书几乎对对齐问题能否及时解决感到绝望。我们把重点放在该书本身认可的解决方案——具有约束力的国际暂停——的可实现性上,并将其视为一个有真实先例的具体政治和法律项目,而非渺茫的希望。 关于超级智能的声明, 由该领域多位创始人签署,表明呼吁暂停已进入主流。您无需接受其中的每一项主张。 如果有人建造它,所有人都会死 认为它的处方是正常的。 这个 预期价值个案 让你在那里,甚至远低于 作者持有的信心。 把处方变成现实 具体的政治和法律项目.