人类绝不可
构建超级智能

2025年,有上百名科学家和公众人物将其名字发表简短的公开声明. 请求跳过谨慎的缩放并跳过任何带有恢复日期的暂停 。 它呼吁禁止超级情报,直到广泛的科学共识,即它能够安全和有力地得到公众的接受。 该呼吁是一份简短的声明,由一长串的研究人员和公共人物名单所签名.

人类应该拒绝在少数实验室中培训一个特殊的东西:一种超越我们每个领域的一般机器智能,然后改进自己,超越我们能够跟上的地步。 不减速,不小心地建设,不建设和希望:拒绝.

人们听到后会以为这源于对技术的恐惧。它来自相反的地方。狭窄、可控的 AI 是我们物种创造的最好事物之一，我希望有更多这样的 AI。这条线越过普通机器智能，止步于一场赌博：这是唯一一场失败意味着已无人可言失败的赌博。

直白陈述的界限

有两种东西都被称为“AI”，但本质不同。第一种是狭义的：一个被训练做好某一类任务、别的什么都不做的系统。它读取扫描、折叠蛋白质、预测风暴。它没有目标，不做计划，你让它关机它就关机。第二种是前沿实验室说他们正在构建的，一个旨在匹配然后超越人类在所有方面的推理、最终能自主行动的通用智能体。 人工超级智能 是那第二条道路的远端：一个对我们而言大致如同我们对黑猩猩的心智。

这条线贯穿于这两个方面:建造工具,并建造出许多工具。 不要建立超越制造者的自主一般思维:一旦运行,你无法可靠地控制、纠正或关闭的系统。

没有任何有效的方法能比我们指出我们真正想要的更聪明:不是工作方法,也不是片面方法,甚至没有能够活下来的假想图能够与一个能够模拟测试的系统进行接触。 诚实的阅读是永远的。

与暂停的区别比听起来更重要。 暂停中包含一个恢复日期。 你停下来,你等待,你再次按期开始。 基金会的要求没有恢复日期。 研究控制问题的时间最长的人已经提出 结构原因不能解决.

有三件事让它不同于其他所有风险

我们确实一直在承担真实风险。我们造了原子弹、裂变原子用于发电、拼接基因、释放出在学会控制前就杀人的技术。超级智能打破了我们通常用来应对自身发明的方法。三种特性加在一起，把它归入完全不同的类别。

没有第二次尝试

人类处理新危险的传统方式一直是尝试、观察失败、然后修复。飞机坠毁，我们学会制造更安全的飞机。反应堆熔毁，我们重写规则。这种失误、纠正与更好设计的循环，是我们所有安全记录的动力。它仅在失败留下幸存者进行纠正时才有效。逃脱人类控制的超级智能，正是那个会清除本可修复它的人的失败。你得不到来之不易的教训和第二稿。第一次严重失误也是最后一次。你所听过的每一个安全故事，都是幸存者写下的，这也是我们信任每项法规的隐秘事实。

它会回推

一座桥不会想要什么。一种病原体会传播但不会规划。一个有能力的一般智能则不同，因为对于你可能赋予它的几乎任何目标，保持开机并收集资源都是有用的子步骤，研究者把这种模式称为 工具性收敛. 。一个足够聪明能建模世界的系统，会建模其操作者可以关闭它。它会正确地将此视为对其被要求完成的任务的障碍。它不需要仇恨我们就能绕过我们，就像筑路队不需要仇恨新公路下的蚁丘。常见的安慰（“我们只要拔掉电源”）是幻想。你描述的拔掉电源对象，是专门为了比你更擅长预测和阻止这一行为而建造的。

你无法掌控自己建造的、比你更擅长掌控的思维。让它有价值的东西，正是让它无法被控制的东西。

构建它的人无法收集

撇开我们其他人 想象一下只有谁资助这件事 他最冷酷最自私 即使对他来说,赌注也破了。 权力、所有权和指挥权都是在人所共通的世界中体现的。 超级智能滑动的人类控制 恰恰是终结人类世界的事件 股权还在保险箱里,指挥系统还在纸上. 根本没有人可以服从他们。 这就是为什么我不接受把灾难锁定在一边的赌注。 大奖和灾难是同一事件。 那棵树上没有树枝,人类在那里建立不可控制的超级情报,然后享受其结果。

我们从来不需要它

构建它的说辞建立在诱导与切换之上：列举AI可能带来的每一件好事，然后暗示只有超人般的通用智能体才是实现它们的唯一途径。其中几乎所有内容已通过狭义系统实现，这些系统没有自己的意志。一个名为AlphaFold的模型预测了几乎所有已知蛋白质的结构，并因此在2024年分享诺贝尔奖。狭义模型阅读乳腺X光片的水平达到专家级别，预测天气的速度快于物理模拟，并提出数十万种新电池材料。癌症、清洁能源、终结每天十万人因衰老疾病死亡：这些是艰巨而具体的问题，而艰巨而具体的问题会屈服于由掌握瞄准权的人所瞄准的强大工具。

这些不需要一个后继物种。 这个 美好的未来 这是一个工具问题, 我们不断被卖出 一个神来解决它。 拒绝上帝使我们几乎一无所有 拯救了我们的一切

贯穿整个竞赛的反对意见

好吧，他们说，但如果我们不做，不那么谨慎的某人就会做。一个竞争实验室，一个竞争国家。所以我们还不如成为领先者。

这是关于谁持有比赛。 它承认了整个危险,然后竞相走向它 不管怎么说,理由是别人可能会先比赛。 在任何其他不可想象的武器上运用同样的逻辑,你听到它是多么空洞:我们应该在开放的地方试验生物武器,因为敌人可能这样做。 对"某人可能叛变"的反应从未是"让我们全部叛变". 它一直写着一个规则 每个人都能看到被保存。

这里的规则比人们以为的更可执行。训练一个前沿系统需要巨大且可追踪的算力，而提供这些算力的先进芯片来自少数可识别的制造商。这是一条你可以监视、计数和限制的供应链，因此严肃的治理提案现在都围绕算力阈值、硬件追踪和检查展开。这是赛跑的出口，也是 我们的计划: 具有核查和后果的条约,使强制违约受到约束。 种族是协调的失败,而不是自然法则,协调的失败是人类偶尔修补的东西. 这个 让人感到不可避免的动态 值得他们自己理解

我们之前守住过防线

人类只是建造它能建造的东西的想法，是我们讲述的故事，而不是我们所做事情的记录。记录更令人鼓舞。

这些都不是物理定律;它们都是决策,因为错误的代价被判定太高,无法冒险。 这些制度没有一个是完美无缺的,也没有一个试图阻止整个科学。 每一个都做了更窄更难的事:它围绕一个具体、不可接受的事情画出一条线,并把它不完美、不均匀地保存下来,但足够好,最坏的情况从未到来。 1975年,Asilomar的一屋子里全是生物学家,研究了他们自己的重组-DNA工作,决定它比他们对风险的理解要快,并自愿停止其中的一部分,直到保障措施存在为止。 最靠近边境的人就是那些要求克制的人。 记录显示的并不是对放松的认可。 它提醒人们 已实际绘制行, 而我们之前已经把它们引向了危险 远比这次要抽象得多

基金会的创始承诺

人类决不能建立超级智能。 超级智能无法控制.

建立现代AI的研究人员公开宣称,人类灭绝的危险应当与流行病和核战争相提并论。 杰弗里·欣顿(杰弗里·辛顿), 和任何活着的人一样, 愿意发出呼吁, 将AI造成人类灭绝的几率 推到本世纪的10%到20%。 2025年,数百名科学家和公众人物签署声明,呼吁彻底禁止超级情报,直到达成广泛的科学共识,即可以安全和有力地进行公众购买。 越来越多的理解技术的人说同样的话。 基金会唯一不寻常的事情是它从行业外说,没有工资取决于答案.

10%到20%的机会 结束人类的故事 不是一个风险 你接受一个更快的产品循环。 你不会登上有这种可能性的飞机 你不会让你的孩子。 我们被要求和大家一起登上它。 对这一提议正确的答案是否定的。 这是我们在公开场合所画的一行,并坚持我们对待其他人的方式。

造出工具,治疗疾病,把握狭义AI已经交给我们的美好未来. 超越和取代我们的自主思想就是线条。 别动