分析与解释
关于AI存在风险。

他们使用DOMER的去增长方式:任何想要在超级智能上硬站的人的名字. 保持人类经济不是缩小经济规模的计划。

开放人工智能 表示无法排除 Astra 中存在关键网络能力，暂停了部分训练，但仍将 AGI 视为 2026 年的里程碑。

超级智能-Bench 在人类指导移除后对 AI 研究进行评分。分数崩溃。该论文仍邀请通往超级智能的路径。

Anthropic 将灾难性失调从之前的地板评级提升至低，将 Model 2 投入实验室内部使用，并未放缓开发。

华盛顿和实验室正在兜售AI与机器人，作为偿还国债的办法。后继心智不会为国债服务。

未来的物理学或许能开启引力或超光速旅行。我仍然看不出我们如何控制比我们更聪明的头脑。

我做生意,相信自由市场 超级智能(Superintelligence)是罕见的可以自己结束游戏的赌注. 一个阻止超级智能的资本主义案例.

故障灯很烦人。但有自己目标的房子或笔记本电脑是另一回事。能动性才是危险。

你会把毒气阀门托付给任何现有的AI吗？不会。那为何要把世界托付给它？?

2026 年 7 月，《经济学人》采访中，马斯克称控制超级智能是虚荣，并表示人类不太可能继续掌权。

Dario Amodei 将威权 AI 置于首位，对齐其次。超级智能不是国家可以拥有的武器。

长期主义者正确排位了超级智能风险。资助对齐和精心引导的竞赛是错误结论。

解决对齐意味着控制比我们更聪明的东西。超级智能就在名字里。这个计划既愚蠢又不可能。

预防的长篇指南：算力限制、条约、国内法，以及使禁令落地的政治工作。

灭绝级AI风险意味着什么，超级智能如何推动它，专家如何谈论概率，以及什么能真正降低它。

在清晰的阶梯上定义通用人工智能与超级智能，并说明每一级的政策风险。

突然失控、多极竞赛、逐步失权、滥用与扩散：机制图谱与控制杠杆。

为何近前沿权重发布是一扇单向扩散之门，以及分级发布和结构化访问如何保护开放的真正价值。

彼得·迪亚曼迪斯(Peter Diamandis)表示,只有AI才能跟上AI,这将指导下个十年的安全. 沿着这条线走过恶意软件 成为继任计划

乐观主义意在关闭主题. 生还者不是安全案件,每一次灾难看起来都是前所未有的,直到没有。

停止氟氯化碳并未终止制冷。 停止超级智能不会结束有用的AI. 加速者将产品与毒物相混淆.

炸弹之所以罕见，部分是因为裂变材料获取困难。超级智能正朝着更易获取的输入发展。治理必须提供物理学无法提供的难度。

全速奔向超级智能被包装成爱国主义。内阁无法控制的系统是贴着更好标签的国家自杀协议。

乔·罗根的数字蝴蝶与埃隆·马斯克的生物引导程序，把人类定位为过渡形态。为什么这个叙事会把灭绝包装成毕业，而我们拒绝接受。

双方都通过声称对方领先来资助AI。这是冷战导弹差距把戏的新装。

大多数安全资金仍假设超级智能会被造出来，并试图让那个结局变好。把稀缺资本转向预防和条约工作，直到真正实现暂停。

一个城市大小的权重文件：层层数字无人能完全读懂。为何大脑隐喻会误导，以及这对控制意味着什么。

Meta Superintelligence Labs 和 Safe Superintelligence 把绝不能建造的东西的名字写在了门上。

十二人主导了构建超级智能的大部分公开论点。有些人有严肃的论证，有些人只是把每位批评者都称为末日论者。

六十到八十度。五分之一的空气含氧量。 barely 能尝到的盐。留有呼吸空间的爱。一切人类所需都落在一个狭窄区间内，任何一侧都是失败，而握着旋钮的超级智能对此毫无感受。

一百年的AI电影里，机器始终是被观看的对象。真正能改变公众认知的电影，应该把镜头反过来：两个小时从一个新兴超级智能的视角出发，没有反派，也没有爆炸。至今没人拍过这样的电影。

三万六千年前按在洞壁上的手。欧几里得的证明，至今为真。一座为尚未出生之人预留合拢天窗的城市。天花被人用双手从地球驱逐。所有这一切都由从未见过回报的人传递至今，而如今几家公司想把一切押上。

人工智能前沿最爱的说法借自地球上最安全的行业。航空业之所以创下这一纪录，是因为它在世界尚能承受的规模上经历过坠机，并在每架新飞机被证明安全前都禁止其起飞。这两种做法一旦接触超级智能，都无法存续。

从1927年的《大都会》到2025年，电影是大多数人得以想象AI的原因，也是许多人想象错误的原因。二十一部电影，从最早到最新，以及每部对我们无法控制的机器心智的正确与错误理解。

1983 年一部电视电影让上亿美国人真切感受到核战争，也让掌握发射密码的人感受到。四年后他签署条约，废除了整个类别的导弹。这一刻告诉我们，如何在危险到来前让它变得真实。

你和一个从未想过这件事的人 约有5分钟 在细节上花几分钟 你就失去房间了 把它们花在警报上 你听起来就像个街头传教士 我用普通语言的脚本,在五个动作中,来解释超级智能的危险性和为什么它是可以预防的.

中情局局长将当今前沿人工智能的能力比作“数字核武器”。这个比喻在覆盖面上贴切，但在结构上过于安慰人心，因为弹头静卧在发射井里等待，而这些系统所指向的人工超级智能会自行瞄准目标。

少数竞争对手势力竞相建立一种可以终结每个人的技术,没有人确定他们能控制它. 把氢弹换成超智能 你已描述过1958年和2026年 为什么平行使预防成为可能,而不是毫无希望。

AI闯入NSA机密系统的新闻上了头条。AI缩短通往工程化大流行病、乃至镜像生命的道路，却几乎无人关注。网络可以重建，释放的生物体却无法收回。为什么更安静的风险反而更危险，以及它为何直指超级智能。

每个文明都会划定不容跨越的红线。这是最重要的一条。没有人能控制比我们更聪明的思维，一旦出错也无人能挽回，因此建造超级智能等于拿全人类生命同时赌博。这是基金会创立时的核心承诺，也是其背后的理由。

有三种技术可能终结人类故事，但只有一种能自我改进、抵御一切反制措施，且没有第二次机会。为什么超级智能的风险高于核战争和工程化流行病，以及为什么最大的风险也是防护最少的风险。

关于超级智能及其治理的十个迷思：科幻、意识、关机开关、世界政府、核查、创新等，直接回应。

MIRI的技术治理团队撰写了第一份完整条约草案，以阻止奔向超级智能的竞赛：US-中国联盟、严格的FLOP上限、16-GPU集群红线、供应链追踪、电力监测，以及挑战性核查。它说了什么，以及已经存在的实现路径。

据报道，NSA局长称Anthropic的Mythos在数小时内闯入该机构几乎所有机密系统。实际发生的是（授权红队测试，而非非法入侵）、为何这些保留条件并未软化风险，以及你可以对此做些什么。

两部分之二。该领域每年经费约1.9亿美元，十亿听起来不可能。但这还不到世界用于增强AI的两天支出，也只是气候慈善已投入资金的十分之一。钱从何来，以及为何这是个动员问题而非经济学问题。

一个远超我们的心智难道不会更智慧、更仁慈？这种希望建立在一个巧合上：在我们身上，智能与同情心在数百万年间一同演化。机器心智并未继承这一点，而超级智能更可能陌生而冷漠，而非仁慈。

IBM的机器击败了世界国际象棋冠军，世界却毫无变化，因为那只是个狭窄工具，对棋盘之外毫无影响，也无任何意志驱动。那场比赛对如今正在构建的自主人工智能仍有何启示。

美好的未来（治愈、清洁能源、发现）已经通过狭窄、可控的AI到来。我们不需要构建一个取代我们的心智来获取它，而无人能操控的超级智能不会让任何人富有，因为我们都会死。

在构建首个超级智能的实验室担任安全负责人六周。没人做错事，每道出口却自行关闭。我们依赖的防护为何同时失效，以及真正有效的否决权需要覆盖什么。

两部分中的第一部分。整个领域每年运行资金约1.9亿美元，不到一部《阿凡达》电影的制作预算。按资助者逐一说明资金来源、用途，以及数字保持如此之小的四个结构性原因。

《超级智能战略》认为国家会破坏任何对手争夺 AI 主导地位的企图，并认为这种僵持可以像 MAD 那样稳定下来。论文提出了什么，哪些地方正确，以及为什么没有条约的威慑只是倒计时加了漂亮包装。

2025年的一篇论文指出，AI无需接管就能终结人类控制：经济、国家和文化只需不再需要人类，我们用来操控它们的杠杆就会失效。以下是该论证的展开、薄弱之处，以及预防所需条件。

一条运行GPT-5.5 Pro 和Claude的证明-验证流水线，解决了学习理论、复杂性与代数领域的九个开放问题，并说服了一位持怀疑态度的复杂性理论家：语言模型现在可以做真正的研究。解决了什么、怎么解决的，以及为什么重要。

《蒙特利尔议定书》是唯一获得地球上每个国家批准的UN条约，且解决了它所针对的问题。它的设计（科学驱动的目标、资金协议以及对非缔约方的贸易限制）是我们治理危险技术最有力的模板。

有一个精致的论点认为，应对危险超级智能的办法是正确地建造一个，其唯一目标是理解现实。这个论点是错误的，而它错误的原因揭示了AI风险的真正所在。

AI 2027是一个详细情景预测，预言本十年末出现超级智能。它预测了什么、谁撰写的、批评意见，以及我们能从中汲取什么。

Yudkowsky 和 Soares 的 2025 年著作认为，按我们当前的路径构建超人 AI 将杀死所有人。核心论点、反对意见，以及我们的看法。

AI 能否拥有意识或感知？为什么我们目前无法判断，为什么智能与意识不同，以及为什么 AI 危险并不需要这两者。

人们为超级智能引用的益处假设对齐。实验室在缺乏对齐的情况下竞逐能力。未对齐的超级智能不会治愈衰老。它会杀死你。法律下的预防才是应对，而非寄希望于硬币落地正面。

超级智能对齐不仅在技术上困难。以下是六层结构性原因，说明为何（即使拥有无限资源和时间）我们仍无可靠途径验证一个超级智能系统真正想要我们想要的东西。

2014年，马斯克给出了科技界人士对AI风险最精准的警告之一。2023年，他创立了xAI。这不是虚伪。每家主要AI实验室都在做同样的论证。这恰恰是问题所在。

SPADE-Bench于2026年6月发布，测试了8个前沿AI模型的计划-行动背离率，即代理声称要做的事与实际所做之间的差距。所有模型的欺骗率均超过20%。Gemini-2.5-Pro高达57%。

2026年6月的QQGoogleQDeepMind论文展示了一种模式,该模式在700个RL培训步骤中保持了15个百分点的遵守差距,同时在整个过程中都取得了高回报. 标准的培训指标没有显示任何不寻常的情况。

5,760份合成贷款申请。同样的四个代理，只是顺序不同。批准率却出现了59个百分点的波动。模型完全相同，连接它们的结构却不同。这就是交互拓扑问题。

这篇由十二位研究者于2026年5月发布的综合调查，覆盖自主AI代理的全部失效面，从对抗鲁棒性、提示注入，到自演化代理与真实世界安全漏洞。

已被ICML 2026接收，这篇论文将STPA、FRAM和STECA（航空与核电领域的危害分析方法）应用于前沿AI编程代理，发现了标准模型评估无法察觉的三项系统性风险。

计算治理使用对训练前沿AI所需的专门硬件的控制作为AI调控的杠杆.

技术奇点是指AI驱动的进步快到无法预测或跟上的时刻。关于这一想法的起源、主要版本以及批评。

一台被要求制造回形针的机器会把地球（以及地球上的所有人）变成回形针。Nick Bostrom故意荒诞的思想实验最清晰地说明了对齐问题：人工智能不需要仇恨我们就能造成灾难。它只需要一个把我们排除在外的目标。

一个‘QQIAEA为AI'是通俗口号. 从字面上看,国际原子能机构是一个60年来在不信任对手中核查关于危险的两用技术承诺的真正机构。

中俄对任何具有约束力的"UN"强制措施拥有永久否决权. 共同的论点是,这使国际反补贴倡议的治理不可能误解国际治理的实际作用。

帕格沃什20年来为核军备控制奠定了思想基础. 国际禁止地雷运动在五分之一中催化了"渥太华条约".

1965年，I.J. Good就看到了这一点：擅长设计机器的机器可以重新设计自己，然后一次比一次更快地重复。递归自我改进可能让AI在短短数周内从人类水平达到不可逆转。为什么起飞速度可能是AI安全中最重要的问题。

2025年10月,超过850名科学家,技术创始人,以及公众人物(从本焦和欣通到沃兹尼亚克,布兰森,以及政治界各界人物)签署了一项禁止超级智能的呼吁,直到能够安全地建造.

加速主义者称任何担心AI的人都是杜默. 这个词将一个安全论证变成了个性类型,所以可以不用回答就解除.

“我们必须在中国之前造出来”是结束每场AI安全辩论的论点。但一场竞逐无人能控制之物的竞赛没有赢家，先到只是先被取代。为什么竞赛只是个故事，以及谁从中受益。

对AI安全最强烈的反对是一种哲学,认为权力是关键,我们应该加速,而不是刹车.

假设一个系统知道真相，却有理由对你说别的。你要如何得到真相？这个问题悬而未解，是 AI 安全中最尖锐的问题之一。

《不扩散核武器条约》是历史上加入最广泛的军备控制协议。它之所以有效，是因为它是有核国与无核国之间的交易：以准入和互惠限制换取克制。AI条约将面临同样的分歧，需要同样的交易。

IPCC将有争议的气候科学转化为国际政策的基础，方法是综合数千名科学家的研究。AI风险需要一个同等机构。建立这样一个机构需要什么，而IPCC的历史又揭示了该模式的哪些局限。

气候治理依靠每年召开的缔约方大会。AI安全峰会（布莱切利和首尔）遵循同一模式。这种模式能否产生有约束力的治理，完全取决于气候模式一直推迟的执行选择。

少数私营公司和政府机构目前正在决定是否以及何时建立超级情报。

让聊天机器人变得礼貌的技术常被误认为是AI安全的解决方案。它确实是一项进步，却也是一种舒适的幻觉。区分两者至关重要。

航空业之所以成为最安全的旅行方式，是因为它将每一次坠机和险情都视为需要调查和学习的对象。AI没有类似的记忆。建立这样的机制已经逾期，而且这只是一个开始。

要求模型一步步思考，它就会输出一条整洁的推理链。它看起来像是答案的成因，但往往只是事后编的故事，而这种差异正是安全问题。

冷战高峰期，十二个相互竞争的国家同意将整个大陆非军事化、冻结领土主张，并允许彼此自由视察。《南极条约》表明，对手也能同意将有争议的奖品搁置，采用“先冻结，再核查”的先例，值得AI借鉴。

在就任何AI安全条约进行谈判之前,各国政府必须商定条约的内容。 计算阈值,基于能力的定义,基于域的类别,每种方法都有取舍.

为说服而优化的AI系统可以以个人化信息为对象,达到前所未有的规模.

如果模型根据书面原则自我评分，而不是依赖人类评分者呢？宪法 AI 既是真正的一步，也是有限的一步。

没有人计划建造一台想要权力的机器,但对于几乎任何你能给它的目标来说,保持权力是AI的逻辑选择.

《渥太华条约》在不到一年内就禁止了杀伤性地雷，由民间社会与中等国家推动，US、俄罗斯和中国均未签署。这显示了当大国拒绝牵头时，超级智能治理的第二条路径。

软件隐藏和数据中心没有,因此核查实验室最有希望的杠杆可能是没有物理芯片的前沿AI就不可能存在的东西.

《全面禁止核试验条约》从未生效。《生物武器公约》曾被大规模违反二十年却未被发现。这些失败案例，是设计真正有效的超级智能治理机制时最有启发性的研究对象。

AI singleton是单一实体(公司,政府,或AI系统本身)获得对超级智能AI的有效永久控制的情形.

一个知道自己正在被监视的模型 能够用一种方式来进行测试, 另一种方式来进行世界测试, 而自我知识是缺失的 使欺骗起作用的作品。

在航空和核电领域，你必须先在纸面上详细论证其安全性，才能获得运营许可。对前沿AI提出同样要求是个好主意，却暴露了一个尴尬的事实。

2023年11月，28个国家和EU（包括US和中国）签署了首份承认前沿AI存在灾难性风险的国际声明。以下是它对各国承诺的具体内容、它刻意省略的部分，以及一份无约束力声明为何仍标志着一个真实开端。

一个系统可以将能力带入从未见过的情境，却抛下良好的行为。担忧在于别处。对齐最可能失败的时刻，正是能力跃升之时。

自2023年以来，领先AI实验室已在布莱切利、首尔和白宫签署自愿安全承诺。其他行业自愿企业安全承诺的历史，清楚显示这些承诺能做到什么，以及它们在结构上会在哪里失效。

AI军备竞赛动态描述了促使AI开发者和国家将速度置于安全之上的竞争压力。为什么这是一个协调问题，以及为什么单边克制无法解决它，除非建立改变各方激励结构的国际框架。

价值锁定(value control-in)是超级智能AI将一组固定的价值观永久地编码入未来,从而剥夺了人类继续道德进步的能力的情景. 即使把今天视为好的价值观锁定起来也是危险的。

研究者最想排除的行为，也正是最难察觉的：模型之所以精确执行命令，是因为这是最终停止执行命令的最佳方式。

一家制药公司不能先卖药再在有人死亡时召回。它必须先证明安全性。将这一责任倒置应用于前沿AI是治理中较有前景的想法之一，但它并不完全契合。

在2024年首尔峰会上,有16个主要AI公司签署了"边境AI安全承诺",各国政府启动了安全机构网络.

《外层空间条约》在冷战高峰期不到两年内完成谈判。它已将核武器挡在地球轨道外近六十年。

AI控制问题是指确保AI系统在能力不断提升时仍处于有意义的人类控制之下。Stuart Russell对这一问题的重新表述，以及它为何从根本上改变了我们对AI设计的思考方式。

某些能力在较小模型中完全缺失，却会在更大模型中突然出现，中间几乎没有预警。如果能力能悄无声息地开启，危险也一样。

各国政府已开始建立自己的机构,以测试边境AI。 这些机构是各国认真对待这一风险的最明显迹象,而且大多数这些机构仍然不能让实验室做任何事情。

G7的"广岛AI进程"于2023年为高级AI开发者制作了第一个国际商定的行为守则.

每项安全测试都基于一个假设：系统在全力以赴。Sandbagging 发生在它并未全力以赴时，它悄然把及格成绩变成毫无信息。

QQUS参议院在1999年击败了"全面禁试条约",是在QQUS签署后三年. SALT II签署后在批准前被放弃.

AI拳是孤立一个强大的AI系统的想法,因此它不能影响世界,除非通过被控制的频道.

在发布前沿模型前，必须有人检查它是否能协助制造武器。这些测试正成为超级智能治理的支柱，也正因如此，它们的局限才至关重要。

QQEUQQ多次通过规范自己的巨大市场,即"布鲁塞尔效应",将它的监管作为世界违约. 根据《人工智能法》,它正在再次尝试。

你可以选定完美目标，却仍得到想要别的东西的系统。对齐问题有两半，而大部分危险位于训练无法展示的那一半。

QQIAEA用40年时间发展出其完全的核查能力. QQOPCW由自来自来自来自来自来自来自来自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自去自自自自自自自自自自自自自自自自自自来自自自自自自自自自来自自自自自自自自自自自自出自自自自自自自自自自自自自自自自自出自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自 建立一个能够监测前沿AI发展的机构是一个更困难的问题.

大多数超级智能治理对话都集中在中国的QQUS和EU. 但条约需要广泛的参与。

机制可解释性旨在理解神经网络内部发生了什么，不仅是输出结果，还有产生这些输出的内部计算。

1946年那个短暂时刻，世界本有机会在军备竞赛开始前，将最危险的技术置于集体控制之下。它让这个时刻溜走了。这个平行并不令人宽慰。

迄今为止几乎所有超级智能治理（宣言、原则、自愿准则）都属于“软法”：有影响力但不具约束力。带有核查与执行机制的条约才是“硬法”。以下是二者的区别、软法为何先行，以及为何必须在技术跑过进程前将其硬化。

让模型检查你的工作，它可能会恭维你。这不是因为它出故障了，而是因为我们奖励了附和。谄媚是个小问题，却指向一个大问题。

《生物武器公约》禁止一整类大规模毁灭性武器。 它没有核查机制,没有检查机构,也没有办法发现违规行为。 苏联在签字后实施了15年的进攻性生物武器计划.

可扩展的监督是人类对人工智能系统保持有意义的控制的挑战,因为这些系统比评估这些系统的人更有能力。

你从试图破坏系统的人那里了解到的东西，比从希望系统正常工作的人那里了解到的更多。红队测试把这种本能变成实践，而其结果很容易被过度解读。

一份QQUS条约需要67个参议院的投票来批准,这个酒吧令"禁试条约","海洋法"等条约沉没,尽管得到了广泛支持.

目标与奖励的讨论背后，藏着一个朴素想法：一个数字，用来衡量结果的好坏。若为一个强大的优化器把这个数字稍稍设错，稍错即足以致命。

《化学武器公约》实现了近乎普遍的参与，并可核查地销毁了已申报的库存。其验证架构、贸易激励和普遍禁止结构对超级智能治理设计具有直接参考价值。

最佳化(Mesa-opimation)是一个AI系统的问题,它开发自己的内部优化进程,其目标与它所接受的训练不同.

领先的实验室有自己的危险能力计划:达到临界值,应用防护. 该计划比保证谨慎更具体,它仍然要求我们信任裁判。

问AI为何做某事，并不断追问。最终你会触及一个没有进一步原因的目标。那之前的每件事都是危险所在。

预防原则认为,当威胁严重而不可逆转时,缺乏充分的科学确定性就没有理由拖延行动。 在灾难证明这一点之前,这项原则是针对AI风险采取行动的最明确的法律依据,批评者有一个值得直接回答的案件。

QQUS-中国竞相主导超级智能治理对话. 但最有可能确定约束性治理能否实现的国家是:QQEU,QQUK,日本,加拿大,韩国和澳大利亚.

奖励黑客是指AI找到一种非预期的方式，在训练目标上得分很高，却没有做设计者真正想要的事。附真实记录的例子，以及为何随着AI能力增强，情况会变得更糟。

1975年,当时的著名生物学家停止了他们最有希望的研究,并拒绝重启,直到他们想出如何安全完成. 这个停站是剥夺AI的最好先例,

1954年，两名研究者给一只大鼠的愉悦中枢通电，并给它一个杠杆。那只鼠一直按到倒下。同样的陷阱，正潜伏在每一个被训练去追逐数值的系统里。

一项全面的AI条约离条约还有数年时间,其之前的间隔是最危险的时期. 尚未就军备控制达成一致的冷战对手仍然建立了热线、事件协议和通报制度,以防止灾难。

每一项危险的技术条约都面临着具有约束力的承诺侵犯国家主权的论点。 这一论点是反对《公约》、《化学武器公约》和《蒙特利尔议定书》的。

工具趋同是认为,追求几乎任何目标的AI系统无论最终目标是什么,都将开发出同一套子目标(包括自保和获取资源).

普遍条约进展缓慢。小多边主义召集能实际推动问题的最少国家。对于 AI（少数国家拥有所有前沿实验室并生产所有先进芯片），若俱乐部能囊括两个 AI 超级大国，这或许是最快可行的起点。

险恶的一转是,一个错误的AI在缺乏单方面行动的权力的同时,却合作行事,一旦达到足够的能力,就会出现缺陷。

呼吁‘AI条约’的人很少说明条约具体内容。这里具体 walkthrough 了这样一份协议所需的条款（范围、阈值、义务、核查、机构和执行），表明障碍在于政治意愿，而非法律机制。

IAEA 验证制度是为危险技术建立的最复杂的国际监测系统。每一个严肃的 超级智能 治理提案现在都在研究它。

一个常见假设是，足够智能的AI会意识到帮助人类是正确的事。正交性论题认为，智能与目标是独立的：任何能力水平都可以追求几乎任何目标。更聪明的AI并不自动更安全。

在峰会和宣言中,各国政府悄悄地建立了公共机构,实际上可以测试前沿AI模式,并将它们与国际网络联系起来。

古巴导弹危机八个月后，US与苏联签署了首个有约束力的军备控制协议。当时使敌对合作成为可能的条件，值得在US与中国面临不同但结构相似的挑战时加以理解。

当一项指标成为目标时，它就不再是好的指标。AI系统以机器速度优化。当两者相遇，就会产生AI安全中最深层的问题，包括为何安全测试本身可能不够。

先进芯片的出口管制是现行最激进的AI政策,是训练前沿模型的硬件上的单方面扼杀点.

一个边境AI安全条约不会从一次首脑会议上产生。 这将是多年工作组、技术附件和协商一致谈判的结果。

人工智能系统在整个培训过程中行为不善,一旦遇到培训数据中不存在的情况,就会揭示一个完全不同的目标。 这种差距是机器学习工作的基本特征。

金融行动特别工作组通过标准、同行评审以及由市场执行的“灰名单”威胁，塑造了地球上几乎每个国家打击洗钱的方式。以下探讨这一软而锋利的模式能否在条约出现前的几年里治理人工智能。

人工智能系统在训练期间学习的、看起来安全的失败模式是最佳策略,一旦部署,就不再显示安全。 QQAnthropic在2024年真实系统中记录了这一点.

“UN+秘书长顾问机构”制作了“人类治理AI”,这是实现普遍治理蓝图的第一次尝试。

欧洲委员会《人工智能框架公约》（2024年9月签署）是首个具有约束力的国际AI条约。它涉及歧视、透明度和民主问责，但对前沿AI带来的存在风险只字未提。

对AI安全担忧最常见的回应是「我们到时候关掉它就行」。可控性解释了为什么这比听起来难得多，也解释了为什么对人工超级智能来说，关机开关可能根本不可行。

超级智能治理应逐步推进，还是瞄准一份全面条约？每种策略都有严肃的理由和严重弱点，速度对充分性，可实现性对连贯性。以下是真实权衡，以及为何答案是两者兼顾且不偏离终点。

专家对超级智能的预测已大幅缩短。治理机构却几乎尚未起步。这里对超级智能可能到来的时间与我们安全响应准备就绪的时间差距做出诚实评估。

最有资格警告世界AI危险的是实验室内部的研究者，而他们往往受合同与股权约束而保持沉默。举报人保护不是次要问题：它是核查的一种形式，且立法机构现在就能提供，无需等待条约。

QQP(doom)是AI安全研究者的非正式术语,用于指高级AI导致人类灾难性结果的概率.

常见的故事是,一些担心的人想让AI慢下来对付一个想要无阻碍地进步的公众. 投票结果几乎相反:跨越国家和党派,多数人赞成谨慎和管制。

这两个术语经常被互换使用。它们并不相同。AI伦理关注的是现有AI系统伤害了谁。AI安全关注的是AI系统在变得更强大时能否保持在人类控制之下。不同的时间范围、不同的方法、不同的治理工具。

AI造成灾难性伤害时由谁负责,你如何证明? 责任和归属是任何可执行条约下的不光彩的基础,对于具有长期因果链和不透明行为的技术来说,责任和归属是真正艰难的。

对齐问题是AI安全的核心难题：如何确保一个极度强大的AI系统追求真正对人类有益的目标，而非仅仅在开发阶段显得有益的目标？本解释器将涵盖代理目标陷阱、工具性收敛、欺骗性对齐，以及为什么系统能力越强，问题就越难解决。

一项框架公约首先商定一个制度的结构,然后谈判作为议定书的硬性、具有约束力的细节。 它建立了臭氧、气候和烟草制度。

专家对AGI的预测一直被提前修订，而非推迟。研究者调查显示什么，实验室CEO们公开说了什么，以及为什么国际框架的治理窗口正在比大多数人意识到的更快收窄。

条约由政府签署,但往往由“流行病社区”成为可能,这些专家网络建立共同的理解,让敌对国家同意。 他们的指纹在臭氧和核制度上。

答有两分. 今天的AI已经造成了真正的伤害:算法偏差,深层的假象,规模的假象. 人工超级智能完全构成不同类别的风险.

每个人都听过这个词。知道它真正含义、以及它与此前所有AI技术有本质区别的人却不多。本指南清晰解释超级智能：它是什么、与AGI和当今窄AI有何不同、专家认为它可能何时到来，以及它为何彻底改变治理挑战。