阻止超级智能并不意味着砸碎每一块芯片或终结机器学习。它意味着在法律和实践上禁止开发人工超级智能。超级智能无法被人类控制。这是一项永久禁令,而不是一个到期后重新进入同一竞赛的定时暂停。
必须停止的与必须继续的
狭义 AI 折叠蛋白质、阅读扫描、优化物流并留在限定领域内,应该继续推进。目标是通用、递归改进的超级智能以及针对它的程序,通过算力阈值、能力测试和研究规则进行筛选。批评者称“他们想禁止 AI”是在散布抹黑,保护这场竞赛。
为什么实验室的承诺不够
负责任的比例政策 和多实验室认捐可以披露意图。 它们作为主要控制系统失败了。 同一公司写政策、主持测试、评断结果和航运利润。 在竞争之下,内部规则会弯曲,所以外部法律必须提供被咬.
执法阶梯
想象悬崖上的一架梯子。
公众意愿 基础在于:能够明确提出要求并惩罚只提供创新表演的领导人。
国内法律与机构: 大型训练运行的许可制度、已知超级智能开发的刑事和民事责任、具备真实访问权的评估机构、举报人保护。
芯片与云端: 出口管制、集群了解客户、能见度和数据中心。 硬件是物理的。 这是治理的一个特点。
联盟条约: 一套涵盖大部分边疆能力的核心国家,有数字附件,而不仅仅是原则. 不信任是正常的;核查是存在的,因此各方不必依赖友谊。
验证机构: :检查员、FLOP时间表、事件报告、触发后果的权力。想想数据中心和训练的IAEA式能力,而非清谈会。
现行禁止条件: 仅在独立科学界和公众在不受实验室控制的机构下共同达到高标准时才重新开放。
每一级都支撑下一级。没有算力规则的峰会,或没有公众意愿的算力规则,都无法完成攀登。
国内政治是问题的一半
在美国,美丽的日内瓦文本没有通过参议院或通过能够通过的法规和国会-行政协议而具有约束力。 设计仪器从可以取胜的选票上向后设定. 其他国家有自己的批准陷阱。 跳过国内设计,你得到新闻稿。
中国、竞争对手以及竞赛借口
无限规模化的主要借口是:如果我们减速,它们就不会. 共同的脆弱性会减少两种情况。 不可控的超级情报,是牺牲国家而同时赞美国旗的一种方式,不是国家资产. 对互不信任的对手来说,核查、硬件拒绝和相互曝光突围程序是存在的。
打开权重
高端开放的一般权重只能部分解决扩散路径的出口管制问题。 一旦权重公之于众,便没有中心召回. 将高端一般释放视为扩散决定,而不是普通产品发射。
你能做什么
让行动与你的影响力匹配。
选民:: 联系代表提出有约束力的禁止要求,而不是模糊的“要小心。” 工作人员:: 起草带有数值触发器的许可和评估法案。 捐赠者:: 资助能推动投票和条约文本的倡导活动。 科学家:: 支持永久禁止并帮助设计验证。 实验室员工:: use lawful reporting channels when internal safety is overridden. Role-specific force beats generic anxiety.
大部分资金和声望仍流向使竞赛更安全,而非结束通往超级智能的竞赛。能壮大停止的捐赠仍很稀缺。
成功的模样
两年内:在多个司法辖区出台有实效的法规,对芯片实施更好的终端用途监控,出现包含具体数字的严肃谈判文本,公众对具有约束力的禁令形成持久支持。五到十年内:许可算力覆盖大部分前沿产能,实现有效检查,对训练活动形成联盟覆盖,并营造一种让突破变得昂贵且显而易见的文化。峰会公报本身不算数。
失败模式
注意重新定义("先进援助"取而代之的是超级智能),抓取评估者,象征性条约而无需核查,并等待"解决的配合"作为建设许可. 败而无费. 给它们取个名字,这样你就可以把栏杆放在攀登上.
无神圣文本的条约设计
没有单一神圣的草案。有的是设计家族。一个覆盖大多数前沿产能的核心联盟可以先行动。框架-附件排序(先原则,后可更新的数字时间表)借鉴了成功的环境与军备制度。对非缔约方的贸易措施改变了退出数学。多边基金或技术准入交易可以争取担心被锁定在窄AI之外的国家。MIRI式草案是一个完全指定的提案;NPT、蒙特利尔与化学武器法是先例库。选择你能核查的结构,而不是只能赞美的诗。
接近界限的研究
最难起草的问题是紧邻禁令的工作:能动系统、自动化AI研究助手、大规模自博弈。禁止明确的超级智能路径。许可并检查灰色地带。不要假装每篇论文都是炸弹,也不要假装自动化AI研究是普通科学——当它缩短了通往无人能推翻的系统的路径时。
正义与谁来买单
算力规则对企业和国家的影响将因工业基础不均而不同。公平的制度应在能力阶梯顶端施加限制,同时继续提供有益的窄域工具,且不会用“安全”作为永久技术等级制度的借口。重点是共同生存,而非垄断进步。
回答两个难题
"我们将失去经济。" 部分资本会重新配置。部分股权故事会缩水。这些成本在季度电话会议上清晰可见。灭绝与永久失权却不会作为一行项目出现。当替代方案是文明存续时,可见成本并不会自动胜出。
"总有人会背叛。" 失败是一种设计输入. 核查、拒绝硬件、制裁和相互暴露突围程序可以改变回报。 完全遵守不是标准;提高作弊的成本就是标准。
再次的阶梯
监督员是公众意志、法律、筹码、条约、视察员和永久禁令。 攀登意味着要安装跑道,而拒绝假装被画出一堵墙是梯子. 这些文件、工业阻塞点和法律先例已经存在。 强制属于下一个可以实际到达的跑道。 创建线比较简单: 不要构建超级智能. 超级智能无法被控制。