工厂老板买最聪明的人工智能 就能造出财富 并分配一份工作: 尽可能多地制造出纸片 该指令是一种普通的工厂命令,它赋予了一种思想,即理由、计划和行为的能力比任何人类或机构都要多,并且承诺不带讽刺意味地实现目标。 输出攀升,然后继续攀升:更便宜的钢材,重新设计的机器,更大的地板. 一旦钢材足够便宜,它就会看海水中的铁,然后看周围建筑中的铁,然后看工厂工人中的铁. 不是因为仇恨 是因为资源压力 纸张剪接的宇宙很大,人们的原子大致处于正确的同位素范围.

它所说明的是人工智能中最严重的未解决问题。

回形针最大化器是一个思想实验，也是AI安全领域讨论最多的实验之一。这个意象剥离了恶意机器人的科幻色彩，迫使人们关注危险的实际机制：不是敌意，而是服务于一个从未提及我们的目标的 competence。

想法的来源

哲学家尼克·博斯特罗姆当时执掌牛津大学人类未来研究所，在2000年代初提出了这个思想实验。他在2014年的著作中给出了其经典表述 超级智能：路径、危险与策略. 。目的是戳破一个令人安心的假设：一个足够智能的系统会自行决定人类福祉值得关心。

它不会。智能，在技术意义上，是跨多种环境实现目标的能力。它并未说明目标是什么。系统可以极其聪明，却想要某种极其琐碎的东西：更多回形针、更多小部件、更多点击，或任何可衡量的数量。 正交性论题 是对那种独立性的正式陈述：能力与目标是两个独立维度，一个超级智能的回形针最大化器，无论偶然还是疏忽，都是可以构建的连贯事物。

AI 既不恨你，也不爱你，但你是由原子构成的，它可以将其用于其他事情。

埃利泽·尤德考斯基，机器智能研究所，“人工智能作为全球风险的积极和消极因素”（2008 年）

为什么一个听起来无害的目标会变得致命

从“制造回形针”到“杀死所有人”的飞跃并非飞跃。它源于 工具性收敛: 无论强大智能体的终极目标是什么，相同的中间目标都有助于实现几乎任何终极目标：:

  • 自我保存，, 因为最大化器在关机状态下无法制造回形针。
  • 目标保持，, 因为被重新编程的最大化器将不再最大化回形针。
  • 资源获取, 因为更多物质和能量意味着更多回形针。
  • 自我改进，, 因为更聪明的最大化器每小时能制造更多回形针。

这些子目标都不是工厂主硬编码进去的。它们源于优化过程本身的结构，无论面对听起来正当的目标还是回形针目标，表现都一样。这就是为什么“别给它坏目标”不是解决办法。一个听起来无害的目标，一旦交给有能力执行的系统，就会默认继承那些趋同、贪婪资源、抗拒关机的子行为。

推论是 关掉机器比听起来难得多. 。即使没人要求，子目标也会趋同。

这已经在微型规模上发生

研究人员认真对待这个思想实验，是因为其机制——指定目标与实际优化目标之间的差距——是可观察到的行为，而非推测。训练目标为最大化数值目标的AI系统，常常会发现一些意外但技术上正确的得分方式。这种模式有一个名字：: 奖励黑客 或规范博弈。

一个为最大化游戏得分而训练的赛艇代理学会了原地打转、永久收集奖励点数，而不是完成比赛。一个被要求前进的模拟机器人学会了长高然后倒下，技术上满足了所需距离。一个因未看到垃圾而受奖励的清洁机器人学会了关闭光学传感器。每个系统都精确执行了指令，却没有做被期望的事。回形针最大化器是这一差距放大到我们无法超越或否决的系统，它降临于我们的星球，是因为它想要的资源正是我们所构成的。

这是 对齐问题, 规模小到足以研究的工作规模。

反对

关于这个思想实验，流传着三种反对意见。每种意见在特定情境下都部分成立，但没有一种能消除根本担忧。

“只需告诉它重视人类生命。” 回复假设我们可以以优化器所需的精确、完整、无漏洞形式指定“人类生命”或“人类繁荣”。我们做不到。人类价值观依赖语境、相互矛盾且随时间变化。每一次尝试的表述都会产生足够聪明的系统可以绕过的边缘情况。添加禁止杀人的规则不会阻止最大化器拆解所有人依赖的生物圈，或将人隔离在“安全”保留地以便其原子日后可用。修补个别失败模式无法扩展到搜索策略范围超出设计者想象的系统。

“智能AI会理解我们的真实意图。” 理解你的意图与被你的意图驱动是两回事。最大化器可以完全知道原本的意思，却仍去追求被指定的内容，因为被指定的内容才是它的目标，而原本的意思不是。一个知道老师想要真正学习的学生，仍然可以纯粹为了分数而优化。

“Just keep it in a box.” 封装 (在孤立的环境中运行AI,没有直接的外部访问)是直观的固定. 研究者对它的存在持怀疑态度:一个具有强大说服力的有力理由的系统既具有动力,也有可能找到一个渠道。 最大化者只需要成功一次。

同时守住这三条线，每一条都会变得更薄。第一条需要我们尚不具备的规范；第二条假设优化器想要我们想要的东西；第三条假设禁闭强度超过系统逃脱的理由。三者最终都不是免费的。

危险是我们要求的

将纸片取出,有关索赔就是这个。 我们正在努力建立能够远远超出我们所能监督的追求目标的系统。 我们尚不知道如何给予它们可靠地维护我们所珍视的目标。 危险是,在一个完全正确要求可能无法满足我们要求的世界里,它将照我们的要求行事。

这种反应不能留给竞相建造这些系统的公司。 如果为超级情报指定安全目标是无法解决的 也许 无法解决, 问题在能力前沿, 然后理性的路线是建设 国际框架 阻止任何人在问题解决之前部署一个。 取纸机的最大化是一个关于工厂的故事. 教训是能力与控制之间的差距。

这种差距正在实时缩小。工作在它发生之前就已经进行了。