20世纪70年代初，生物学家学会将一个生物体的基因拼接到另一个生物体上。重组DNA同时开启了医学和生物学，也吓到了发明它的人。他们无法排除改造后的生物体可能逃出实验室并造成无人知道如何遏制的伤害。于是他们做了几乎闻所未闻的事：他们停了下来。

1974 年，包括未来诺贝尔奖得主在内的领先研究人员公开呼吁对最危险的重组 DNA 实验实施自愿暂停。1975 年 2 月，约 140 名科学家以及律师和记者在加州阿西洛马会议中心开会，决定工作可安全恢复的条件。他们提出了一套与风险相匹配的遏制措施框架，研究在商定保障措施下重新启动。对于主张暂停前沿 AI 的人来说，这是参考点：一个认识到自身危险并选择谨慎而非速度的领域。

阿西洛马真正做对的地方

这一成就真实存在，值得明确陈述。

科学家在灾难发生前采取行动,而不是在灾难发生后采取行动,这是整个技术安全史上最罕见和最有价值的事. 他们接受对自身工作的限制,包括保证有名气和进步的研究,因为风险是有理由的。 他们制定了与危险程度相匹配的实用规则,而不是忽视危险或直接禁止田地。 它证明研究界可以审视自己的疆域,判断它太危险而匆忙,并屏住. 这一先例是对以下声称的直接反驳: 缺乏强大的技术是天真或不可能.

为什么它比看起来更难建模

诚实地对待先例意味着指出为什么AI是更棘手的情况，因为差异正是使阿西洛马成功的那部分。

  • 它曾是一个小而统一的社区。 几十个实验室，一种科学文化，彼此相识的人。前沿 AI 已成为公司与国家间价值数万亿美元的全球竞赛，没有共同的谈判桌。
  • 1975年时的商业利益还很有限。 当时生物技术产业几乎不存在。而 AI 到来时，全球最大公司和国家安全机构已深度参与，这正是 竞赛动态 Asilomar从未面对过。
  • 重启是目标。 Asilomar旨在找到继续的安全条款，而非无限期停止。其遏制模型假设可以将危险装在物理实验室中。具备能力的AI显然无法以这种方式遏制。

还有一个令人警醒的尾声。Asilomar 共识得以维持，部分因为那是激励一致的短暂时刻，即便如此也依赖自愿善意，而更商业化、更具竞争性的领域会使其紧张。在140位志同道合科学家中奏效的东西，并不能直接扩展到在激烈胜出压力下的分裂全球产业。

Asilomar 证明暂停是可能的。它也显示了暂停所需的条件，以及当前 AI 具备其中多少。

对中田基金会来说,自愿善意是不够的

两半都是阿西洛玛物质 它驳斥了说无所事事的宿命论,即一个强大的技术是不能被减慢的. 科学家是故意的 天空没有坠落 但也表明,1975年运作的非正式、自愿、合议机制对中田基金会来说是不够的,因为中田基金会缺乏小社区、低利害关系和使善意成为足够的可控制的危险。 正确的结论是,AI需要的是Asilomar能够实现的,在危险发生之前的真正克制,通过一个有约束力的,可核查的国际机制提供,而这是万亿美元的全球竞赛所需要的,而不是AI需要自己的Asilomar.