几乎所有在公众场合为AI安全工作的人都被称作"杜默". 标签在争论开始前到达,在谈论概率或时限或者"控制"甚至意味着什么之前. 增加风险的人往往会先得到一个标签:被吓倒了,反未来,杜默. 标签允许你跳过辩论.

加速主义这边最有效的一手,是起名字,不是讲理。

这个词的由来

大约在2022和2023年,人工智能安全辩论不再局限于研究者内部,而是蔓延到社交媒体。在那里,观点形成阵营,阵营获得名称。加速主义阵营(认为人工智能应尽快建造的人)用“e/acc”后缀作为徽章写进用户名。他们也需要给另一方命名。“末日论者”就是这个名字,通常与“decel”搭配,意为减速,即想要放慢速度的罪过。

当10月马克·安德烈森发表《技术-奥普蒂米主义宣言》时,情绪变得强硬。 它的读法不像信条那样是争论,它包含了一个它称之为敌人的列表,在条目中,"存在风险"和"预防原则",这个简单的想法是,你可能想要先理解一个强大的技术,然后再大规模地应用它. 一旦关注本身被提交到"敌人"之下,持有它的人只需要一个更短的标签供日常使用. 其余的都是"DOMER"做的,而不是... 加速案件.

标签实际的作用

末日论者是一种角色,而非主张。它将论证转化为人格类型,而人格类型无需回应,只需诊断。

安全方面说,来自超级智能系统的灾难机会足够高(不确定,足够高),我们应该在建立系统之前建立控制这些系统的能力。 你可以推动 每一个部分。 你可以认为概率比我们想象的要低,时间更长,"控制"是错误的框架,治理会比它处理的风险更有害.

“Doomer”跳过了这一点。这个词的意思是:你是那种害怕明天的人。你的立场是一种情绪,而非一种论点,而情绪无需反驳——这是修辞学中最古老的招数,即针对人而非针对观点的论证,只是换了新装。它的精妙之处在于永远不必触及实际分歧。它把整场争论从“这是不是真的”转移到“什么样的人会相信它”,而加速主义者早已决定了答案。

这个词将论证转化为人格类型,而人格类型无需回应,只需诊断。

为什么它能落地

这个标签有效,因为它由人们早已想相信的自我认知构成。

从显而易见之处开始:没人想当悲观主义者。乐观读作自信与动力;谨慎读作胆怯与恐惧。将选择框定为建设者与末日论者,大多数人早已知道自己更想坐哪把椅子。这种框架在任何事实摆上桌前就已完成工作。

它借鉴了美国讲述的故事 进步是好的。 害怕铁路,印刷机,电灯的人是错的,历史回忆起他们是傻瓜. 加速者将这个故事从整个架子上取出,并将安全代言人作为最新的名字列入未来会尴尬的被吓倒的人名单. 此举是毫无争议地假设,这次再次是真的,超级智能是印刷机,而不是新的东西. 是否是同一个故事是整个问题,标签存在,所以问题从不被问起.

这个词针对的对象

把被扔到的人排成队,讽刺画就在你手中散开。

杰弗里·辛顿在2023年离开了谷歌,这样他就可以在没有公司看守的情况下谈论风险;他和球场一样亲近创始人父亲. 尤斯华·本吉奥(约书亚·本希奥)在活生生的被最激起的研究人员中,也因自己的作品而达到了同样的忧虑. 2023年5月,上百名科学家和高管(包括实验室的领袖们冲刺来建设技术)将自己的名字放入一份声明中,将AI的灭绝风险归入了流行病和核战争的同一类. 他们不怕技术。 他们造了这个 无论你想称之为他们的立场,"害怕未来"并不是对它的描述,而是不听它的一种方式.

该词还平整了宽频谱下至一点. 一个认为灾难几乎可以肯定的人 和一个把灾难定在几分之一 并且想要保险的人之间 有着巨大的距离 一个先知和一个精算师之间的距离 两人都被作为末日者提交. 标签无法看出其不同之处,因为它从来不是用来建造的;它的工作是使一套技术性的、多种多样的、往往相当温和的观点看起来像一个野眼邪教。 真实的 专家估计范围 标签是用来抹去的。

征兆

一个对安全问题的答案有信心的运动,不需要给那些提出这个问题的人起个绰号.

如果灾难性风险真的接近零,那就是你可以公开捍卫的主张. 显示推理. 解释为什么建造系统的研究者 对他们建造的系统是错误的。 做一个 案例 或者说实验室之间的争斗在任何人割去致命一角之前 都会自我纠正

“末日论者”这个词填补了本该有论证的空间。你宁可贴标签也不愿回应观点。给对手命名比反驳他更省事,从远处看也够像一场胜利,以至于围观者往往分不清刚刚看到的是哪一种。

如何回答它

拒绝这个框架。一旦对话变成建设者对末日论者,实质就已经离开房间。用一个问题把它拉回对象层面:你对灾难性风险赋予了什么概率,为什么是那个数字?几乎没有把这个词当作武器挥舞的人能回答,因为这个词的存在就是为了让他们不必回答。如果你想看看这样一个数字是如何真正构建而非断言的,我们制作了一个 毁灭概率 计算器 逐一拆解这些要素。

然后把标签从索赔中取出。 “ Doomer”将漫画(一个讨厌进步的悲观派)固定在通常更狭窄、更沉闷的主张上:这种特定技术具有特殊的风险,需要特别的注意。 把他们分开 这个 美好未来的理由 直达正确处理这一部分,而非绕过它。

如果一个运动对付批评者的最强手段只是给他们起一个难听的名字,说明它对风险没有答案。我们的主张 建立在这一点上:超级智能无法逆转,所以不要去造它。