"我是一个乐观主义者。 人类肯定不会灭绝的 这以前从未发生过。” 你听到安全板后,在绿色房间和评论线中, 提出关闭主题: 谨慎作为个性缺陷, 动力作为情绪健康, 风险主张在情绪中被偷运。

乐观是允许的,但不能把个人气质当作证据。

“前所未有”究竟意味着什么

人类灭绝按定义而言,事后不会有任何人见证。每个活着的人都在从物种延续的时间线中抽样。这叫选择效应,而非哲学:彩票中奖者不是谈中奖概率的好对象,“我从没在车祸里死过”也不是反对系安全带的充分理由。

化石记录并不多愁善感。曾经存在过的绝大多数物种都已消失。几次大规模灭绝为后续物种清空了舞台。 Homo sapiens 在地质时间尺度上还很年轻,却已走过可能在一场更糟的掷骰中终结我们的瓶颈、瘟疫与战争。“以前从未发生”只是关于我们尚能讨论的那一小段历史的陈述。

第一次往往酿成灾难

1945年前,没有城市被一枚炸弹摧毁。1918年前,没有疫情以那种速度搭乘全球铁路与海运网络。1980年代臭氧工作前,没有人做过让紫外线穿透并使地表灭菌的实验。这些事在发生前都是前所未有的。采取行动的人并未等待完整案例出现。

人工超级智能就属于那一类。没有历史上一系列失调超级智能可供平均。存在一种机制:系统追求目标、提升自身能力,最终超越本应纠正它们的机构。当基础率沉默时,就要依靠机制。在认真对待机制前要求先有人类因AI灭绝,等同于在诊断前索要尸体。

每一次首次灾难,在发生前都像是从未发生过的事。

目标明确的乐观

有一种乐观我尊重。它说:人们曾在压力下协调过。条约曾生效。产业曾在科学清晰、政治组织起来时被迫转向。 克制记录 从核军备控制到正在消耗臭氧层的化学品。 这种乐观态度指向机构。 它假设未来仍是一个决定。

绿间版则相反。它把生存视为宇宙的默认设置,把担忧视为失礼。它把“我偏好好的结果”与“好的结果因此很可能发生”混为一谈。

当杰弗里·辛顿、约书亚·本吉奥以及数百名研究者把AI的灭绝级风险与流行病、核战争并列时,他们只是在做专家们遇到机制看似可靠且 downside 为灾难性时会做的普通事,而不是在科技主题演讲中扮演反派。你可以不同意他们的数字,但不能用宣布自己的人格类型来否定这个类别。

结束讨论的费用

如果把"灭绝之谈"重新描绘成一种气氛问题,那么建筑就继续了,没有打斗. 那么唯一有礼貌的举动就是将主题重新改为生产力和app. 与此同时,实验室的规模, evals滞后, 控制问题 的问题仍未解决。情绪被误认为是治理。

我希望人类能够延续。想要延续是容易的一半。更难的一半是拒绝一条将不可纠正的权力集中于无人能可靠关闭的系统的发展路径,并完成 绑定停机 所要求的。如果乐观主义只意味着“停止谈论负面”,那就成了催眠曲。

我们从未灭绝过,这不是我们将在超级情报中生存的证据。