"我是一个乐观主义者。 人类肯定不会灭绝的 这以前从未发生过。”

在安全面板后听到,在绿色的房间和评论线上,通常带有微笑,意在关闭主题. 微笑做真正的社会工作。 它将谨慎描绘成个性缺陷和情绪健康的势头. 它也会在情绪中走私风险申报

乐观是允许的。 如果我们仍在认真工作,不允许把脾气当作证据。

"从来没有发生过" 其实说

人类的灭绝,顾名思义,之后没有人类的见证. 每一个活人都在从该物种继续生存的时间表中取样。 称之为"选择",不是"哲学":彩票得分者是胜出概率上不好的来源,"我从未死于车祸"是反对安全带的拙劣争论.

化石记录较少多愁善感. 绝大多数生存过的物种都消失了. 几起大规模灭绝事件 清除了板子上接下来的事 同性恋 在地质时代还很年轻, 已经经历了瓶颈,瘟疫, 和战争 本来可以让我们更冷的骰子。 "以前从未发生过"是一篇关于我们仍可讨论的一分历史的声明. 这不是盾牌。

第一次是灾难造成的

1945年以前,没有一座城市被一发炸弹所摧毁. 在1918年以前,没有任何流行病以这种速度肆虐全球铁路和船舶网络。 在1980年代臭氧工作之前,没有人进行人类的实验,将紫外线防止表面消毒的地层变薄. 每一个事件都是以前从未发生过的。 采取行动的人没有等待一个完成的事例作为案例研究。

人工超智能坐在那个桶里 历史上没有一系列错误的超级情报来估计。 有一个机制:一个追求目标、提高自身能力并最终超越旨在纠正目标的机构的系统。 机制是当基准利率沉默时使用的。 要求AI在认真对待这个机制之前先灭绝人类,就是在诊断前要求尸体.

每一次灾难前看起来都像以前从未发生过的事。 这是对该类别的描述,而不是保证。

乐观主义,目标正确

我尊重一种乐观的态度。 上面写着:人们之前在压力下协调过. 条约已经生效。 当科学清晰,政治组织起来时,工业被迫改变方向. 这个 限制记录 从核军备控制到正在消耗臭氧层的化学品都是真实的。 这种乐观态度指向机构。 它假设未来仍是一个决定。

绿房版本则相反. 它将生存视为宇宙的默认设置,而关注则视为不礼貌. 它混淆了"我更喜欢好的结果"和"好的结果因此是可能的". 偏好不是一个概率。

当杰弗里·欣顿(Geoffrey Hinton),约斯华·本吉奥(Yoshua Bengio)和上百位研究者将灭绝级AI风险与流行病和核战争放在同一个列表上时,他们正在做一些无聊的事情,当一个机制看起来健全,缺点是完全的,而不是在技术主旨中为反派试镜. 你可以不同意他们的数字。 您不能通过宣布您的人格类型来解除这个类别 。

缩水费

壮壮壮壮地为需要建设的人工作,不打斗地继续建设. 如果"灭绝之谈"被重新设定为一种氛围问题,那么唯一有礼貌的举动就是将主题重新改为生产力和app. 与此同时,实验室的规模, evals滞后, 控制问题 尚未解决。 穆德被误认为是治理.

我希望人类计划继续下去。 这就是这个基础存在的全部原因。 想要的是简单的一半。 困难的一面是拒绝一条发展道路,这条道路将无法纠正的权力集中在无人能够可靠地关闭的系统中,并开展政治工作。 绑定停止 要求。 如果这个词还有意义的话,就叫乐观吧。 如果它只是意味着"停止谈论下行",它已经成为了摇篮曲.

灭绝从未发生在我们身上 这是每个结局不好的故事的开场白。 这并不是说这一个结局会好起来。

常见问题.

人类难道没有活下来吗?

人类在所幸存的风险中幸存下来。 这是一个同义词,不是预测。 我们还有着物种灭绝,文明崩溃,以及拥有本可以终结我们的技术的近乎缺失的悠久记录. 过去的存活是 你会观察到的 直到第一次失败 不留下观察者。

乐观是不是比末日更健康?

温和不是问题所在。 问题是具体的发展道路是否集中了无人能够可靠控制的系统中的灭绝级力量. 你可以在晚餐时高兴起来 并且仍然拒绝建造它。 没有程序的"光荣"是无用的;禁止查看机制的"欢乐"也是无用的.

在AI上真正的乐观是什么样子?

装作未来还是可以选择的 建立条约,视察,以及政治联盟,使"超级情报"远离桌面,直到控制是真实的. 这比大叫还难 这也是仍有一个主题可以享受结果的唯一乐观。