当有力量的人谈论事情发展的方向时,两句话不断出现。 乔·罗干多年来一直说,人类看起来像一个生物毛虫来旋转一头茧来成为一只数码蝴蝶. 埃隆·穆斯克不断回归更冷酷的形象:人性为数码超级智能的生物后置器. 不同的相片,同样的主张:人性是一个完成阶段,这样超智能才能开始.
两者都是某种思想如何通过建造可能取代我们的东西来促成和平. 如果替换是变形的,听起来像是生长. 如果是装货机 听起来像是工程 无论哪种方式,人类都变成一个临时阶段. 它应该被作为神学来回答.
这些隐喻实际在说什么
成为蝴蝶的毛虫不会以毛虫活下来:幼虫的身体被分解出来,成年后会飞出. 当罗干看到这张照片时,在直播中和跨年的谈话中,他描述的是继承,而不是一个留在工具箱中的工具. 我们建造了茧。 还有事要说
穆斯克的版本更加精确,在某种程度上更加诚实. 装货员是一个很小的程序,他唯一的工作就是启动一个更大的系统,然后让开. 当操作系统运行时 没人会哀悼卸货者 2014年,他希望我们不是那样的。 到了20世纪20年代中期,他更加直截了当地说,我们越来越像。 树篱移动了,图像也留下了.
一个有效的引导程序，其成功的衡量标准只有一个：它不再被需要。
把照片放在同一行业的公共风险号码旁边 对AI研究人员的大规模调查将结果的机率与人类在一定范围内从高级AI中灭绝一样糟糕,许多人不会接受一次飞行,更不用说文明的赌注了. 杰弗里·欣顿把他的个人估计值 降到了10%到20%的范围 AI安全中心由数百名顶尖研究人员和实验室负责人签署简短声明,将AI的灭绝风险与流行病和核战争并列. 隐喻和概率从两个方向说出相同的话:一是一是一是一是一是一是一是一. 我们可能不是最后的主角。
Meta形态转变是价值观的选择
一旦你接受人类可能是过渡性的,你可以开始听起来勇敢一些. 蝴蝶更美丽. 数码心更能放活肉,疾病和死亡. 我们凭什么坚持毛虫的形态? 对话从预测滑入偏好而不承认幻灯片。
这个基金会之所以存在,是因为我们认为人类,有缺陷的,凡人和固执的,都值得以他们自己的方式坚持下去。 不是一个幼虫阶段。 不作临时脚手架 为清净智. 作能续行之人. 生命中最体面的东西 在宇宙命运旁边是小的, 无论如何我们保护它。
平静的继任版本也存在事实问题。蝴蝶与毛毛虫属于同一谱系，只是重组而已。失调的超级智能是一个拥有自身目标的优化过程，而不是硬件更强的孙辈。 工具性收敛 不需要仇恨。它只需要一个目标，以及足以保护该目标的能力。我们没有任何证据表明从茧中出来的东西会爱护织出它的物种。我们有一堆理由预期它会漠不关心。
说这话的人却在继续建造它
最深层的奇特之处在比喻中比在随后的行为中坐得更少. 穆斯克反复和生动地警告说,AI可能存在危险,然后 建立一个实验室,以更快推进边境. 。Rogan的形象与其说是产品路线图，不如说是一种情绪，一种耸肩表示“这可能超出我们掌控，或许也没关系”。
两种姿势都不是计划 装货机对它是否被使用没有表决权。 毛毛虫不谈判茧的条件. 人类依然如此。 超级智能无法被人类所控制. 我们是否建造它是一种政治选择,这种选择曾经限制了大气层核试验,禁止了所有类型的武器,而不是让每个人竞相接近。
不要建立超级智能
目前正在建造一台机器,如果完工,我们将无法控制。 这是危险的,我宁愿继续生活下去,以便有一天看到我的孩子出生,而不是充当一个更强大的替代实体的后备工。