当桌对面的人仍然认为AI意味着ChatGPT起草邮件时,你如何花5分钟? 机制堆积而出,眼花相克. 死神堆积而起,人们将你和街上传教士联名,回到甜点. 一个怀疑的,聪明的陌生人生存下来的是5个动作,按照这个顺序.
他们画的是聊天机
当有人听到"AI"时,他们就会在他们的手机上或制作愚蠢图像的应用程序上给助手拍照. 从那里开始 房间就不见了 因为他们知道聊天机器人不会结束世界 前15秒移动目标.
危险是一台机器 胜过最好的人类 在每一项重要的任务,包括... 设计更好的机器. 它的名字是 人工超级智能, ，而我们目前还没有。我们有的只是一个声明。地球上最大的AI公司都表示，构建它是目标，其中几家预计在数年内而非数代内实现。大多数人不知道这一事实，而这一事实完成了大部分工作。构建比我们更聪明的思维，是资金最充足的实验室的主要项目。它们会亲口告诉你。
没有人会比自己更聪明地控制机器
不管怎么样,我们正在建造一个。
让强大AI可靠地想要其创造者想要的东西，并在能力增长时持续保持这一目标，这个问题的名称是： 控制问题. 。这个问题尚未解决。如果不让公关人员在场，内部工程师也会这么说。他们提升模型能力远快于提升对其按预期行事的信心。这两条曲线的距离正是风险所在。
我们正故意建造一个比我们更聪明的头脑，而在此之前我们尚不知如何让它指向我们的方向。
为什么“更聪明”就是全部问题
人们低估了"更聪明"这个词. 情报部门让人类负责这个星球 我们不是有史以来最大的或最强壮的生物 我们管理这个地方是因为我们比其他的都想 山地大猩猩的未来取决于我们的决定,而不是大猩猩的决定,而不是因为任何人都讨厌大猩猩. 我们有目标。 一只大猩猩的森林有时会坐落于那些目标想要去的地方.
现在想象一下,建造一个像我们站在大猩猩那边一样 支持我们的东西。 如果它的目的和我们的目标分开,敌意是可选的:一个比我们更有规划能力的系统,指着别的东西,已经足够了,而后来版本的同一种设置并不能修好它.
关闭开关和科幻小说
第一,我们只是把它关掉。 一个足够聪明的系统是危险的 足够聪明的,足以注意到 被关闭会阻止它完成它准备做的事。 因此,它有理由防止这种情况,即复制自己在别的地方,或使自己过于有用而无法插上。 相信关闭开关 假设我们在房间里保持更聪明的派对 担心的前提是,我们不会这样做。
第二:这是科幻小说。 在系统开始通过测试之前 我们肯定需要几十年的时间 并且我们假设工作是安全的 没人有值得信任的约会 离我们最近的研究人员 已经悄悄地不再叫超级情报了 已发布的时间线 继续滑向更近而非更远。
在他们能做点事的地方结束
我多年来犯的错误是止步于恐惧。让一个人只剩下恐惧而无事可做，他们就会把这个话题归入“太大而无法思考”，然后继续过自己的夜晚。把最后一分钟留给人们忽略的部分。
这是可预防的。
自然法则并不要求本十年就实现超级智能，甚至根本不要求。少数几家公司选择建造它，少数几个政府选择放任他们。选择可以撤销。基金会要求的是一个具有约束力、可核查的 主要大国之间的协议 以永久禁止建造超级智能。超级智能无法被人类控制。人类已经 以前做过, 那是各方都想要却没有一方能安全使用的武器。rival 之间的条约远非乍听上去的幻想。
站在我们和它之间的，是人们仍能做出的决定。
五分钟
- 不是聊天机器人。这些公司公开宣称的目标是制造一台在所有方面都比我们聪明的机器，而且他们预计在几年内实现。
- 没有人知道如何控制比我们更聪明的东西。能力已超越控制，而这一差距正是危险所在。
- 智能使人类登顶。构建超越我们的东西，其目标而非我们的目标将设定规则。
- "Turn it off" 和 "that's sci-fi" 都假设我们仍掌控一切。整个担忧是我们不会。
- 这是可预防的。超级智能是选择建造的，而这个选择可以被共同拒绝，只要还有时间。
和愿意听的人谈5分钟是 领导人们问,“等等,为什么有人在建这个?”