永不构建超级智能

安全的做法是拒绝。一旦系统比掌握工具的人更聪明，“我们以后再修”就会失败。

事后没有补丁。一个比在世所有人 smarter、且以机器速度运行的心智，不会等待我们下一次会议。

不可逆性

大多数技术都失败了一旦一个超级智能可以复制自己,隐藏它的用意,或者使自己过于有用,以至于无法拔出,倒转和召回停止工作.

再聪明也不等于仁慈。在人类身上，技能与关怀一同成长。训练出的优化器却没有这段历史。能力而无共享价值观，就是不受约束的权力。

几乎任何目标都会受益于持续运行和收集资源。追求目标的系统会把关机视为障碍。这是普通的优化，而非反派独白。

航空业从坠机中吸取教训。药物从临床试验中学习。如果第一个失控的超级智能终结了实验，我们就没有第二个原型了。

我们并不反对电力、软件或有用的AI。我们反对的是在控制问题仍未解决的情况下，故意构建一个后继物种。健康、能源和发现来自我们已知如何构建和监管的窄工具。

完整论据、反对意见及政策路径。

Nakadafoundation.org/blog/ 永不建设-上层智能/.