防止人类灭绝
来自超级智能。

一项具有约束力的国际条约可以在继续技术进步的同时拯救人类。

我们是一场反对超越人类智能且无法纠正或停止的系统的慈善运动。 人类绝不能建造超级智能.

一个被有意培育到超越并取代人类在所有领域能力单一系统是危险的。人工超级智能是人类面临的第一大风险,高于全球热核战争。核战争可能终结文明并留下幸存者。超级智能则会灭绝我们这个物种。

我们以已被证明有效的概念为范本,例如推动世界前行的公众施压运动及化学武器、核不扩散和臭氧层的国际条约。

我们是独立的,不从人工智能实验室、他们的投资者或利润依赖于赛跑边疆的公司取钱。

媒体是塑造舆论和营造文化的强大工具,能让这场危机难以被忽视。它影响着投票公众,也影响着我们选出的领导人的想法。当 Ronald Reagan 观看了1983年的电影 第二天, 核战争这一抽象概念变得具体起来,总统随后与苏联签署了削减核武库的具约束力条约。

投票公众不看报纸。 或者观看干燥的学术视频. 我们将制作娱乐性,可分享性,以及信息性。

有许多组织在推动“更安全的竞赛”或“安全过渡”。我们是少数几个正紧急推动通过有约束力法律阻止超级智能的组织之一。“过渡”绝不能发生。

我们不是“反AI”组织,因为我们支持受控、有益的窄AI,例如诊断癌症和加速药物发现的系统。这类系统仅在一个领域超越人类能力,使我们能够安全地管理其工作以造福人类。

我们是谁.

我们做什么

我们的基金会完全侧重于预防反扩散倡议。 我们从事的公开工作使得一项具有约束力的国际条约成为可能:委托拍摄电影、动画片、录像、散文、图像以及与文化领袖的关系。 我们还力求将人才和资金从对齐研究转向主动倡议预防。

我们不做的事

我们不从事技术研究、政策分析或游说。

我们也不对聊天机器人、工作自动化、军用无人机或数据中心等一般人工智能话题表态。

组织状态。

我们是一个慈善协会。 , 财务赞助待定且即将完成,取决于第一笔筹资。 届时,所有捐款都可抵扣税款。

顾问委员会

我们正在组建一个小型咨询委员会。 我们正在寻找在公共利益传播、筹资和文化生产方面具有经验的人。

我们如何衡量自己的工作

实现显著影响是我们最重要的目标之一。我们的产出公开且可衡量,例如X上的曝光量和YouTube视频的观看量,并以此与公众投票情绪进行对比追踪。

我们如何起步。

中田直人 会资助冷战期间的核条约工作。我们的创始人将超级智能视为当今的生存危机。

经过数十年的AI安全研究,结论是我们无法控制比我们更聪明的东西,而大部分资金却流向 该领域 仍流向“更安全”的前沿系统,而它们仍在被构建。在条约使不创造成为现实之前,阻止人工超级智能存在仍是严重资金不足且讨论不足,只有 世界上仅有的七个专注于防止超级智能的组织.

我们针对这一差距成立了基金会,取了一个醒目的名字,让威胁的紧迫性和严重性显而易见。

人类故事才刚刚开始。我们必须确保它延续亿万年。

中田直人

预防即是
仍是薄弱的一面。

我们持续更新超级智能之争的实时普查,按各组织实际意图分类:阻止、治理或构建。

专门致力于暂停或禁止 超级智能 的组织仍然只有七个。

加载领域…

人们问什么。

你反对新技术吗??

不。我们支持有用的窄AI:能完成任务且可纠正的系统。我们致力于防止人工超级智能——其开放式能力将其置于不同类别的系统。智能手机、互联网,甚至核电站都可以被监管和关闭。超级智能则不能。

你对其他AI问题的立场是什么??

我们是独特的。我们致力于人工超级智能以及使禁止它的条约成为可能的文化工作。聊天机器人偏见、自动化导致的失业、深度伪造、军用无人机、数据中心选址:这些问题在其他地方可能重要。它们不是本基金会的工作。如果一个问题与防止超级智能无关,就不在本基金会的工作范围内。

阻止超级智能难道不是不可能的吗?其他国家不会直接冲在前面吗??

最常见的反对意见与核不扩散所用的论证形状相同。NPT并不完美,但它仍然奏效:1945年以来核武器从未在战争中使用,九个核国家,而原本可能加入的国家有数百个。背叛风险是核查的理由,而不是冲刺的理由。前沿训练仍通过少数芯片制造商运行。监控算力阈值更多是政治问题而非物理问题。

AI 实验室不是已经有安全团队了吗??

是的。他们还有销售团队、投资者关系部门、代表股东的董事会成员,以及比竞争对手更快推出产品的竞争压力。商业AI实验室内部的安全团队与公司其他部门遵循相同激励,而这些激励奖励推出能力而非降低风险。当OpenAI的安全团队发表关于推进过快的担忧时,公司还是加快了步伐。内部团队充其量只是外部监管的补充,无法替代它。

风险真的是存在性的吗??

图灵奖得主杰弗里·辛顿毕生致力于构建现代AI的基础,他估计 AI 导致人类灭绝的概率为 10% 到 20% 在本世纪内。诺贝尔奖得主约书亚·本希奥公开表示风险真实且被低估。AI安全中心2023年的声明由包括萨姆·奥尔特曼在内的500多位AI科学家签署,将AI灭绝风险与核战争、流行病并列为全球优先事项。

我能做什么??

加入基金会。向未听说过的人分享我们的信息。联系你选出的代表,询问他们对AI风险的立场以及支持哪些立法。如果你有财力,考虑向基金会或另外六个致力于超级智能预防的组织捐款。如果你有文化或媒体影响力,请加以利用。如果你任职于AI实验室且有顾虑,考虑公开发声。政治意愿决定这一切,而它来自像你这样的人。