为什么那个击败卡斯帕罗夫的机器
没有占领世界

二亿一秒位置. 这是1997年5月IBM在击败加里·卡斯帕罗夫时被"深蓝"嚼入围棋的速率. 这场比赛是一个干净的模型 我们如何误读机器,然后现在, 更多的骑在答案上。 卡斯帕罗夫输给了一台无法告诉你它正在下棋的机器. 理解为什么这是真的, 以及为什么它没有做 使机器危险, 比大多数被写上 上周发布的模型。

加里·卡斯帕罗夫是他那一代最强的棋手，按某些说法也是任何一代中最强的，却以三胜半负于半负于一个叫深蓝的程序。次日早报的头条都在宣告一个终结：人类霸权终结了。近三十年后，这场比赛仍有可教之处，而那恰恰与那些头条所说相反。

一台在某一件事上超人的机器

深处 布鲁没有像卡斯帕罗夫那样考虑下棋. 它在搜寻。 由IBM设计,它每秒检查大约2亿个位置,每个位置通过一个评估功能运行,其工程师在祖母的帮助下调制了这个功能. 它向前看,比任何人都能发挥得分最高的一线。

它几乎做不了其他任何事。它无法温柔地陪孩子玩耍，无法下跳棋，无法看钟，也无法在照片中找到棋盘。它不知道自己赢了。比赛结束后，IBM将其关机，随后拆解，它没有反抗，因为里面没有人可以反抗。深蓝是一台指向单一限定问题的精妙仪器。超出那个问题一英寸，它便毫无作用。

拿着这个 一台机器在1997年跨入了超人领地,而天空并没有倒下. 国际象棋没有死。 今天,它比历史上任何时刻都更受欢迎。 这场胜利是安全的 深蓝压倒性的强势, 因为它的力量没有达到 超过董事会的边缘, 也没有意志支持它。 同样的原因, 狭隘的工具 改变医学和科学 礼物而不是威胁.

我们误将计算当成了意图

我一直记得第一局游戏里的一个瞬间。Kasparov赢了那局，但Deep Blue在其中走出了第44步，看起来毫无道理。Kasparov反复研究后，觉得那步棋暗藏玄机，计划之深远超出了他的理解。这让他感到不安。他开始怀疑这不可能只是程序在下棋，幕后肯定有人类特级大师在给机器喂招。

据建造者描述，这一步是bug。Deep Blue无法选出它喜欢的走法，于是退回默认选项，下出了接近噪声的棋。活着的最强棋手曾望进一个故障，却看见一个天才在回望。他再也没有完全找回 footing，这种怀疑贯穿了整场比赛。

我们天生会在遇到无法解释的行为时，认定那里存在心智。机器不必真的智能，我们只需相信它智能就够了。

那地图现在直接上线了。 今天的系统 产生流利,自信, 人的声音语言, 我们读理解 流利,同样的方式 卡斯帕罗夫 将策略 理解为错误。 有人在家的感觉是强大的。 这主要是预测。 这是我们交托信任的确切机制,我们从未真正检查过。 不管这些系统了解什么 我们的行为就像机器一样 反射不是新的。 它在1997年从深蓝坐到一旁 你可以 将这两个问题分开 以同样的方式。

卡斯帕罗夫在一台没有感觉的机器下崩溃了.

卡斯帕罗夫输给深蓝，不只是输给它的计算。他部分输给了自己的神经系统。第二局他认输的局面后来分析显示是和棋。他过于确信机器看得更远，以至于放弃了一局本可守住的棋。到最后一局，他已慌乱到在开局直接踩进已知陷阱——一个在任何平静的下午他都能预见的弃子——十九步后比赛结束。

机器对此毫无感觉。它没有自尊心会受伤，没有需要害怕的新闻发布会，没有会带入下一场比赛的糟糕比赛记忆。这种不对称是永久的，而且根本不是关于国际象棋。当一个人与一个不知疲倦、从不怀疑自己的系统竞争，或依赖它时，首先崩溃的往往是人：我们的镇定、判断和勇气。任何对与这些工具共存的诚实描述，都必须正视我们这一侧的脆弱，而非仅看它们那侧的马力。

各方预测此前全都错了

数十年来,严肃的人们说一台计算机在很长一段时间内不会击败世界冠军,当它最终成功时,需要像真正理解一样的东西才能到达那里. 这两分之一的结果都是错误的:它比自信的预测所允许的更早到达,完全没有理解,因为野蛮力量的搜索先到了那里。

从中得出两个教训，它们指向相反方向，这也是人们往往保留一个而悄悄丢弃另一个的原因。第一：能力里程碑往往比专家预期更早到来，因此押注舒适时间表是我们已经公开犯过一次的错误。第二：里程碑的到来告诉你关于心智到来的信息，远少于它给人的感觉。深蓝的胜利是关于搜索与硅片的事实，而不是机器思想的黎明。两者同时为真。进步可能比你想的更快，而在同一年看起来比实际更浅显，值得在阅读下一轮 关于这一切走向何方的预测.

改变一切的唯一差异

1997年在这里不再是令人安心的故事，而是变成了警告。几乎所有让深蓝安全的东西，我们如今正故意从机器中剔除。

深蓝一无所求，所以可以拔掉电源。一个拥有自身目标的系统有理由保持运行，因为如果有人按下开关，它就无法完成任务。这是构建追求目标之物的直接后果，它有一个名字，, 工具性收敛. 当我们从回答问题的工具跨越到有欲望的代理人时，1997年的舒适教训就失效了。

卡斯帕罗夫接下来做了什么

结尾通常是最有希望的部分，却常常被省略。卡斯帕罗夫并没有在接下来的岁月里对机器耿耿于怀。一年内他就在推广一种新形式，有时称为“高级国际象棋”，即人与计算机配对对战另一对人机组合。结果引人注目：棋盘上最强的选手既不是最优秀的特级大师，也不是最强的引擎，而是能很好地使用机器的有能力的人。工具没有取代棋手，而是让他变得更强大。

值得追求的未来现在就已存在：在医学、在实验室、在日常工作中，人类判断由狭窄、可控且无自身议程的工具加以延伸。这与前沿实验室正在推进的项目截然不同，后者旨在构建无需人类参与的自主通用心智。第一类项目让我们更强大。第二类项目则旨在让我们变得多余，而一个不再需要我们的系统，我们最好能确定自己仍能将其关闭。这种确定性恰恰尚不存在，而这正是 威胁 以及原因 我们正在推动的计划.

1997年，我们为如今处于一切核心的问题进行了一次公开预演：当我们造出一台比我们更强的机器时，该怎么办？深蓝给出了温和的答案，因为它始终只是工具。一个没有意志的工具可以击败世界冠军，却让世界其余部分毫发无损。下一个答案默认不会温和。它完全取决于我们建造的东西究竟是更精良的仪器，还是拥有自身目标的继任者。我们应该在还能掌控的时候，有意为之。

深处 布鲁什么都不想要 今天的道路是通用性加上代理性加上自修压力. 围棋击败冠军并不是一个能超越体制的系统的风险种类.