作者：温利武    班级：1402019      学号：14020199041

【嵌牛导读】：人工智能正变得越来越热，有时候让人难以分清新闻报道中那些关于超级人工智能的预言到底是可能发生的还是只是单纯的杞人忧天。近日，Wired 杂志创始主编 Kevin Kelly 在 Backchannel 上发表了一篇题为《The AI Cargo Cult: The Myth of A  Superhuman AI》的文章，引起了广泛的关注，该文章谈到我们梦想的超人类人工智能可能只是一个神话，其假设的基础还没有任何支持证据。

【嵌牛鼻子】：超人类人工智能

【嵌牛提问】：超人类人工智能是否会变为现实

【嵌牛正文】：我听说未来的计算机人工智能会变得比我们还要聪明得多，它们将夺走我们所有的工作和资源，而人类将会灭绝。这是真的吗？

这是我每次谈论人工智能时最常碰见的问题。提问者是认真的；他们的担心部分源自于一些会问自己同样问题的专家。这些人都是当今世上中最聪明的一部分群体，比如史蒂芬·霍金、埃隆·马斯克、马克思•泰格马克（译注：Max Tegmark，MIT 物理学家，著有《平行世界，平行生命》）、萨姆·哈里斯（译注：Sam Harris，《自由意志》一书作者、神经科学家、哲学家）和比尔·盖茨，而他们认为这种情况很可能是真的。最近，在一个有关人工智能问题的讨论会上，一组由九位最知名的人工智能大师组成的专家小组一致认为，这种超人类智能是不可避免的并且离我们并不遥远，可在这里查看他们的讨论：

然而，超人类人工智能接管人类的情况是有五个假设作为前提的，如果一一对其进行检查的话会发现它们并不基于任何证据。这些说法在未来可能是真的，但到目前为止还没有证据作为依托。即将成真的超人类智能背后的这些假设是：

1.人工智能已经以指数级的速度变得比我们还要聪明了。

2.我们将使人工智能成为一个通用的智能，就像人类自己那样。

3.我们可以在芯片中制造人类智能。

4.智能可以被无限扩展。

5.一旦我们有了井喷式的超级智能，它就可以解决人类的大部分问题。

与这种正统观念截然不同，我发现了以下五种反假设，它们有更多支持证据：

1.智能不是一个单一的维度，因此，「比人类聪明」是一个毫无意义的概念。

2.人类并没有通用的头脑，而人工智能也不会有。

3.运用其它媒介对人类思维进行的仿效将受制于成本。

4.智能的维度不是无限的。

5.智能只是进步的一个因素。

如果对一个超人类人工智能接管人类的预期是建立在五个没有证据基础的关键假设之上，那么这个想法更类似于一个宗教信仰——一个神话（myth）。在下面的段落中，我分别扩展了对这五个反假设的证据，并举例说明，事实上一个超人类人工智能就是一种神话。

一

关于人工智能最常见的误解始于对自然智能的普遍误解。这种误解认为智能是单一维度的。大多数技术人员往往以 Nick Bostrom 在他的书《超级智能（Superintelligence）》中所使用的方法——作为表示幅度增加的一个逐字的单维线性图——来描绘智能。其中一端是低智能，比如某种小动物；另一端是高智能，比如一个天才——就好像智能是一个以分贝来表示的声音大小等级。当然，之后就很容易进行延伸想象，智能的响度继续增长，最终超过我们自己的高智能，成为一个超越人类的超级响亮的智能方式——一声咆哮！——甚至可能越出图表的范围。

这种模型的拓扑结构相当于一个梯子，因而智能的每一个梯级就是一层层地递增。劣等动物位于我们下面的较低层，而更高级别的智能（也即人工智能）将不可避免地超越我们而登上更高的阶梯。这种情况发生的时间尺度并不重要；重要的是排名——这是智能增加的指标。

这个模型的问题在于其本身是虚构的，就像进化的阶梯。在达尔文之前人们假定自然世界有一架生物存在（being）阶梯，其中低等动物居于人类下面的阶梯上。即使在达尔文之后，一个非常普遍的概念是进化阶梯，其中鱼类进化成爬行动物，然后进入哺乳动物阶段，继而进化为灵长类动物，最后进入人类阶段，每一次进化都比之前更加高级（当然也更加聪明）。所以智能的阶梯与存在的阶梯是平行的。但这两种模式都提供了一个完全不科学的观点。

一张更精确的物种自然进化图是一个向外辐射的圆盘，就像由德克萨斯大学的 David Hillis 首次设计的这张图（上图）那样，它是基于 DNA 的。这个深度宗谱曼陀罗以最原始的生命形式从中间开始，然后在一段时间之后向外分支。时间向外移动，使得居于该星球上最近期的生命物种构成了此圈圆周的周长。这幅画着重强调了一个难以理解的进化方面的基本事实：现世存在的每一个物种的进化程度都是相等的。人类与蟑螂、蛤、蕨类植物、狐狸和细菌一起存在于这个外环上。其中的每一个物种都经历了一个跨度三十亿年的成功繁殖的完整链条，这意味着现在的细菌和蟑螂与人类的进化程度是同等高级的。并不存在阶梯。

同样，也不存在智能阶梯。智能不是单一维度的。它是多种类型和认知方式的综合体，每个都是一个连续体。让我们做一个非常简单的任务：测量动物的智能。如果智能是单一维度的话，我们应该就能将一只鹦鹉、一只海豚、一匹马、一只松鼠、一只章鱼、一只蓝鲸、一只猫和一只大猩猩的智能按照正确的升序位置排列成一行。而我们目前还没有支持该排序结果的科学证据。其中一个原因可能是：动物智能之间没有区别，但我们也无法证明这点。动物的思考方式差异显著。但也许它们有着同样相关的通用智能（general intelligence）？可能是这样，但我们没法测量，也没有衡量该智能的单一指标。相反，我们针对许多不同类型的认知类型有着许多不同的指标。

一个更准确的智能模型是要绘制出它的可能性空间（possibility space），而不是一条单一的分贝线，如上图中由 Richard Dawkins 写的算法所创造的可能形式的渲染。智能是一个组合的连续体。多个节点，每个节点都是一个连续体，创建高度多样性的高维复合体。有些智能可能很复杂，有许多思维的子节点。其它的可能更简单，但也更加极端，处于空间的某个偏远角落。这些我们称之为智能的复合体可以被认为是包含多种乐器类型的交响乐。不仅在响度方面，它们在音高、旋律、音色、节奏等方面也有差异。我们可以把它们看作生态系统。从这个意义上说，思维的不同组成节点是相互依存并且是被共同创造的。

用 Marvin Minsky 的话来说，人类的心智就是心智社会（society of minds）。我们运行在思维的生态系统之上。我们包含多种类型的认知，这些认知做着许多类型的思考：演绎、归纳、符号推理、情绪智能、空间逻辑、短期记忆和长期记忆。人类内脏之中的整个神经系统也是一种类型的大脑，有其自己的认知模式。我们并不是真的仅仅用脑子思考；而是用全身进行思考。

.

各个个体与物种之间的这套认知体系各不相同。一只松鼠能记得几年前存放几千粒橡子的确切位置，这是人类思维难以办到的。所以在那一种认知中，松鼠是超过人类的。那种超能力包含了一些与人类能力相比并不显著的其它模式，从而会产生一只松鼠的思维。在动物王国中，还有许多比人类优越的其它认知专长，再次被包含进不同的系统中。

人工智能领域也是如此。人造心智在某些维度上已经超过人类。你的计算器是数学方面的天才，谷歌的记忆在某一维度上已经超出了人类自己的记忆能力。我们正使人工智能在某些特定模式中被设计为最佳。其中的一些模式是我们人类就可以完成的，但是它们还可以被设计得更好，比如概率或数学方面。其它还有一些我们人类根本无法办到的思维类型——记住六十亿张网页上的每一个词，这是任何搜索引擎都拥有的技能。在未来，我们将发明一种全新的认知模式，这种模式不存在于人类身上，也不存在于任何生物学领域。当我们发明人造飞行机时，我们受到了生物飞行方式的启发，主要就是拍动翅膀。但是我们发明的这个飞行机——-螺旋桨固定在一个固定宽翼上——是一个新的飞行模式，它在我们的生物世界中是未知的。这是截然不同的飞行方式。同样，我们也会发明自然界中不存在的全新的思维模式。在许多情况下，它们都会是针对具体工作的那些新而狭窄的小型具体模式）——或许某种类型的只在统计学和概率论中有用的推理。

在其它情况下，新的心智将会是复杂类型的认知，我们可以用它来解决单凭人类智能所不能解决的问题。商业和科学中的一些最困难的问题可能需要一个两步解决方案。第一步是：创造一种新的思维模式与人类心智一起工作。第二步：结合二者以解决问题。由于我们正在解决的是之前所无法解决的问题，因此我们想要将其称为比我们聪明的认知，但实际上它与我们是不同的。思维的差异是人工智能的主要好处。我认为一个有用的人工智能模型就是把它看作是外星智能（或人造外星人）。它的异质性将成为其主要资产。

同时，我们会将这些不同的认知模式整合到更加纷繁复杂的心智社会中。其中一些复合体会比我们人类更加复杂，而由于它们能够解决我们不能解决的问题，因此有些人会想称其为超人类。但我们不会把谷歌称作是一个超人类的人工智能，即使它的记忆能力在我们之上，因为在很多事情上我们可以做得比它更好。这些人工智能复合体肯定会在许多方面超越我们，但没有一个实体会拥有全盘的胜算。这类似于人类的体能。工业革命已经持续了 200 年，而当所有机器作为一个可以击败单个人的体能成就（跑步速度、举重、精密切割等）的类别时，却没有一台机器可以打败一个普通人所做的一切事情。

即使某个人工智能中的心智社会变得更加复杂，这种复杂性在目前还很难被科学地度量。我们没有良好的复杂性操作指标能够用以判断黄瓜是否比波音 747 更复杂，或者它们的复杂性可能会有所不同。这也是我们没有智能度方面的良好指标的原因之一。要确定心智 A 是否比心智 B 更加复杂是一件非常困难的事情，智能度的比较同理。我们很快就会达到那个明显的认知上来：「智能度」不是单一维度的，而我们真正关心的是智能运转的许多其它方式——我们尚未发现的所有其它认知节点。

二

有关人类智能的第二个误解是我们对于通用智能的信念。这种反复的信念影响了人工智能研究者的一个常见的既定目标，即创造一个通用人工智能（AGI）。然而，如果我们认为智能提供了一个很大的可能性空间，那么就不会存在通用状态。人类智能并非处于某个中心位置且周围有其它的特殊智能绕其旋转。相反，人类智能是一种非常特定类型的智能，已经演变了数百万年，使我们的物种生存在这个星球上。在所有可能的智能空间映射中，人类智能类型将被困在某个角落，就像我们的世界被困在广阔的星系边缘一样。

我们当然可以想象甚至发明出一个瑞士军刀类型的思维。它可能在许多事情上都能表现得不错，但没有一个会特别好。人工智能将遵循同样的工程学准则，这也是所有事物被发明和创造所必须遵循的准则：你不能优化每一个维度。你只能权衡。你不能让一个通用的多功能单元去优于那些特定的功能。一种每件事都做的大心智不能在每一件事上都做到和那些专用代理一样好。由于我们认为我们人类的心智是通用的，因此我们往往认为认知不符合工程师的权衡，那么就有可能建立一个最大限度提高所有思维模式的智能。但我对此没看到任何证据。我们只是没有发明足够的心智类型来观察整个空间而已（并且到目前为止，我们已经倾向于把动物的心智作为单一维度上一种幅度可变的单一类型来看待。）

三

这种最大化通用思想的一部分信念来自于通用计算的概念。后者在 1950 年被正式描述为丘奇-图灵假设（Church-Turing hypothesis），该猜想认为，满足一定阈值的所有计算都是等价的。因此，所有计算都拥有一个普遍的核心，无论它是发生在一台拥有众多快速或缓慢运转的部件的机器之上，或甚至于是发生在一个生物脑中，它们都遵循相同的逻辑过程。这意味着你应该能够在可以做通用计算的任何机器上模拟任何的计算过程（思维）。奇点论者对于制造硅脑来持有人类思想的期望就是依靠这一原则，他们相信我们能够造出像人类一样思考的人工心智，只是后者更加聪明。我们应该对这种希望持怀疑态度，因为它依赖于对丘奇-图灵假设的误解。

该理论的出发点是：「给定无限的磁盘空间（内存）和时间，所有计算都是等价的。」问题是在现实中，计算机并没有无限的内存或时间。当它在现实世界中运行时会产生巨大的实时差，这通常是生与死的时差。是的，如果你忽略时间，所有的思维都是等价的。是的，你可以在任何你想要的矩阵中模拟人类类型的思维，只要你忽略时间或现实生活中的存储和记忆约束。然而如果你纳入时间因素，那么你就得以一种重要的方式对该原则进行重申：在差距很大的平台上运行着的两个计算系统不会是实时等值的。还可以这样说：获得相同思维模式的唯一方法是让计算机运行于相同的平台基底之上。运行计算的物理物质——特别是当它变得更加复杂时——会极大地影响实时情况下能够被实现得很好的认知类型。

我将更进一步并断言：获得一个极其类人的思维过程的唯一途径，是将计算运行在类似人体那样的湿组织之上。这也意味着，运行在干燥芯片之上的极其庞大而复杂的人工智能会产生大而复杂的非人类思想。如果能用人工生长的神经元来构建人造湿脑，我预测它们的思想与我们的会更加相似。这样一个潮湿大脑的好处正比于基底与人脑的相似度。创建湿件的代价是巨大的，而该组织与人类脑组织越接近，那在成本效益上就越不如直接制造一个人类。毕竟，制造一个人类是我们在九个月之内可以做到的事情。

此外如上所述，我们是用自己的整个身体进行思考，而不只是使用头脑。我们有大量的数据显示出我们的内脏神经系统如何指导我们的理性决策过程，并能够预测和学习。我们越多地模拟整个人体系统，我们就越能够复制它。运行在一个十分不同的身体（干燥的硅片而非潮湿的碳基）之中的智能，其思考方式也不一样。

我不认为这是一个 bug，而是把它看做一项特性。正如我在第二点中谈到的，与人类不同的思维方式是人工智能的主要资产。这也是为什么我认为称它比人类聪明是一种误导的另一个原因。

四

超人类智能（superhuman intelligence ）的核心——特别是智能将自主改进这个观点——是智能不存在发展极限的根本信念。不过我没有找到任何支撑该论断的证据。再次，将智力误解为评判的唯一尺度助长了上述信念，不过我们也仅需要将其理解为一个信念即可。就目前科学所知，宇宙中不存在无限的物理尺度。温度的高低不是无限的——低温和高温都是有限的。同理，时间、空间、速度都非无限。或许数字是无限的，但是其它所有的物理属性都是有限的。按理说人类理性自身也是有限的。于是问题就成了：智能的极限在哪里？我们倾向于相信这个极限远非我们所及，这种距离就犹如我们与一只蚂蚁的差距一般。抛开一直反复出现的「唯一尺度」问题，我们有什么证据来证明这个极限就不是我们呢？为何我们就不能作为这个最大极值呢？亦或是这个极限距我们不远？为何我们要相信智能就是可以永远扩展下去的呢？

一个思考这个问题更有效的方式是，将我们人类的智能视作百万种可能智能的一员。所以，虽然每种认知能力和计算能力都存在一个极限，但是，如果存在成百上千种，那么便会有数不清的繁多的思维存在——它们其中没有一个在任何层面上是无限的。当我们构建或是遭遇这些思维的时候，我们或许会很自然地认为它们其中一部分已经超越了我们。在我最近初版的《必然（The Inevitable）》一书中，我勾勒出了这一部分在某种层面比我们高级的思维存在。以下是一份不完整的表单：

一种类似于人类心智的心智，只是回答速度更快（可以想到的最简单的人工智能心智）

一种非常慢的心智，主要由巨量存储和记忆构成

由数百万单个较为蠢笨的心智联合构成的全局超级心智

由许多非常聪明的心智构成的蜂巢心智（hive mind），但并不知道它/它们自己是一个蜂巢

一种半有机半机械（borg）的超级心智，由许多非常聪明的心智构成，这些心智也清楚自己自己构成了一个联合体

一种被训练用来专用于增强你的个人心智的心智，但对其他人没什么用处

一种能够想象更好的心智的心智，但不能创造它

一种能够创造更好的心智的心智，但对自己还不够了解，所以无法想象它

一种能够创造出更好的心智的心智，只能创造一次

一种能够创造出更好的心智，且该心智还能继续创造更好的心智的心智

当下有些人会想将这每一种思维存在都称为超人工智能。但是这些心智的如此这般的多样性与差异性将会带领我们找到关于智能和智慧新的概念和洞见。

第二，相信超人工智能的人们会假设智能将指数式地增长（在一些未知的单一衡量标准上面）。这大约是因为他们也假设认为智能已经在指数式地增长了。然而，目前为止，没有证据显示（无论你怎么测量它）智能正在如此增长。我所谓的指数式增长是说，人工智能在一定的时间间隔里发生幂函数式的翻倍。我根本不能找到这个说法的证据。如果没有这样的证据，那么为何我们还要假设它将在不久之后发生呢？唯一会呈现指数曲线增长的只有人工智能的输入，也即那些被用于生成智慧或智能的资源。但是输出性能并不会按照摩尔定律增长，人工智能不会每3年或10年就聪明一倍。

我询问了很多人工智能专家以求得到人工智能性能在以指数式增加的证据，但是他们所有人都同意我们并没有衡量智能的标准，此外，（即便在特定领域）智能也不是以指数式增长的。当我问到雷·库兹韦尔，他提出的指数增长这一概念，人工智能指数增长趋势的证据在哪里，他回复我说，人工智能不以指数式增长，但是其发展水平（level）是在以指数式增长。他说：「计算性和算法复杂度层面共同发生的指数式进步会在整个发展过程中不断为其添加上新的进展层级（level）……于是我们就能够期待去线性地添加这些层级。因为要进一步添加新的层级就需要更大的指数复杂度。实际上，我们的能力在不断指数式地前进。」我们距离可与自己一教高下的所谓新皮层（neocortex）层级并不遥远，因此，于我而言，我所预计的2029年这个节点（注：库兹韦尔预计2029年为其所谓的奇点元年，即人工智能超越人类智能的时间）依然适用。

库兹韦尔的意思似乎不是说人工智能的力量在指数爆炸，虽然人工智能的输出在一定时间里仅仅会上升一个层级，但是那种创造这种智能的努力在指数式的爆炸。这几乎站在了智能正在爆炸这个观点的反面。未来说不准，不过就现在而言，很显然人工智能没有指数式地增长。

因此，当我们设想一个智能爆炸的场景时，我们应该想象它是新品种的落英缤纷，而非如注的暴雨倾盆；一个寒武纪式的生命爆发，而非核武器式的链式爆炸。加速的技术带来的结果将不太可能是超人类（super-human），而是非人类（extra-human）。它们外在于我们的经验，但不一定超越我们。

五

关于超级人工智能，还有另一个未批判就被人接受的信念，它没有任何证据支撑，这个观点即：一个超级的、几乎无限的智能可以快速解决我们那些主要的未被解决的问题。

很多拥护智能爆炸的观点都期盼它也将促发进步的爆炸。我称此为神话般的信念，即意淫主义（thinkism）。未来进步的水平仅由缺乏思想的力量或是智力所阻碍，这个想法是存在谬误的。（我也或许注意到了这样一个现象，那种认为思想是可以治愈一切的灵丹妙药的观点被很多喜爱思考的人持有。）

我们以治愈癌症或延长寿命为例，这些问题不是单单靠思考就可以解决的。任何一个意淫主义者都不会发现细胞的衰老，或是端粒的脱落。没有一个智能，无论它多么厉害，可以仅凭阅读现今世界上所有已知的科学文献，然后就对其产生深思。没有一个超级人工智能可以简单地思考所有现今和过去的核裂变实验，然后就能在一天之内想出可工作的核聚变方案。在事物工作方式的未知层面和已知层面之间还需要除思考之外的很多东西。在真实的世界中存在着无数的实验，它们其中的每一个都会产生出更多的矛盾的数据，这些数据需要进一步的能够形成正确的可工作的假设的实验来研究。仅仅是对潜在数据的思考将不会产生正确的数据。

思考（智力）仅仅是科学的一部分，甚至或许是一小部分。例如，我们没有足够恰当的数据去接近如何解决死亡的问题。大部分活体有机体的实验都需要花很长时间。一个细胞的缓慢新陈代谢不会加速。它们会花数年、数月或至少数天才能给出结果。如果我们想知道在亚原子层面发生了什么，那我们不能单靠思考去把握它。我们必须建造非常巨大、复杂且精妙的物理结构才能找出结果。即便那些最聪明的物理学家比他们现在还要聪明1000倍，没有粒子对撞机，他们也不会知道任何新的东西。

毫无疑问，一个超级人工智能会加速科学的进程。我们可以在计算机上模拟原子或细胞，并且我们可以通过引入很多因素来让它们持续加速。但是在立即获得进展的过程中，有两个问题限制了模拟的可用性。首先，模拟和模型只会比它们的本体更快，因为它们遗漏了一些因素。这是一个模型或模拟的本质。也值得注意。这些模型的测试、检查和证明也必须花和其本体一样长的时间才可以说它们和其本体是匹配的。对自然真理的测试不能被加速。

这些模拟当中的简化版本可以有效地筛选出最有前景的可能道路，因此，它们可以加速进程。但是现实世界中没有多余；现实的一切都具有某种程度的独特性，这是现实的定义之一。当模型和模拟被越来越多的细节所加强之后，它们会遭遇如下限制：现实会比一个100%对其模拟的模型来得更快。这是对现实的另一个定义：当前自由所有细节和程度的最快的可能性版本。如果你能够模拟一个细胞中所有分子以及人体里的所有细胞，那么这个模拟就不会和人体过程一样快。无论你思考了多少东西，你任然需要花时间去做实验，不管是在真实系统中或是在模拟系统中。

人工智能必须在现实世界中发挥作用才能体现其价值，而这个世界也会反过来制衡其创新节奏。从试验到原型到失败再到实践，如果没有这些，人工智能仅仅是一种理论而毫无实际价值。如果没有每一分钟、每一小时、每一天或者每一年的创新发现，也不会出现比人还聪明的人工智能，而人工智能的发展无疑会显著加快其自身的进步速度，部分原因是由于外星人般的人工智能会问出人类不会问及的问题；但是人工智能的强大（相比于人类）并不意味着会立即带来进步。解决问题所需要的远不止是智能。

单靠智能不仅解决不了癌症和寿命延长问题，应用到智能自身也如此。奇点鼓吹者惯用的一个说法是，一旦你造出了一个比人类聪明的人工智能，那么它立即就会努力开发，造出一个比它自己还要聪明的人工智能，然后以此类推，直到产生指数爆炸，智能体几乎会变成类似上帝一般的存在。我们没有证据表明仅靠对智能的思考就可以创造出更高级的智能。这种意淫主义只是一种信念罢了。我们有很多证据表明，这项工作除了需要大量的智能外，还需要实验的支持、数据、尝试、错误和不寻常的质疑等等一切超越智慧的东西来创造成功的新一代智能。

我的结论是，我的这些观点可能是错的。我们还处在早期。我们有可能发现一种智能的通用标准，有可能发现它在任何方向上都是无限的。因为我们对智能是什么的了解是如此之少（更不用说意识为何物），所以人工智能奇点的出现概率还是比0大。我认为虽然所有的证据都显示，这样的场景非常不可能发生，但是它依然有可能发生（可能性大于零）。

所以，尽管我不同意奇点主义的观点，但是我依然同意 OpenAI 的更大目标，担心超人类人工智能的聪明人们认为我们应该开发对人类友善的人工智能并且向其灌输可自主复制的符合我们人类的价值观。尽管我认为一个超人类人工智能是一个存在于遥远未来的可能隐患（它值得我们去考虑），但是其可能性微乎其微，（基于我们目前拥有的证据）不应该来指导我们的科学、政策和发展。一颗砸到地球上小行星会引发大灾难，这的确有可能（所以我们应该支持B612基金会。注：这是一个致力于星球防御的非营利性组织。）但是我们不应该让这种可能性去支配我们在，比如说，气候变化、太空旅行甚至城市规划上作出的努力。

同样，目前为止证据显示人工智能很可能无法发展为超人类人工智能，但它的确会成为人类之外成百上千的会思靠的新物种；新物种与人类大有不同，它们只能从事具体工作，也不会立即成为可以秒速解决大问题的上帝。相反，将会有如星辰般丰富且有限的智能，它们在不同的超出我们想象的领域里工作，和我们一道及时解决现有的问题，并发现新的问题。

我理解一个超人类人工智能上帝带来的巨大吸引力，就像新的超人一般，但也正像超人，它是一个神话角色。在宇宙中的某处或许存在超人，但是这种可能性微乎其微。然而神话是有用的，一旦它们被发明出来，它们将不会消逝。关于超人的想法不会消逝，超人类人工智能奇点的想法，既然已经被提出，也将不会消逝。但是我们应该认识到，在当下这是一个类似宗教而非科学的概念。如果我们考察我们目前所有的关于智能、人工和自然的证据，我们只能总结说，我们关于一个超人类人工智能的猜测仅仅是：神话。

二战中，岛群之中的很多孤岛第一次与外界发生联系。不为所知的神一般的存在乘坐着轰轰作响的铁鸟划过岛民头顶的天空，把食物和物品空投在岛上，一去不复返。岛上的宗教信徒跳起舞来，祈祷神再次归来，并空降更多的物资。即使是五十年后的今天，依然有很多岛民祈祷着铁鸟再次归来，空投物资。超人类人工智能有可能被证明是另一种「物资崇拜」。一个世纪之后的人类也许会回首现在，那时的我们无时无刻不期盼着出现超人类人工智能，带来超乎想象的价值。数十年来人们一直等待着超人类人工智能的出现，并相信它会带着「物资」，很快到来。

然而非超人类人工智能已经实际存在。我们试图重新定义、限制它以在未来掌控它，但是从智能的宏观意义上来讲——其范围涵盖不同种类的机灵、智能、认知、理性、学习和意识——人工智能已遍布整个地球，并会持续地传播、深化、多样化和强大化。以前从不存在像人工智能这样可以改变人类世界的发明。在本世纪末，人工智能将无所不及并革新人类的一切；但是，超人类人工智能的神话——人类获得超级能力或者沦为超级奴隶（或者两者兼而有之）——很可能一直存在，这种可能性对人类来说是如此迷魅以至于太难舍弃。