智能爆炸不会发生，AI将线性发展

智能爆炸不会发生，AI将线性发展

François Chollet

机器之心

选自Medium

机器之心编译

在 Keras 作者 François Chollet 的眼中，无论是库兹韦尔的「奇点」还是《三体》中的「技术爆炸」都不会发生在人类社会、以及未来 AI 技术的发展中。这位著名谷歌工程师最近撰文指出，即使是「超级人工智能」也只能遵循线性的智力发展速度。本文发表仅数小时便迅速在社交网络中引发大量关注。

1965 年，I.J. 古德（译者注: I.J. Good，英裔数学家、密码学家）首次描述了「智能爆炸」（intelligence explosion）这一与人工智能（AI）密切相关的概念：

假设有一台超级智能机器，在智能上远超所有人，不管人有多聪明。机器设计是一种智能行为，从而超级智能机器可设计出更好的机器；无疑这会带来一场「智能爆炸」，人类智能望尘莫及。因此，第一个超级智能机器将是人类的最后一项发明，只要机器足够驯服，告诉我们如何控制它。

数十年之后，「智能爆炸」的概念——它导致过「超级智能」的异军突起以及人类军备竞赛的嘎然而止——已牢牢成为人工智能社区的一部分。一些著名的商业领袖将其看作一个巨大威胁，远超核武器或者气候变化。2015 年一项针对人工智能研究者的邮件调研中，29% 的人认为智能爆炸「有可能」或「很有可能」，另外有 21% 的人认为存在这种可能性。

基本前提是，在不远的将来，首个「种子 AI」出现，具备稍微超越人类的通用性问题解决能力。这个「种子 AI」开始设计更好的 AI，启动一个递归的自我进化之环，顷刻间把人类远甩身后，两者智能的差距更是数量级的。这一理论的拥护者同样把智能看作一种超自然的力量，赋予其改变生存环境的能力，正如在科幻电影《超验骇客》看到的一样。因此超级智能意味着几乎无所不能，从而威胁人类生存。

这部科幻小说中的故事持续而危险地误导着当前关于人工智能的威胁与监管的公共舆论。在本文中，我提出了「智能爆炸」不可能的观点：这一概念源自对智能的本质和递归自我增强系统（recursively self-augmenting system）行为的深刻误解。我会根据智能和递归系统的具体观察来论证我的观点。

一个源自误解智能的有缺陷的推理

正如 1960 和 1970 年代兴起的诸多人工智能早期理论，智能爆炸背后的推理也同样诡异：它以一种完全抽象的方式思考「智能」，彻底脱离语境，并忽视有关智能系统和递归自我完善系统的可用证据。实际上并非一定如此。毕竟我们在一个充满智能系统（包括人类）和自我完善系统的星球上，因此我们可以简单地观察，并从中找到问题的答案，而不是使用抛弃证据的循环推理。

为了探讨智能及其可能的自我完善属性，我们首先应该介绍一些必要的背景信息。当我们在讨论智能时我们到底在说什么？精确地定义智能本身就是一个挑战。智能爆炸中的智能是指由独立智能体展现出来的具备通用性问题解决能力的智能，不管是来自当前的人脑，还是未来的电子脑。这不是全部，定义只是一个起点，让我们继续。

智能是情境式的

我认为智能爆炸理论的第一个问题是未能意识到智能是在一个更广阔的系统中的必要组成，从而「缸中之脑」版本的智能可以获得任意的独立于情境的智能是错的。一个大脑仅仅是一块生物组织，不具备任何真正意义上的智能。在大脑之外，身体和感觉都是意识的基本组成，环境是意识的基本组成，人类文化是意识的基本组成，这些事物是你所有思想的来源。你不能割裂智能和表达智能自身的环境之间的关系。

特别是，我认为并不存在「通用」智能这种东西。从抽象层次上说，这是从「没有免费午餐」定理中得出来的结果。该理论指出，没有任何问题解决算法能够比纯随机搜索算法更优。如果智能是一个问题解决算法，那么它只能被应用于一个具体的问题。具体的说，我们根据经验可知所有的智能系统都是高度专业化的。我们今天构建的 AI 智能高度专一于极端狭隘的任务，比如下围棋或将图像分成 10000 个类。章鱼的智能只能专用于章鱼的问题。人类的智能只能专用于人类的问题。

假如我们将一个新构造的人类大脑放入章鱼的身体，并将章鱼放在海底深处生活，会发生什么呢？它还能学习使用它的八脚身躯吗？还能存活几天的时间吗？我们还没办法做这样的实验，但这启发我们想到，我们的最基本行为和早期学习模式都是硬编码的，很有可能这个章鱼中的人类大脑将不具备任何智能行为，且会迅速死亡。

假如我们将一个人类（包括大脑和身体）放入一个不存在任何已知的人类文化特征的环境中，会发生什么呢？被一群狼养大的人类小孩毛克利（电影《奇幻森林》），长大后会获得比其他狼更高的智能吗？和我们一样的智能？假如我们将婴儿毛克利换成婴儿爱因斯坦，他最终能通过自我教育而发展出宇宙的宏观理论吗？虽然经验证据相对缺乏，但从这些例子可以看出，在人类文化环境之外培育出来的儿童不可能发展出任何超越基本的动物生存行为的智能。长大成人之后，他们也没有语言能力。

如果智能基本地关联于特定的感觉运动形式、特定的环境、特定的培养方式和特定的实际问题，那么我们就不该期望仅仅通过调整大脑就能任意增长一个智能体的智能，这和企图将传输带加速以增加流水线的生产量是一回事。智能爆炸只能伴随意识、感觉运动形式和环境的联合演化。如果大脑机制决定了问题解决的能力，那么那些拥有超出常人 IQ 的少数人将获得比常人的视野宽广得多的生活，将解决之前无法解决的问题，并将统治世界（这正是人们惧怕的比人类聪明的 AI 会做的事情）。实际上，拥有高超认知能力的天才们通常过着很乏味的生活，其中只有很少一部分人取得了令人瞩目的成就。而那些曾经尝试统治世界的人，几乎没有哪个拥有高超的智能。

在困难问题上最终取得突破的人，一般会通过情景、性格、教育和智力等特性的结合，在自己对前人工作逐步完善的基础上取得突破。成功就代表智慧和足够能力以在正确的时间遇上大问题。这些重大问题的解决者大多都不甚聪明，他们的技能好像专门为特定领域所准备的，他们也不会在自己领域外展现出超常的能力。而有一些取得成功是因为他们是更好的团队成员，或者有更多的决心、职业道德或想象力。还有一些是因为恰好在正确的环境中、正确的时间上进行正确的对话。智能总是基于不同的情景的。

我们的环境严重限制着我们的个体智能

智能不是一种超力。杰出的智能本身无法成比例地使你拥有掌控环境的能力。然而，一个有据可查的事实是 IQ 层面的智能确实与个人成就相关。据统计，一个 IQ 130 的人其人生成功率要远高于 IQ 70 的人——尽管这在个体层面永远无法保证——但是某一点之后，这种相关性会下降。相比于 IQ 130 的人，没有证据表明一个 IQ 200 的人在其领域更有可能产生较大的影响力。为什么会这样？

这指出了一个非常直观的事实：高成就需要足够的认知能力——超出一些阈值——但是解决问题、表达智能的当前瓶颈不是潜在的认知能力本身。瓶颈是我们的境况。我们的环境决定着我们的智能如何表现自身，从而严格限制着大脑的用处——我们如何成长为多么地智能，我们能够多么有效地利用智能，以及我们能够解决什么问题。所有证据都指向这一事实：我们当前的环境——它与过去 20 万年前的人类历史和史前环境很像——并不允许高智能个体充分发展和利用其认知潜力。一个 1 万年前的高潜力的人类已经成长在一个低复杂度的环境中，比如说少于 5000 词的单语种，但是他永远不会被教读或写，只接触到有限的知识和极少的认知挑战。对现代人来说情况稍微好转，但没有迹象表明目前我们的环境机会超过了我们的认知潜力。

不知怎么地，相较于爱因斯坦大脑的重量和卷积，我几乎肯定地对在棉田和血汗工厂里劳作而死的天资等同之人更感兴趣。——Stephen Jay Gould

一个聪明的人在丛林中长大，只不过是一个没有毛的猿类。同样在现实世界中若将超脑智能嵌入一个人类的大脑，那也不会比一个聪明的当代人发展出更大的能力。如果可能的话，那么特别高智商的人类就已经显示出个人学识水平的超高水准。他们会在控制周围环境的能力中展现很高的水平，并用其解决主要突出的问题，也许这些问题并不实用。

我们的智能主要不在大脑，而是外显为文明

决定人脑智能的因素不只是身体、感觉和环境，人脑只是我们整体智能的一小部分。我们周围有很多「认知假肢」影响我们的大脑，增强其问题解决能力。智能手机、手提电脑、谷歌搜索、学校教的认知工具、书、其他人、数学符号、编程，所有这些认知假肢中最基础的部分当然是语言，语言本质上是一个用于认知的操作系统，没有它我们就无法进行深刻思考。这些事物不只是输送到大脑、由大脑使用的知识，它们也是外部认知过程，以一种非生物的方式运行无数思绪和问题解决算法，跨越时间、空间，更重要的是跨越个体。这些认知假肢不是我们的大脑，而是我们的认知能力的关键所在。

我们即是工具。个人本身没有什么意义，再次强调，人类只是两足人猿。而数千年来知识的不断累积、外部系统的不断发展，我们称之为「文明」，正是这些使我们超越动物性。当科学家取得突破的时候，大脑中的思考过程只是一小部分，科学家还将大量问题解决过程交给了计算机、其他研究者、论文笔记、数学符号等等。他们能够取得成功，是因为他们站在巨人的肩膀上。他们自己的研究是几十、几千个人问题解决过程的最后一个子程序。他们自己的认知工作对整个过程的作用可能就像芯片上的一个晶体管。

个人大脑无法实现递归性的智能增强

大量证据表明：人脑本身无法设计比它更强的智力。这是纯粹的经验性论断：这个世界存在过数十亿个人脑，没有一个做到的。很明显，凭借单个人的智力，穷其一生也无法设计智力。否则，这件事早就发生了。

但是，数十亿人脑、数千年间累积的知识和开发的外部智力过程实现了一个系统——文明，这或许最终将带来比单个人脑智力更强的虚拟大脑。创造超人类 AI 的会是文明，而不是你，不是我，也不会是任何其他人。这个过程包括无数人的努力，其中的时间尺度是我们无法理解的。它也是一个外部智力（书、计算机、数学、科学、互联网）比生物智力发挥更大作用的过程。从个人角度来看，我们都只是文明的向量，建立在之前的研究上，然后创造我们自己的发现。我们只是暂时的晶体管，文明的问题解决算法就在我们身上运行。

经过数个世纪的发展，未来的超人类 AI 会开发出比它们自己更强大的 AI 吗？不，它们在这方面的能力不会比人类更强。回答「是」就是罔顾我们已知的事实——请再次记住没有人类，任何智能体都无法开发出比它们自己更强的智能。我们要做的就是一起逐步构建比我们强大的外部问题解决系统。

但是，未来酷似人类的 AI 和我们目前生产的其他智能系统都将对我们的文明作出贡献，而文明也会利用它们不断扩展 AI 的能力。从这个层面上，AI 和计算机、书、语言并无不同：它是一种为文化赋能的技术。因此，超人类 AI 的到来和计算机、书或语言一样不会带来奇点。文明将促进 AI 发展。文明将最终超越现在的我们，正如它超越了一万年前的人类一样。这是一个循序渐进的过程，不是突然的转变。

智能爆炸的基础前提是：「具备比人类强大的问题解决能力的「种子 AI」将出现，导致突然失控的智能增强循环」的想法是错误的。我们的问题解决能力（尤其是设计 AI 的能力）一直在提升，因为这些能力主要不是因为生物大脑，而是由于外部的、集成的工具。这种递归循环已经存在很长时间了，和之前的智能增强技术一样，「更好的大脑」的出现也无法从根本上动摇它。人脑本身不是 AI 设计过程中的瓶颈。

在这种情况下，你可能会问「文明自身难道不是一种失控的自我提升的大脑吗？」我们的文明智能正在爆炸吗？不。关键在于，文明级别的智能提升循环只能带来我们问题解决能力的时间线性发展。这不是爆炸。但是为什么呢？数学上递归地改善 X 不是会导致 X 的指数增长吗？不会，简言之，没有一个复杂的现实世界系统可以被建模为 X(t + 1) = X(t) * a, a > 1。没有系统是存在于真空中的，尤其智能和人类文明。

我们所知的递归自我改进系统

当智能系统开始优化自己的智能时，我们不必猜测它是否会发生「爆炸」。实际上，生活中大多数系统都是递归自我改进的，我们被这些系统包围着，所以想要理解它们的运行方式非常简单——在各种环境和各种时间尺度上。人类自己就是一个递归自我改进系统：通过自学变得聪明，再通过已有知识不断提高自学效率。同样，人类文明也是递归自我改进的——在更大的时间尺度上。机电一体化是递归自我改进的——好的机器人可以再产出更好的机器人。军事帝国是递归自我扩张的——越大的帝国拥有越多的军力，可以扩张到更远处。个人投资也是递归自我改进的——你有越多的钱，就能赚到更多的钱。这样的例子比比皆是。

思考一下计算机软件。编写软件显然可以让编写软件的过程更加便捷：首先，我们制造编译器，可以执行「自动编程」，然后我们使用编译器开发实现更强大编程范式的新语言。我们再使用这些语言开发先进的开发工具——Debugger、IDE、Linter、Bug 预测器。在未来，软件甚至可以自己编写软件。

这个递归自我改进过程的最终结果是什么？今年这个软件能够比去年快两倍吗？明年能再快两倍吗？可以说，在我们投入巨大精力开发软件的情形下，软件的可用性呈现线性增长的速度。近几十年来，软件开发者的数量呈指数级增长，我们运行软件的晶体管数量也在迅速增长，遵循摩尔定律。但是，人类计算机的可用程度增长速度却没有这么快。

但为什么？首先，因为软件的可用性本质上受到应用环境的限制——这很像智能被其表达者所定义和限制。软件仅仅是更大过程中的一个小小齿轮——我们的经济、我们的生活的很小一部分——就像大脑只是更大过程中的小齿轮一样——人类文明的很小一部分。这样的情况严格限制了软件的最大可用潜力，这就像我们的环境严格限制了个体智慧可以做到的事情一样——即使拥有超级智慧的个人也无法改变这个状态。

除了环境的硬性限制之外，即使系统的一部分具有递归自我提升的能力，系统的其他部分也不可避免地会成为瓶颈。在递归自我完善过程中，对抗过程也将越来越明显地展露出来——在软件中，它是资源消耗、功能蔓延（feature creep）、用户体验问题。当谈到个人投资时，你花钱的速度也是一种对抗过程——你有越多的钱，你就会花掉越多的钱。而在智能上，系统间的沟通是对基础模块进行改进时的一个制约因素——一个智能组件形成的大脑在协调各部分时会遇到越来越多的麻烦。一个聪明的个人组成的社会需要在交流和沟通等方面进行更多的投入。智商非常高的人更可能患有某些精神疾病——这应该不是巧合。古代的军事帝国在发展到一定规模时就会分崩离析，这或许也不是偶发事件。指数性发展，会遇到指数性的阻力。

值得关注的一个具体例子是人类科学的发展，它在概念上与智能本身非常接近——作为一个解决问题的系统，科学非常接近失控的超级 AI。科学当然是一个递归的自我完善的系统，因为科学的进步，我们有了更多的工具来加速科学的发展——无论是实验中的硬件（如量子物理催生出了激光，从而引出了大量新的量子物理实验）、概念工具（如新定理、新理论）、认知工具（如数学符号）、软件工具，以及能够让科学家们互相配合的通信协议（如网络）……

然而，现代科学的发展速度是一个可衡量的线性过程。我在 2012 年一篇名为《奇点不会来到》的文章中详细解释了这件事。我们在 1950 年-2000 年的物理学进展速度并没有超过 1900 年-1950 年。现代数学的发展速度也不如 1920 年我们做到的更快。近几十年来，人类在医学科学领域的发展在各种层面的考量中均呈线性。而这个速度还是在人类投入越来越多精力的情况下达成的——我们的研究人员数量每隔十五到二十年就要翻一番，同时这些研究人员也在使用着越来越快、计算速度呈指数发展的计算机。

这将如何做到？哪些瓶颈和对抗反作用拖慢了科学递归自我提升系统发展的速度？有太多因素了，让我们列举其中的一部分。重要的是，其中的每个因素都同时适用于递归自我改善 AI 系统。

在给定领域进行科学研究的难度会随着时间推移而增加——该领域的创始人会先摘下低处的果实，而实现相同的进展则需要后来者做出更多的努力。在信息论上，再也不会有人能够达成香农 1948 年论文《通信的数学原理》那样的突破了。

研究人员之间的分享与合作会随着领域的扩大而呈指数级增长，其结果会导致紧跟最新论文的发展愈发困难。请记住，N 个节点的网络就有 N×（N-1）/2 个边。

随着人类科学知识体系的不断膨胀，我们在教育培训上投入的时间和精力正在不断增多，对于每个研究者来说，可以探索的方向却也变得越来越狭窄了。

在实践中，系统瓶颈、收益递减和对抗反应最终会压缩我们周围所有递归过程的自我改进。自我提升确实会带来进步，但这种过程往往是线性的，或者充其量是 S 形的。你种下的第一颗种子通常并不会突然变成森林；取而代之的是，投资回报的增长和与之相关的成本会让你的财富随着时间线性增长。而这是一个比自我改善意识简单得多的系统。

同样，第一个超级 AI 将仅仅相比我们的现有智力再上一个台阶，而人类攀登的过程已经持续很久了。

结论

智能的进步来源于（生物学或数字）大脑、感知运动功能、环境和文化的共同进化，并不能通过简单地调整缸中大脑的几个齿轮来独立完成。这种共同进化已经经过了无数时间，并将会随着智能转向数字化而继续。「智能爆炸」不会发生，因为这个过程将以接近线性的速度前进。

智能是基于环境的——不存在通用智能这样的东西。你的大脑是更广泛系统的一部分，后者包括你的身体、你所处的环境、其他人，以及整个环境。

不存在凭空出现的系统，任何单独的智能都会被其所处环境所定义或限制。目前，我们的环境——并非我们的大脑——是智能发展的瓶颈。

人类智慧很大程度上是客体化的，它并不存在于大脑之中，而是存在于整个文明当中。我们是自己的工具——我们的大脑是比我们大得多的认知系统中小小的模块。这个系统千百年来一直在自我进化的过程中。

递归自我完善系统因为存在瓶颈、收益递减和其他因所处环境而产生的负反馈，在真实环境下并不能以指数形式向前发展。经验上看，它趋向于 S 型曲线，或者线性。事实上，科学进步尤其如此——科学可能是我们能够观察到的最接近递归自我完善 AI 的系统了。

递归智能膨胀已经在人类文明层面上发生了。在人工智能时代，这一发展还将继续，而且速度仍然将是线性的。

原文链接：https://medium.com/@francois.chollet/the-impossibility-of-intelligence-explosion-5be4a9eda6ec

发布于 2017-11-29

著作权归作者所有

文章被以下专栏收录

机器之心

关注人工智能学术和技术实现