第五部分 结语

思考6个关键问题，激发人工智能的终极潜力

问题1：自动驾驶汽车还要多久才能普及？

美国国家公路交通安全管理局为车辆定义了6个自动等级。
0级：人类驾驶员执行全部的驾驶任务。
1级：车辆能够偶尔通过控制方向盘或车速来对人类驾驶员提供支持，但不能同时进行。
2级：在某些情境下（通常是在高速公路上），车辆可以同时控制方向盘和车速。人类驾驶员必须时刻保持高度注意力，监控驾驶环境，并完成驾驶所需的其他行为，如变换车道、驶离高速公路、遇到红绿灯时停车、为警车让行等。
3级：在某些特定情境下车辆可以执行所有的驾驶行为，但是人类驾驶员必须随时保持注意力，并随时准备在必要时收回驾驶控制权。
4级：在特定情境下，车辆能够完成所有的驾驶行为，人类不需要投入注意力。
5级：车辆可以在任何情境下完成所有驾驶行为。人类只是乘客，并且完全不需要参与驾驶。

注意那个非常重要的限定条件：在特定的情境下。我们无法为这个特定情境列出一个详尽的清单，比如说，对于一辆4级自动驾驶汽车而言，尽管你能想象到许多有可能会对其造成挑战的情境：恶劣的天气、城市交通拥堵、在建筑区域内导航穿行，或是在没有任何车道标志的、狭窄的双向道路上行驶。

想要让我们的汽车实现真正的自动驾驶，还有哪些障碍？
主要的障碍是我在第06章中描述的那些长尾效应（边缘案例），即车辆没有接受过训练的情境，通常，它们单独发生的可能性很小，但当自动驾驶车辆被普及时，整体来看，这些情况就会频繁发生。正如我所描述的，人类驾驶员会使用常识来处理这些事件，即通过将新遇到的情境与已了解的情境进行类比的方式来理解、预测并处理新的情境。
车辆的完全自主也需要我在第14章中描述过的那种核心直觉知识，包括：直觉物理学、直觉生物学，特别是直觉心理学。为了让车辆在所有情况下都能可靠地驾驶，其驾驶员需要了解共享道路的其他驾驶员、骑自行车的人、行人和动物的动机、目标，甚至情感。打量一眼复杂的情境并瞬间判断谁有可能横穿马路、冲过街道去追赶公共汽车、不打信号灯就突然转向，或者在人行横道上停下来调整损坏的高跟鞋，这是大多数人类司机的第二天性，但自动驾驶汽车还不具备这些。
自动驾驶汽车面临的另一个迫在眉睫的问题就是：各种潜在的恶意攻击。计算机安全专家已经表明：当今我们驾驶的许多非自动驾驶汽车正越来越多地受到软件的控制，因而它们与无线网络（包括蓝牙、手机网络和互联网）的连接很容易受到黑客的攻击。由于未来的自动驾驶汽车将完全受软件控制，它们更可能受到黑客的恶意攻击。除此之外，正如我在第06章所描述的，机器学习研究人员已经证明，对自动驾驶汽车的计算机视觉系统的潜在对抗性攻击是存在的，比如，在停车标志上贴上并不显眼的标签，会使汽车将它们识别为限速标志。所以，为自动驾驶汽车开发合适的计算机安全防御系统将与开发自动驾驶技术同样重要。
除了黑客攻击外，自动驾驶汽车还可能面临的一个问题就是我们所谓的人性。人们难免会想对完全自动驾驶汽车搞一些恶作剧，以探索它们的弱点，例如，在车前来回走动假装要过马路，来阻止汽车前进。应该如何给汽车的自动驾驶系统进行编程，使其能够识别和处理这种行为呢？对于完全自动驾驶汽车，还有一些重大的法律问题需要解决，比如，谁应该为一起事故负责？以及这类汽车需要办理哪种保险？
对于自动驾驶汽车的未来，还存在一个尤为棘手的问题：汽车行业应该以实现部分自主驾驶——汽车在特定情境下执行所有驾驶行为，但仍然需要人类驾驶员保持注意力并在必要的时候接管为目标？还是应该以实现完全自主驾驶——人类能够完全信任车辆的驾驶并且完全无须花费注意力作为唯一目标？
由于我上面所描述的问题，实现足够可靠的、在几乎所有情境下都能自主行驶的完全自动驾驶汽车的技术还不存在，我们也很难预测什么时候这些问题才能被解决，专家们的预测从几年到几十年不等。一句值得记住的格言是：对于一项复杂的技术项目，完成其前90%的工作往往只需要花费10%的时间，而完成最后10%则需要花费90%的时间。
支持3级自动驾驶的技术现在已经存在，但正如已被多次阐明的那样，人类在部分自动驾驶上的表现非常糟糕。即便人类驾驶员知道他们应该时刻保持注意力，但他们有时也做不到，由于车辆无法处理某些特殊的情况，那么事故就可能会发生。
这对于我们来说意味着什么？要实现完全自动驾驶，本质上需要通用人工智能，而这几乎不可能很快实现。具备部分自主性的汽车现在已经存在，但是由于人类驾驶员并不总是能集中注意力，因此还是很危险。对于这一困境最可能的解决方法是改变对完全自主的定义，可以将其改为：仅允许自动驾驶车辆在建造了确保车辆安全的基础设施的特定区域内行驶。我们通常将这一解决方案称为“地理围栏”（geo-fencing）。
当然，那些令人讨厌的喜欢恶作剧的人也包含在地理围栏内。吴恩达建议，行人需要学会在身处自动驾驶汽车的周围时表现得更加可预测：“我们需要告诉人们的是，请遵守法律并多加体谅。”吴恩达的自动驾驶公司Drive.ai已经推出了一支能够在特定的地理围栏内接送乘客的完全自主的自动驾驶出租车车队，从得克萨斯州开始，因为这里是美国少数几个法律允许自动驾驶车辆上路的州之一。我们很快就能看到这将会取得什么成果。

其实如果让机动车道只允许自动驾驶车辆行驶的话，抛开受攻击、系统故障之外，这样的交通可能才是效率最高的，而且可以不用考虑太多的复杂情景，加速自动驾驶的应用推广。而且这是在咱们国家这个政体下更容易实现的。

问题2：人工智能会导致人类大规模失业吗？
我的猜测是不会，至少近期不会。马文·明斯基的“容易的事情做起来难”这句格言仍然适用于人工智能的大部分领域，并且许多人类的工作对于计算机或机器人而言可能比我们想象的要困难得多。
毫无疑问，人工智能系统将在某些工作上取代人类，它们已经取代了部分的人类工作，其中很多都给社会带来了益处。目前没有人知道人工智能会在总体上对就业产生什么样的影响，因为没有人能够预测未来人工智能的能力。
关于人工智能对就业可能产生的影响已有很多报道，尤其是关于包含驾驶员在内的数百万个岗位的脆弱性，很有可能从事这些工作的人最终会被取代，但我们无法确定自动驾驶汽车何时才能大规模普及，从而使得这一时间很难被预测。
尽管存在不确定性，但技术和就业的问题恰恰是人工智能伦理整体正在讨论的一部分。很多人指出：从历史上看，新技术创造了与它们所取代的一样多的新就业岗位，人工智能可能也不例外。也许人工智能将接手卡车司机的岗位，但由于人工智能伦理发展的需要，该领域将会为道德哲学领域创造出更多岗位。我说这些不是为了削弱潜在的问题，而是为了表达关于这一问题的不确定性。美国经济顾问委员会2016年发布的一份关于人工智能可能会对经济产生影响的调查报告强调：“人们对这些影响的感受有多强烈，以及它将以多快的速度到来，仍存在很大的不确定性，根据现在可掌握的证据，我们不可能做出具体的预测，因此政策制定者必须为一系列可能的结果做好准备。”

问题3：计算机能够具有创造性吗？
对很多人来说，计算机具有创造性这个想法听起来像是一个悖论。机器的本质，归根结底是“机械性”，这是一个在日常语言中和“创造性”相对立的术语。怀疑论者可能会争辩道：“一台计算机只能做那些人类编码要求其完成的事情，因此它是不可能具有创造性的，创造性需要独立创造出一些新事物。”
有一种观点认为：由于从定义上来说，一台计算机只能做一些经过明确编码的事情，因而它不可能是具有创造性的。我认为这种观点是错误的。一个计算机程序可以通过许多种方式生成其编码人员从未想到过的东西。我在前一章中描述过的Copycat程序经常会想出我从未想到过的类比方法，并且有它自己的奇怪逻辑。我认为从原则上讲，计算机是有可能具有创造性的，但我也认同，具备创造性需要能够理解并判断自己创造了什么。如果从这个角度来看，那么，现在没有一台计算机可被看作是具有创造性的。
一个相关的问题是：计算机程序是否能够生成一件优美的艺术或音乐作品。虽然美感是高度主观的，但我的答案绝对是能，因为我见过大量很美的由计算机生成的艺术作品，比如计算机科学家和艺术家卡尔·西姆斯（Karl Sims）的“遗传艺术”。西姆斯利用一种受达尔文自然选择理论启发的算法，来编码计算机使之生成数字艺术品。该程序利用带有一些随机元素的数学函数来生成几种不同的候选艺术品，让研究人员选择他们最喜欢的艺术品。然后，该程序通过在其底层数学函数中引入随机性来创建所选艺术品的变体，研究人员随后会从这些变体中选择其最喜欢的一件，以此类推，进行多次迭代。西姆斯通过这种方法创造出了一些令人惊叹的抽象作品，并已在博物馆展览中被广泛展出。
西姆斯的程序的创造力来自人与计算机的合作：计算机生成原始的艺术作品，然后生成其后续变体，而人类对计算机生成的作品做出评判，其依据来自人类对抽象艺术的理解。计算机对抽象艺术并没有任何理解力，因此它本身并不具有创造性。
在音乐生成方面，也有类似的例子，计算机生成了美妙的或至少令人愉悦的音乐，但我认为其创造力只能通过与人类合作才能产生，人类提供了判断一曲音乐好坏的理解，这对计算机的输出结果提供了判断依据。
令我十分困惑的是，2005年，科普销毁了EMI所有的音乐特征数据库。他的理由是：由于EMI能够如此容易地进行无限创作，评论家会因此低估它的价值。科普认为，只有像哲学家玛格丽特·博登（Margaret Boden）所写的那样，成为“有限之物，就像所有必死的人类作曲家那样”，EMI才会被珍视为作曲家。
我不知道我的看法是否会为侯世达带来一些慰藉，他对EMI给他印象最深刻的作品以及足以愚弄专业音乐家的能力感到非常不安。我理解侯世达的担忧，正如文学家乔纳森·戈特沙尔（Jonathan Gottschall）在《会讲故事的机器人在崛起》一文中所描写的那样：“艺术可以说最能区别人类与其他生物之间的不同，这是我们人类引以为傲的事情。”我想补充的是：让我们感到自豪的不仅是我们可以创造艺术，还有我们对艺术赏析的能力、对其感人之处的理解以及对作品传递的信息的体会。这种赏析和理解的能力对观众和艺术家来说都是必不可少的，没有这些，我们就不能说一个生物是有创造力的。简而言之，要回答“计算机能够具有创造性吗？”这个问题，在原则上我会回答：“是的，但这不会很快实现。”

问题4：我们距离创建通用的人类水平AI还有多远？
对于这一问题，目前基本上存在两种观点。
第一种观点，我将引用艾伦人工智能研究所的所长奥伦·埃齐奥尼的话来回答这个问题：“做出你的估计，延长至2倍、3倍，再延长至4倍，那就到它实现的时候了。”
第二种观点，回顾前一章中安德烈·卡帕西的评价：“我们真的，真的相距甚远。”这也是我的观点。
我们所知道的是，通用的、人类水平的人工智能需要人工智能研究人员数十年来一直努力去理解和再现的能力，比如，对常识的理解、抽象和类比等，但这些方面的能力被证明是非常难以获得的。而且，其他一些重大的问题仍然存在：通用人工智能将需要意识吗？有对自我的感知吗？能感受情绪吗？具有生存的本能和对死亡的恐惧吗？需要一具躯体吗？正如我在前文引用的明斯基的那句话：“我们现在还处在关于心智的一系列概念的形成期。”
我发现关于计算机何时能实现超级智能的问题是令人苦恼的，至少看起来是这样。这里所说的超级智能是一种在几乎所有领域，包括科学创造、通用智能和社交技能等领域，都要比最强的人类大脑还要聪明许多的智能。
许多人断言：如果计算机达到通用的、人类的水平，这些机器将很快变成超级智能的，整个过程类似于古德对“智能爆炸”的预言（参考第03章中的相关描述）。这种观点认为：一台具有通用智能的计算机将能够以闪电般的速度阅读人类的所有文件，并学习目前可知的所有知识。同样，它将能够发现，通过自己不断增长的推理能力，所有的新知识都可被它转化为自身新的认知能力。一台这样的机器不会受到人类那些令人懊恼的弱点的限制，如人类思维和学习的迟缓性、非理性、认知偏见、对无聊事务的低忍耐性、对睡眠的需求以及各种情绪，所有这些都妨碍了创造性思维的产生。按照这种观点，一台超级智能机器将具有一些接近“纯粹智能”的东西，不受任何人类弱点的限制。
在我看来更有可能的是：这些所谓的人类局限性，正是构成我们人类的通用智能的一部分。在现实世界中劳作的躯体、我们进化出的能够让人类作为一个社会组织来运行的情绪和非理性偏见，还有所有其他偶尔被认为是认知缺陷的品质给我们带来的束缚，实际上正是让我们成为一般意义上的聪明人而不是狭隘的博学之士的关键。我无法证明这一点，但我认为通用智能很有可能无法剥离所有这些人类的或机器的明显缺陷。
侯世达在其“GEB”一书的“10个问题和推测”部分，使用了一个看似简单的问题来回应这个问题：“一台会思考的计算机能够快速计算加法吗？”他给出的答案是：“也许不会。我们自身是由可进行复杂计算的硬件组成，但这并不意味着在我们的‘符号级别’（symbol level），即‘我们’本身知道如何执行同样复杂的计算。幸运的是，你的符号级别（即‘你’）无法访问你现在正在执行思考任务的神经元，否则你会变得头脑糊涂，为什么对一个智能程序不应是同样的呢？”侯世达接着解释说：“像我们人类一样，一个智能程序会将数字表示成一个完备的、充满关联的概念，有了所有这些需要随身携带的额外的‘负担’，一个智能程序在执行加法时就会变得相当迟钝。”当我第一次读到这个答案时，我感到很惊讶，但现在我觉得它很正确。

问题5：我们应该对人工智能感到多恐惧？
如果你对人工智能的看法来自电影和科幻小说，甚至一些流行的非科幻小说作品，那么，你可能会害怕人工智能变得有意识、恶毒，甚至试图奴役或杀死我们所有人。考虑到我们距离任何通用智能都还很遥远，所以，目前这些问题并不是人工智能领域的大多数人所担心的。正如我在本书中描述的那样，当下社会对人工智能技术的不假思索地接受，存在以下风险：造成大量人失业的可能性、人工智能系统被滥用的潜在风险，以及这些系统在面对攻击时的不可靠性和脆弱性。这些仅仅是人们对技术可能对人类生活产生影响的一些非常合理的担忧。
我以侯世达对人工智能之最新进展感到惊慌的一段见闻作为本书的开始，但在很大程度上，令他感到恐惧的是完全不同的事情。侯世达担心的是：人类的认知能力和创造力变得如此轻易就能被人工智能程序习得，从而使得他最为珍视的基于人类思想的崇高创作，如肖邦的音乐，可被像是EMI那样的人工智能程序使用的那套肤浅的算法替代。侯世达感叹道：“如果这种无限微妙、复杂且情感深厚的思想会被一块小小的芯片所简化，这会摧毁我对人性的理解。”侯世达同样对库兹韦尔关于即将到来的奇点的预测而感到困扰，他担心如果库兹韦尔的这种预测从任何一方面来说是正确的，那么我们将被取代，我们将成为遗迹，我们将被尘埃淹没。
我对侯世达的这些担忧有同感，但我认为它们的到来还为时过早。最重要的是，本书所要传达的观点是：我们人类倾向于高估人工智能的发展速度，而低估人类自身智能的复杂性。目前的人工智能与通用智能还相距甚远，并且我不认为超级智能已经近在眼前了。如果通用人工智能真的会实现，我敢保证，它的复杂性能够与我们人类的大脑相媲美。
在任意一个关于人工智能领域近期需要担忧的事项的列表中，超级智能都理应稳稳地待在列表的最下面。实际上，超级智能的反面才应该是我们真正需要担心的问题。在本书中，我阐述了即便是最完善的人工智能系统也很脆弱，例如，当系统输入与其训练样本相差太大时，它们就会出错。通常我们很难预测人工智能系统在什么情况下会变脆弱。语音转录、语言翻译、图像描述、自动驾驶等，这些对稳健性要求很高的场景，仍然需要人类的参与。我认为，短期内人工智能系统最令人担忧的问题是：我们在没有充分意识到人工智能的局限性和脆弱性时就给它赋予了太多的自主权。我们倾向于拟人化人工智能系统，我们把人类的品质灌输给这些系统，却又高估了这些系统可以被完全信任的程度。
经济学家塞德希尔·穆来纳森（Sendhil Mullainathan）在撰写关于人工智能之危险的文章时，在他提出的“尾部风险”（tail risk）的概念中引用了我在第06章中描述过的长尾效应：
我们应该感到害怕，不是害怕机器太智能，而是害怕机器做出一些它们没有能力做出的决策。相比于机器的“智能”，我更害怕机器的“愚笨”。机器的愚笨会创造一个尾部风险。机器可以做出很多好的决策，然后某天却会因为在其训练数据中没有出现过的一个尾部事件而迅速失灵，这就是特定智能和通用智能的区别。
或者正如人工智能研究人员佩德罗·多明戈斯所说的那段令人印象深刻的话：“人们担心计算机会变得过于聪明并接管世界，但真正的问题是计算机太愚蠢了，并且它们已经接管了世界。”
因此，我们应该对人工智能感到害怕吗？或许应该，又或许不应该。具有意识的超级智能机器不会在近期出现，我们最为珍视的人性不应被拿来与一套算法相提并论，至少我认为不应该如此。然而，在对算法和数据的不道德使用及其危险的潜在用途方面，仍然存在很多令人担心的问题。这很可怕，但让人欣慰的是，这一问题近期在人工智能研究领域以及一些其他领域中受到了广泛关注。研究人员、企业界代表和政界人士在解决这些问题的紧迫性上正逐渐形成一种合作意向和共同目标。

问题6：人工智能中有哪些激动人心的问题还尚未解决？
我的答案是：几乎所有问题。
当我开始从事人工智能领域的研究时，我发现这个领域令人兴奋的一部分原因是：该领域几乎所有的重要问题都是开放的，并且总在等待新想法的涌入。我认为现在仍然是这样。
我们可以回到这个领域的开端，约翰·麦卡锡等人在1956年的建议书（在第01章中描述过）中列出了人工智能领域中的许多重大研究课题：自然语言处理、神经网络、机器学习、抽象概念和推理以及创造力。如今，这些问题依然是人工智能领域最核心的研究课题。2015年，微软的研究院主任埃里克·霍维茨打趣道：“甚至可能有人会说，这份1955年的提案，如果经过适当的重新整理，可以再提交给美国国家科学基金会一次，说不定还能获得某个激情满满的项目管理者的资助。”
这绝对不是在批评过去的人工智能研究，人工智能研究与其他任何人性相关领域的巨大科学挑战一样困难。麻省理工学院的罗德尼·布鲁克斯比其他人都更加清楚地说明了这一点：“在人工智能研究的起步阶段，人们的研究明确地受到人类的表现和人类水平的智能的启发。我认为这一目标在过去的六十多年里吸引了大批研究人员进入该领域。然而，我们没能得出任何接近成功地实现这一愿景的成果，但这并不意味着研究人员工作不努力或不优秀，只能说明这是个非常困难的目标。”
人工智能中最激动人心的问题不仅仅是在其潜在应用上。该领域的创建者的动机不仅来自与智能的本质有关的科学问题的激励，还来自对开发新技术的渴望。确实，认为智能是一种自然现象，一种与其他许多现象一样，可以通过构建简化的计算机模型来加以研究的这种想法，是吸引许多人进入该领域的动机，包括我自己。
人工智能对我们所有人的影响都将持续深化。我希望这本书能帮助你，成为一个有思想的人，更好地去了解这项新兴技术的当前发展现状，包括其尚未解决的问题、技术的潜在风险和益处，以及它所引出的关于理解人类自身智能的科学和哲学问题。如果正在阅读这段文字的你是一台计算机，请告诉我上一句中的“它”指代的是什么，也欢迎你加入我们的讨论。

《AI 3.0》读书笔记
《AI 3.0》读书笔记 序1
《AI 3.0》读书笔记 序2
《AI 3.0》读书笔记 序3
《AI 3.0》读书笔记 译者序
《AI 3.0》读书笔记 第一部分 若想对未来下注，先要厘清人工智能为何仍然无法超越人类智能01
《AI 3.0》读书笔记 第一部分 若想对未来下注，先要厘清人工智能为何仍然无法超越人类智能02
《AI 3.0》读书笔记 第一部分 若想对未来下注，先要厘清人工智能为何仍然无法超越人类智能03
《AI 3.0》读书笔记 第二部分 视觉识别：始终是“看”起来容易“做”起来难 04 何人，何物，何时，何地，为何
《Ai 3.0》读书笔记 第二部分 视觉识别：始终是“看”起来容易“做”起来难 05 ConvNets和ImageNet，现代人工智能的基石
《AI 3.0》读书笔记 第二部分 视觉识别：始终是“看”起来容易“做”起来难 06　难以避免的长尾效应
《AI 3.0》读书笔记 第二部分 视觉识别：始终是“看”起来容易“做”起来难 07 确保价值观一致，构建值得信赖、有道德的人工智能
《AI 3.0》第三部分 游戏与推理：开发具有更接近人类水平的学习和推理能力的机器
《AI 3.0》第三部分 08 强化学习，最重要的是学会给机器人奖励
《AI 3.0》第三部分 09 学会玩游戏，智能究竟从何而来从
《AI 3.0》第三部分 10 游戏只是手段，通用人工智能才是目标
《AI 3.0》第四部分 自然语言：让计算机理解它所“阅读”的内容
《AI 3.0》第四部分 11 词语，以及与它一同出现的词
《AI 3.0》第四部分 12 机器翻译，仍然不能从人类理解的角度来理解图像与文字
《AI 3.0》第四部分 《AI 3.0》第四部分 13 虚拟助理——随便问我任何事情
《AI 3.0》第五部分 常识——人工智能打破意义障碍的关键
《AI 3.0》第五部分 14 正在学会“理解”的人工智能
《AI 3.0》第五部分 15 知识、抽象和类比，赋予人工智能核心常识
《AI 3.0》结语 思考6个关键问题，激发人工智能的终极潜力