《AI 3.0》读书笔记1
《AI 3.0》读书笔记2 序1

序

到底什么是机器学习

目前，强大的人工智能依然在练习认识这个世界，认识自己的工作，而其所仰仗的无非是两样东西——强大的算力（比如神经网络可以做到上百层，过去只能做到几层）、傅立叶分析。归根到底，对于世界究竟是什么样的，机器自己是没有任何真实的感知的，依然需要人的干预和解释。

作为控制论创始人的诺伯特·维纳曾这样说：“我们最好非常确信，给机器置入的目的正是我们真正想要的目的。”也就是说，机器的任何表现都先天地面临一个重要的束缚，而这种束缚恰恰来自人，是人在教育机器这个“孩子”，是人在给这个“孩子”注入灵魂。

人工智能的“能”与“不能”

• 智能算法打游戏基本都是无监督学习的过程

  • 挖掘算法潜能、理解算法机理的有效途径
  • 把游戏规则灌输给算法，剩下的就全看机器自己的“修炼”了

• 事先存储再多的游戏策略，在暴力算法面前其实也是不堪一击的

• 如果机器只会模仿人的经验策略，它就不能获得独立应对意外局面的能力，机器必须进入更大的对弈空间，这就是强化学习的含义。如理查德·萨顿（Richard Sutton）所言，强化学习就是“从猜测中学习猜测”，米歇尔将其调整为“从更好的猜测中学习猜测”。

理查德·萨顿（Richard Sutton）是美国计算机科学家，是Deepmind的研究科学家，阿尔伯塔大学计算机学教授。萨顿和他的老师安德鲁·巴托（Andrew Barto）合著《强化学习导论》（Reinforcement Learning, an introduction），他的贡献包括时序差分学习和策略梯度方法，被称为现代强化学习之父。

• 人工智能的核心问题，什么是“更好的猜测”？

  • 智能机器目前所能做的，还只是“最快的猜测”，或者说“以快取胜”。
    • 在更大的博弈空间里处理海量的数据，表现出令人咋舌的算力水平，远远超过人类的计算能力。
    • 这种能力在让人惊艳的同时，也带有很强的迷惑性，其实这是假象。
    • 如今的人工智能，与真正的人工智能之间依然有巨大的鸿沟。什么是真正的人工智能？业界对其定义也一直争论不休，这里暂且不论。
  • 人工智能的核心问题，依然涉及对客体对象、目标过程的认识。
    • 真正的人工智能必须有能力认识某一对象是什么。
    • 人工智能专家所找到的解决之道，其实还远不是“认识对象”的解决之道，而是找到了一个退而求其次的路径，就是“目标函数”的构建。

• 目标函数

  • 蒙眼点鼻子的游戏
    • 不停地提示其偏离的方向，蒙眼人就可以很快地点中鼻子。
  • 机器可以不理解什么是鼻子，什么是点，
  • 也不用明白这么做有什么娱乐的价值，
  • 但如果能给出判断点中与否的目标函数，就可以大大提高机器成功完成任务的概率。

• 当下的人工智能算法依然停留在工程意义上

  • 还只是以完成任务为目标。
  • 至于做这件事的意义，则全然不在机器算法的“视野”之内。

• 谷歌的AlphaGo到AlphaGo Zero的演化历程

  • 第一阶段，AlphaGo向人学习；
  • 第二阶段，AlphaGo Zero自学成才。
  • 谷歌公司的创见在于：
    • 让算法可以洞察整个盘面。
    • 为了大大减少计算的负担，并使算法可以获知距离获胜还有多远，他们使用的是蒙特卡洛方法，只要确保最优策略依然在剩下的搜索空间里就好，换句话说，比对手多预测几步就有更大的胜算。(还是力大出奇迹阶段)

• 从游戏中学习套路，人工智能就能超越人类？

  • 亚瑟·塞缪尔（Arthur Samuel）曾乐观估计，10年内机器必然战胜人类。
  • 今天的机器算法，固然已经在棋类博弈中完胜人类棋手，但从智能角度看，与那时相比其实并无实质性的进步。
    • 无论机器的自学能力有多强，有一件事是确定的，即游戏目标的存在。
    • 游戏规则和游戏目标作为先验知识，给出了这样一个明确的博弈边界，即这一游戏的博弈空间是有穷空间。
    • 算法的唯一目标就是赢，不管其对手是人还是另一个机器算法，也不管对弈双方是否理解游戏，或者能否欣赏游戏之美，它只追求赢。
    • 棋类游戏博弈中的“赢”，其实隐含一个假设，即游戏本身是存在赢的可能性的，比如在围棋中，平局、和棋也是“输赢”的特定形态。
    • 就是一个有趣的、有输赢的游戏设计，其本身先天地规定了这一静态目标的成立——零和博弈。

机器在零和博弈空间里完胜人类这一点，并非凸显了机器智能超群，只是进一步验证了人类的局限性和零和博弈目标的有限性

阿瑟·萨缪尔是人工智能研究的先驱。 从1949年到1960年代后期，他在让计算机从经验中学习方面做了最出色的工作，而他的研究工具是跳棋游戏。（玩游戏的程序通常在人工智能研究中扮演果蝇在遗传学中所扮演的角色。果蝇对遗传学很方便，因为它们繁殖速度快，饲养成本低，而游戏对人工智能很方便，因为很容易将计算机性能与人的性能进行比较。）
1952年，阿瑟·萨缪尔在IBM公司工作时研制了一个西洋跳棋程序，这个程序具有“学习能力”，它可以通过对大量棋局的分析逐渐辨识出当前局面下的"好棋"和"坏棋'，从而不断提高下棋水平。程序很快就下赢了萨缪尔自己。
1956年，萨缪尔应约翰·麦卡锡(John McCarthy, "人工智能之父" )邀请，在达特茅斯会议（1956年夏天，在美国东部的达特茅斯召开的这次学术会议上正式提出了“人工智能”这个术语。因此这次夏季研讨会被学界认为是人工智能学科诞生的标志性会议）上介绍这项工作。萨缪尔发明了"机器学习"这个词，将其定义为"在不直接针对问题进行明确编程的情况下，赋予计算机学习能力的研究领域"，他的文章"Some studies in machine learning using the game of checkers" 1959 年在IBM Journal 正式发表。
1961年，爱德华·费根鲍姆(Edward Feigenbaum，"知识工程之父") 正在编写第一本 AI巨著《计算机与思想》（Computers and Thought），在看到萨缪尔关于跳棋的精彩论文后，费根鲍姆邀请萨缪尔提供一个该跳棋程序最好的对弈实例，作为论文的附录。塞缪尔利用这个请求作为挑战康涅狄格州跳棋冠军的机会，他是全国排名第四的棋手。结果萨缪尔程序获胜，在当时引起了不少关注。
塞缪尔是一个谦虚的人，直到 1966 年他从 IBM 退休后，他的工作的重要性才得到广泛认可。部分原因是他不喜欢宣传，未能让他的研究得到更积极的跟进。
Samuel 于1966 年从 IBM 退休，来到斯坦福大学担任研究教授。在斯坦福大学，他继续研究跳棋，直到他的程序在 1970 年代被超越。

• 人工智能所面临的最大挑战

  • 可能在于人们忘记了智能机器的强项依然是算力，错误地选择将今日之人工智能更多地用于人类增强中，而且将人机联合的活动空间，定义为更大的零和博弈游戏场景。
  • 这一挑战下的另一个场景，就是人工智能所面临的一个“硬核”场景：机器翻译。
    • 在20世纪40年代美国“科技工业共同体”建设中扮演重要角色的官方技术官员沃伦·韦弗博士就提出了机器翻译的理念
    • 它难在人工智能需要直接面对“理解”这一难题
      • 谷歌和微软等公司还将翻译的含义拓展，用智能算法给图片打标签，试图解决海量图片的识别问题。
      • 斯坦福大学开发了人工智能阅读理解项目，希望有一天能够让机器“读懂”它所面对的内容。

• GPT-3 狗眼看星星

  • 依然是一种使用蛮力进行计算的模式，仅此而已。
  • 对于目前的自然语言项目，我可以武断地说，它们其实毫无“理解”可言，它们唯一的本领就是“见多识广”。
  • 问题在于，虽然一款智能机器可以快速遍历状态空间的更多可能性，把边边角角都扫描到，然后表现出越来越多令人惊讶的本领，甚至超过人类的表现，但是，它们依然像是“狗眼看星星”，并不认得什么叫“星图”。