一、概述

神经网络这个词在几年前可能大家还会比较陌生，不过自从16年3月AlphaGo以4:1大胜人类顶级棋手李世石之后，很多人就知道了神经网络这么个东西。

神经网络概述和发展史

再加上今年年初Alphgo以"Master"的身份横扫围棋界几十位一流高手，取得60连胜，更是使得人工智能，深度学习，神经网络这些词汇被大家所熟知。那么什么是神经网络呢？

神经网络概述和发展史

简单的来说，神经网络就是模仿人体神经网络创建的一种网络架构。我们的大脑内部就有很多神经，我们对这个世界的认知就是依靠神经元的相互作用，我们看到一张照片能分辨出照片中的物体是狗还是猫，看到一段文字能理解文字表达的意思，这都是大脑的神经元在发生作用。而人工创作的神经网络又能用来干什么呢？

1.图像识别

神经网络概述和发展史

比如我们把一张照片输入神经网络中，它就可以告诉你图片中有什么东西。

2.自动驾驶

神经网络概述和发展史

利用神经网络我们可以识别出周围的行人以及车辆，并且判断出他们的位置以及移动轨迹。

3. 人工智能

另外深度学习神经网络还应用到了语音识别，自然语言处理，人脸识别等等很多领域。

为什么最近深度学习神经网络最近会这么火爆，这么振奋人心呢，我觉得可能有两点，一方面，神经网络在某些领域可以使得计算机像人一样聪明甚至比较人更聪明，让我们感觉人工智能的时代就要到来。另一个方面就是目前神经网络所处的时期就有点像神农尝百草的时期，很多知识和理论就连最顶级的专家也没办法解释。一个普通程序员学了几个月一年的神经网络之后，自己创建一个的神经网络，这个神经网络就有可能打败某个领域（比如语音识别领域，图像处理领域）拥有几十年经验的专家。很多领域的权威知识正在不断被新的神经网络击破，然后被神经网络所取代。

神经网络的种类：

基础神经网络：单层感知器，线性神经网络，BP神经网络，Hopfield神经网络等

进阶神经网络：玻尔兹曼机，受限玻尔兹曼机，递归神经网络等

深度神经网络：深度置信网络，卷积神经网络，深度残差网络，LSTM网络等

神经网络的发展图：

神经网络概述和发展史

神经网络编程语言：python，R，matlab，java等

深度学习实现框架：Tensorflow，Caffe，Torch等

二、发展史

一般我们可以把神经网络的发展历史分成4个时期，启蒙时期（1890-1969），低潮时期（1969-1982），复兴时期（1982-1986），新时期（1986至今）

启蒙时期（1890-1969）

1890年，心理学家William James出版了第一部详细论述人脑结构及功能的专著《心理学原理》，他认为一个神经细胞受到刺激激活后可以把刺激传播到另一个神经细胞，并且神经细胞激活是细胞所有输入叠加的结果。

“并且神经细胞激活是细胞所有输入叠加的结果”这一句话很重要，他的这个猜想后来得到了证实，并且我们现在设计的神经网络也是基于这个理论。

1943年，神经病学家和神经元解剖学家McCulloch和数学家Pitts在生物物理学期刊发表文章提出神经元的数学描述和结构。并且证明了只要有足够的简单神经元，在这些神经元互相连接并同步运行的情况下，可以模拟任何计算函数（M-P模型）。他们所做的开创性的工作被认为是人工神经网络(ANN)的起点。

1943年的时候，我们已经开始用数学来描述神经元互相作用的行为。这被认为是第一个仿生学的神经网络模型，他们提出的很多观点一直沿用至今，比如说他们认为神经元有两种状态，要不就是兴奋，要不就是抑制。下节课我们学到的单层感知器就是模仿这个，单层感知器的输出要不就是0要不就是1。他们最重要的贡献就是开创了神经网络这个研究方向，为今天神经网络的发展奠定了基础。

1949年，生理学家Hebb出版了《行为组织学》，描述了神经元权值的Hebb调整规则。他指出在神经网络中，信息存储在连接权值中。并提出假设神经元A到神经元B的连接权与从B到A的连接权是相同的。

他这里提到的这个权值的思想也被应用到了我们今天的神经网络中，我们通过调节神经元之间连接的权值来得到不同的神经网络模型，实现不同的应用。虽然这些理论在今天看来都很简单，不过在当时是一种全新的想法，算得上是开创新的理论。

1958年，计算机学家Rosenblatt提出了一种具有三层网络特性的神经网络结构，称为“感知器”。

他提出的这个感知器可能是世界上第一个真正意义上的人工神经网络。感知器提出之后在60年代就掀起了神经网络研究的第一次热潮。很多人都认为只要使用成千上万的神经元，他们就能解决一切问题。现在看来可能会让人感觉tooyoung too naïve，不过在当时确实是影响非凡。

1969年，人工智能的创始人之一的Minsky和Papert出版了一本名为《感知器》的书，书中指出简单神经网络只能运用于线性问题的求解，能够求解非线性问题的网络应具有隐层，而从理论上还不能证明将感知器模型扩展到多层网络是有意义的。

这股热潮持续了10年。由于Minsky在学术界的地位和影响，其悲观论点极大地影响了当时的人工神经网络研究，为刚刚燃起希望之火的人工神经网络泼了一大盘冷水。这本书出版不不久之后，几乎所有为神经网络提供的研究基金都枯竭了，没有人愿意把钱浪费在没有意义的事情上。

低潮时期（1969-1982）

Grossberg夫妇提出了自适应共振机理论和三个ART系统。

Konhonen教授提出了自组织映射（SOM）理论。

福岛邦彦的新认知机。

Minsky的书出版后10年中，神经网络领域的研究人员大幅度减少，但仍有为数不多的学者在困难时期依然坚持致力于神经网络的研究。这里就不详细介绍了。

复兴时期（1982-1986）

1982年，美国加州理工学院的优秀物理学家Hopfield提出了Hopfield神经网络。Hopfield神经网络引用了物理力学的分析方法，把网络作为一种动态系统并研究这种网络动态系统的稳定性。

Hopfield的文章发表了之后，重新打开了人们的思路，吸引了很多非线性电路科学家，物理学家和生物学家来研究神经网络。

1985年，Hinton和Sejnowski借助统计物理学的概念和方法提出了一种随机神经网络模型——玻尔兹曼机。一年后他们又改进了模型，提出了受限玻尔兹曼机。

1986年，Rumelhart，Hinton，Williams发展了BP算法。（多层感知器的误差反向传播算法）

到今天为止，这种多层感知器的误差反向传播算法还是非常基础的算法，凡是学神经网络的人，必然要学习BP算法。我们现在的深度网络模型基本上都是在这个网络的基础上发展出来的。

新时期（1982-1986）

1987年6月，首届国际神经网络学术会议在美国加州圣地亚哥召开，到会代表有1600余人。之后国际神经网络学会和国际电气工程师与电子工程师学会（IEEE）联合召开每年一次的国际学术会议。

1986年之后的神经网络就蓬勃发展起来了，特别是近几年，呈现一种爆发趋势，神经网络开始应用在各行各业，各种新的神经网络模型不断被提出，各种图像识别，语音识别的记录不断被刷新，人工智能如今已经成为一个热门话题。

三、领军人物

Geoffrey Hinton

英国出生的计算机学家和心理学家，以其在神经网络方面的贡献闻名。Hinton是反向传播算法和对比散度算法的发明人之一，也是深度学习的积极推动者。目前担任多伦多大学计算机科学系教授。

2013年3月加入Google，领导Google Brain项目。

Hinton可以说是目前对深度学习领域影响最大的人。而且如今在神经网络界活跃的大师，大部分都是他的弟子，可以说是桃李满天下。

神经网络概述和发展史

Yann LeCun

计算机科学家，他最著名的工作是光学字符识别和计算机视觉上使用卷积神经网络（CNN），他也被称为卷积网络之父。

多伦多大学跟随Hinton做博士后。1988年，加入贝尔实验室，之后开发出了卷积神经网络，曾广泛用于手写识别。

2003年去了纽约大学。2013年12月加入了 Facebook，成为Facebook人工智能实验室的第一任主任。

比如美国很多银行用这个手写体识别技术来识别用户在支票上写的数字。包括Alphago也用了卷积神经网络，很多图像识别的比赛也用了很多卷积神经网络。

神经网络概述和发展史

Yoshua Bengio

毕业于麦吉尔大学，在MIT和贝尔实验室做过博士后研究员，自1993年之后就在蒙特利尔大学任教。在预训练问题，自动编码器降噪等领域做出重大贡献。

神经网络概述和发展史

Hinton，LeCun，Bengio江湖人称深度学习三巨头，到底是谁第一个说的我也不太清楚。Bengio是三巨头中唯一一位没有加入科技公司的人。如果很多的大公司聘用了大量的研究人员，那么大学就没有人来培养学生进行纯粹的基础研究了。所以Bengio想全身心投入在学术界，应该没有加入大公司的打算。

Andrew Wu(吴恩达)华裔

曾经是斯坦福大学计算机科学系和电气工程系的副教授，斯坦福人工智能实验室主任。他还与达芙妮科勒一起创建了在线教育平台Coursera。

神经网络概述和发展史

2011年，吴恩达在Google创建了Google Brain项目，通过分布式集群计算机开发超大规模的人工神经网络。

2014年5月，吴恩达加入百度，负责百度大脑计划，并担任百度公司首席科学家。

吴恩达在神经网络创新的工作比较少，他最大的贡献是在教育领域，推动了神经网络，人工智能领域的发展。

大神关系图：

神经网络概述和发展史

LeCun是Hinton的博士生，Jordan曾经申请Hinton的博士生没有通过。Bengio是Jordan的博士后，吴恩达是Jordan的博士生。LeCun和Bengio曾经是同事。

所以说这个圈子其实很小，大师之间都有着千丝万缕的关系。像Google，Facebook，百度这些大公司的人工智能带头人都是来自学术界，对于神经网络这个学科来说，神经网络的设计应该是难度最大的，通过代码来实现神经网络应该相对简单。学到后面我们会知道，神经网络的设计不止是一门科学，甚至可以说是一门艺术。

神经网络概述和发展史

从左到后分别是LeCun，Hinton，Bengio和吴恩达