一、

什么是机器学习？机器具备自己获取知识的能力，即从原始数据中提取模式的能力，这种能力称为机器学习。

深度学习的历史趋势

一般认为，迄今为止深度学习已经经历了3次发展浪潮：

1. 20世纪40年代到60年代，深度学习的雏形出现在控制论中;
2. 20世纪80年代到90年代，深度学习表现为联结主义;
3. 直到2006年，才真正以深度学习之名复兴

20世纪50年代，感知机成为第一个能根据每个类别的输入样本来学习权重的模型。大约在同一时期，自适应线性单元（adaptive linear element, ADALINE）简单地返回函数 f(x) 本身的值来预测一个实数，并且它还可以学习从数据预测这些数。基于感知机和 ADALINE 中使用的函数 的模型称为线性模型。

20世纪80年代，神经网络研究的第二次热潮在很大程度上是伴随一个被称为联结主义或并行分布处理潮流而出现的。联结主义是在认知科学的背景下出现的。认知科学是理解思维的跨学科途径，即它融合多个不同的分析层次。
联结主义的中心思想是：当网络将大量简单的计算单元连接在一起时可以实现智能行为。

20世纪80年代的联结主义形成了几个关键概念。其中一个概念是分布式表示。其思想是：系统的每一个输入都应该由多个特征表示，并且每一个特征都应该参与到多个可能输入的表示。

联结主义潮流的另一个重要成就是反向传播在训练具有内部表示的深度神经网络中的成功使用以及反向传播算法的普及

神经网络研究的第三次浪潮始于2006年的突破。（待续。。。）