深度学习的发展历史如下图所示:

1)最开始的感知机网络,只能处理与or或的逻辑关系(线性可分),不能处理异或等逻辑关系(非线性可分)。
2)因此出现了多层感知器,即人工神经网络。
多层感知机网络,包括三个网络层:输入层、隐含层和输出层。

理论上,只要隐含层节点足够多,一个隐层就可以拟合任意函数。并且在1986年推导出了用于多层神经网络训练的BP算法。但是实际上由于参数过多,需要的计算量特别大,所以很难训练出来。
3)因此出现了深层神经网络
但由于缺乏现代神经网络的训练技术,所以深度网络不好训练。直到2011年深度学习才开始火爆。(1989年就出现了卷积神经网络,你敢信?)
4)在2011年深度学习火爆的主要原因:
1.更好的初始化
2.出现新的激活函数ReLU
3.ImageNet训练集比赛
4.更好的计算机硬件
网友评论