美文网首页
1.深度学习简史

1.深度学习简史

作者: 南国_ | 来源:发表于2021-02-22 14:31 被阅读0次
深度学习的发展历史如下图所示:
深度学习发展史.png

1)最开始的感知机网络,只能处理与or或的逻辑关系(线性可分),不能处理异或等逻辑关系(非线性可分)。

2)因此出现了多层感知器,即人工神经网络。
  多层感知机网络,包括三个网络层:输入层、隐含层和输出层。

人工神经网络.png
  理论上,只要隐含层节点足够多,一个隐层就可以拟合任意函数。并且在1986年推导出了用于多层神经网络训练的BP算法。但是实际上由于参数过多,需要的计算量特别大,所以很难训练出来。

3)因此出现了深层神经网络
  但由于缺乏现代神经网络的训练技术,所以深度网络不好训练。直到2011年深度学习才开始火爆。(1989年就出现了卷积神经网络,你敢信?)

4)在2011年深度学习火爆的主要原因:
  1.更好的初始化
  2.出现新的激活函数ReLU
  3.ImageNet训练集比赛
  4.更好的计算机硬件

相关文章

网友评论

      本文标题:1.深度学习简史

      本文链接:https://www.haomeiwen.com/subject/blnhfltx.html