美文网首页
1-4 深层神经网络

1-4 深层神经网络

作者: 温素年 | 来源:发表于2018-12-03 23:02 被阅读0次

吴恩达《神经网络和深度学习》课程笔记


1. 深层神经网络

为什么深层神经网络可以达到很好的效果?

可以这样理解深层神经网络的学习:如上图所示,神经网络比较浅的层学习到的是比较简单的特征,例如各个方向的边界。再往后面就是比较复杂的特征,例如各方向的边界组成了眼睛、鼻子等等。最后再由眼睛、鼻子等组成人脸。

(最后一张小图好像人面疫啊……【捂脸】)

也就是说,可以理解为前面层的简单特征,组成了后面层的复杂特征。

但是,有的时候较少的层也可以达到较好的效果。可以在交叉验证集上尝试不同层的效果差别。

2. 前向传播和后向传播

更新一次参数的流程如下:

伪代码描述如下:

3. 参数和超参数

参数:W[1], b[1], W[2], b[2], ...
超参数:

  • learning rate a
  • # iterations 梯度下降法的次数
  • # hidden layers L
  • # hidden units n[1], n[2]
  • choice of activation function

超参数,即决定参数的参数。


这一周的内容比较少,等做了作业之后再补充~

相关文章

网友评论

      本文标题:1-4 深层神经网络

      本文链接:https://www.haomeiwen.com/subject/okgjcqtx.html