吴恩达《神经网络和深度学习》课程笔记
1. 深层神经网络
为什么深层神经网络可以达到很好的效果?
可以这样理解深层神经网络的学习:如上图所示,神经网络比较浅的层学习到的是比较简单的特征,例如各个方向的边界。再往后面就是比较复杂的特征,例如各方向的边界组成了眼睛、鼻子等等。最后再由眼睛、鼻子等组成人脸。
(最后一张小图好像人面疫啊……【捂脸】)
也就是说,可以理解为前面层的简单特征,组成了后面层的复杂特征。
但是,有的时候较少的层也可以达到较好的效果。可以在交叉验证集上尝试不同层的效果差别。
2. 前向传播和后向传播
更新一次参数的流程如下:
伪代码描述如下:
3. 参数和超参数
参数:W[1], b[1], W[2], b[2], ...
超参数:
- learning rate a
- # iterations 梯度下降法的次数
- # hidden layers L
- # hidden units n[1], n[2]
- choice of activation function
超参数,即决定参数的参数。
这一周的内容比较少,等做了作业之后再补充~
网友评论