神经网络和深度学习 - Chapter4 深层神经网络

浅层、深层神经网络对比

什么是深层神经网络？.png

• 深层神经网络符号定义：

1. 表示神经网络的层数；
2. 表示第层神经元个数；
3. 表示第层神经元激活值；
4. 表示第层神经元激活函数；
5. 表示第层神经网络参数；维度为：

符号定义.png

深度神经网络前向传播

• ；
• ；

深度神经网络前向传播.png

检查神经网络参数的维度

• 神经网络前向传播过程中，核对每个参数（）的维度；

image.png

为什么深度神经网络比较好用？

• 一般来说对于深度神经网络，要求网络比较深但是并不要求很宽；从下面的例子可以看出，深度神经网络首先学习到一些局部的边缘信息（边缘检测），然后识别人的鼻子、眼睛等较大范围局部人脸信息，最后识别整个人脸。

image.png

深度神经网络前向&反向传播过程

• 前向传播过程计算得出的进行缓存；因为反向传播的过程需要用到。

第l层的前向&反向传播.png
深度神经网络前向&反向传播过程.png

• 第层的前向传播过程；
  

  第l层前向传播.png

• 第层的反向传播过程；
  

  第l层反向传播.png

深度神经网络参数 vs 超参数

• 深度神经网络参数指的是这些参数，超参数的设置可以改变参数的取值，比如：神经网络层数、每层神经元个数等；学习率、迭代次数、激活函数、batch size大小这些也是超参数；

参数 vs 超参数.png