深度学习 第4次作业

1.深层神经网络

下图所示，输入层并不算神经网络的层数，只有隐藏层和输出层才算，例如上图中左侧的神经网络结构为3层，右侧的为6层，分别有2个隐藏层和5个隐藏层。当L=4时，神经网络共有3个隐藏层，其中第一层和第二层有5个神经元，第三层有三个神经元。 深层神经网络.png 2.深层网络中的向前传播 前向传播.png

3.核对矩阵的维数

如何知道自己在设计神经网络模型的时候各个参数的维度是否正确的方法。 公式1.png 公式2.png

4.为什么使用深层表示

神经网络本就是针对非结构性数据而产生的一个算法，其根本特性也就是在每一层对数据进行特征提取。前几层网络只能学习一些低层次的简单特征，在后几层就把简单特征合并起来，去进行更深入的探测。所以前几层网络只是做一些简单的函数，而深层神经网络才可以拟合复杂的函数。 深层表示.png 深度学习.png

5.搭建深层神经网络块

之前的前向传播和反向传播中，介绍的是针对单个层的输入和输出，而利用单个层就可以搭建出一个完整的神经网络。
深层神经网络：

6.前向和反向传播

对于神经网络，每一层都有正向传播和反向传播。 总结.png

7.参数 VS 超参数
1）参数
常见的参数即为W[1],b[1],W[2],b[2]……W[1],b[1],W[2],b[2]……
2）超参数
learning_rate: αα
iterations(迭代次数)
hidden layer (隐藏层数量L)
hidden units (隐藏层神经元数量n[l])
激活函数的选择
minibatch size
几种正则化的方法
momentum(动力、动量)

8.这和大脑有什么关系

深度学习的实用层面

1.正则化
正则化减少过拟合：
2.梯度消失与梯度爆炸 3.梯度的数值逼近 4.梯度检验

优化算法
1.Mini-batch

2.指数加权平均

3.局部最优问题