前向神经网络（由于从输入到输出的过程中不存在与模型自身的反馈连接，此类模型称为前馈）

几种激活函数的优缺点？--------> 结论： 使用ReLU

https://zhuanlan.zhihu.com/p/25110450

https://blog.csdn.net/not_guy/article/details/78749509

书中提及的神经网络三种训练技巧是什么，分别解决什么问题？

https://www.cnblogs.com/mengmengmiaomiao/p/7852948.html

1  神经网络训练时是否可以将全部参数初始化为0？

对于全连接的深度神经网络，同一层中的任意神经元都是同构的，它们拥有相同的输入和输出，如果在将参数全部初始化为同样的值，那么无论前向传播还是反向传播的取值都是完全相同的。学习过程将永远无法打破这种对称性，最终同一网络层中的各个参数仍然是相同的。所以，需要随机初始化神经网络参数的值。

2     Dropout 

 Dropout  在深度网络的训练中，以一定的概率随机地临时丢弃一部分神经元节点，具体讲，Dropout 作用于每份小批量训练数据，由于其随机丢弃部分神经元的机制，相当于每次迭代都在训练不同结构的神经网络。

包括训练阶段和预测阶段，训练阶段，每个神经元节点需要增加一个概率系数，训练阶段又包括前向传播和反向传播

预测阶段是前向传播的过程，在前向传播的计算时，每个神经元的参数要预先乘以概率系数p,以恢复在训练中该神经元只有p 的概率被用于整个神经网络的前向传播计算。

3  批量归一化

  批量归一化 是针对每一批数据，在网络的每一层输入之前增加归一化处理（均值为0 ,标准差为1） ，将所有批数据强制在统一的数据分布下，即对该层的任意一个神经元，采样如下公式。百面P220

批量归一化可以看作在每一层输入和上一层输出之间加入一个新的计算层，对数据的分布进行额外的约束，从而增加模型的泛化能力。

---

TODO 

反向传播

交叉熵损失函数