1、反向传播算法(BP算法)主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
正向传播。当我们有了a,b,c的值时，不断的代入值最后得出代价方程的值。
那么代价方程如何进行优化呢？图中红色箭头的方向即是反向传播，得到不同神经节点的导数的过程。
image.png
2、梯度检测
梯度检测，通过估计梯度（或导数）的近似值来估算我们的梯度下降算法算出的梯度（或导数）是否为正确的。
梯度检测方法的开销是非常大的，比反向传播算法的开销都大，所以一旦用梯度检测方法确认了梯度下降算法算出的梯度（或导数）值是正确的，那么就及时关闭它。
一般来说ε的值选10−4，注意并不是越小越好。
3、随机初始化
对于逻辑回归，把权重初始化为 0当然也是可以的。但是对于一个神经网络，如果你把权重或者参数都初始化为 0，那么梯度下降将不会起作用。
image.png
image.png
-
梯度下降法
small batch 梯度下降
image.png
image.png
image.png
image.png
image.png
7、逻辑回归
image.png
8、正则
image.png
image.png
网友评论