梯度下降算法改进

image.png

优化的问题：梯度消失、局部最优

梯度消失、梯度爆炸

image.png

局部最优：

image.png
image.png

梯度下降

image.png
image.png
image.png
梯度下降的优化影响
image.png
image.png
image.png

大小选择

image.png

指数加权平均（梯度下降算法本身的优化）

image.png
image.png
image.png
image.png
image.png
image.png

权重越大，曲线越平滑，权重越小，曲线越曲折

image.png

动量梯度下降法

image.png

这样的梯度下降有什么变化：

image.png
image.png

RMSProp算法

image.png
image.png

Adam算法

image.png
image.png
image.png
image.png
image.png

tensorflow Adam算法API

image.png

学习率衰减

image.png

标准化输入

image.png
image.png
image.png
image.png
image.png

代码练习

动量梯度下降

image.png

公式中的s在代码中定义成了v

image.png

更新Adam算法网络的参数

image.png
image.png
image.png
image.png
image.png