梯度下降只是最速下降的一个子集,梯度下降用的是欧式范数。但是很多时候起始点的梯度并不代表过程中的梯度,所以有的时候会有误差。如果不用欧式范数,那用什么范数呢?用海森范数,就是我们想到梯度的变化率,也是牛顿法中所用的方法。当海森矩阵的特征值的最大值和最小值之间的比例相差不大的时候,可以用梯度下降,说明变化不大。
梯度下降只是最速下降的一个子集,梯度下降用的是欧式范数。但是很多时候起始点的梯度并不代表过程中的梯度,所以有的时候会有误差。如果不用欧式范数,那用什么范数呢?用海森范数,就是我们想到梯度的变化率,也是牛顿法中所用的方法。当海森矩阵的特征值的最大值和最小值之间的比例相差不大的时候,可以用梯度下降,说明变化不大。
本文标题:最速下降和梯度下降
本文链接:https://www.haomeiwen.com/subject/xirnfqtx.html
网友评论