“梯度下降法”：
（1）步长为0.1时的优化结果： 梯度收敛，但没有收敛到最小值。
（2）步长为100时的优化结果： 梯度发散。
（3）步长为1时的优化结果： 原地打转。
（4）改变初始值，设置为4，步长仍为1： 依然会出现原地打转的情况。
结论： 对于f(x)=x²-2x+1这个函数，如果采用固定步长的梯度下降法进行优化，步长要小于1，否则不论初始值是多少，问题都会发散或者原地打转。
换一个函数：f(x)=4x²-4x+1:
安全步长变为0.25：
总结：虽然固定步长的方法看上去简单直观，但是步长的选择一定要慎重，在实战中需要一定的技巧并且多尝试才能找到最合适的步长。
网友评论