《梯度下降法（固定步长）》

“梯度下降法”：

（1）步长为0.1时的优化结果： 梯度收敛，但没有收敛到最小值。

（2）步长为100时的优化结果： 梯度发散。

（3）步长为1时的优化结果： 原地打转。

 （4）改变初始值，设置为4，步长仍为1： 依然会出现原地打转的情况。

 结论： 对于f(x)=x²-2x+1这个函数，如果采用固定步长的梯度下降法进行优化，步长要小于1，否则不论初始值是多少，问题都会发散或者原地打转。

换一个函数：f(x)=4x²-4x+1:

安全步长变为0.25：

总结：虽然固定步长的方法看上去简单直观，但是步长的选择一定要慎重，在实战中需要一定的技巧并且多尝试才能找到最合适的步长。