代价函数-迭代次数
梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。
也有一些自动测试是否收敛的方法，例如将代价函数的变化值与某个阀值（例如0.001）进行比较，当代价函数变化小于阈值时，认为函数收敛。但通常看上面这样的图表更好。
不合适的学习率
当代价函数过大时，代价函数随着迭代次数的增加会出现下图的3种情形：
当代价函数过小时，收敛会变慢~
通常可以考虑尝试些学习率：
梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。
也有一些自动测试是否收敛的方法，例如将代价函数的变化值与某个阀值（例如0.001）进行比较，当代价函数变化小于阈值时，认为函数收敛。但通常看上面这样的图表更好。
当代价函数过大时，代价函数随着迭代次数的增加会出现下图的3种情形：
当代价函数过小时，收敛会变慢~
通常可以考虑尝试些学习率：
本文标题：哲哲的ML笔记（七：学习率）
本文链接：https://www.haomeiwen.com/subject/pqwicltx.html
网友评论