lr=0.001.png
lr=0.0001.png
lr=0.00001.png
lr=0.000001.png
分析：
lr=0.001 时，步长太大，来回振动，这不是好的loss函数曲线。
lr=0.0001时，步长依然大，只是说波动的规模相对缩小了。依然波动剧烈。
lr=0.00001时，是理想的曲线，但是考虑到轮次太少，可以认为波动依然被缩小了而已。
lr=0.000001时，是理想的曲线。步长又降低一个数量级，轮次增加一个数量级。曲线是比较好的曲线。
总结：
(1)当然可以继续缩小步长、增加轮次，提升精确度，但是轮次再提升已经过多，得不偿失了。
(2)还有个致命的问题就是：步长小基本就等于局部最优。上图中之所以可以不断减小是因为问题简单，只有一个变量。
(3)还有一个更好的方法是自动修改步长，这种方法以后再讨论。
(4)通过本文的对比能对深度学习的步长有一个更深的理解。
分析：lr=0.001 时，步长太大，来回振动，这不是好的loss函数曲线。lr=0.0001时，步长依然大，只是...
1. 凸优化 优化方法目标：训练集损失函数值深度学习目标：测试集损失函数值（泛化性） 1.1 优化在深度学习中的挑...
大多数机器学习（深度学习）任务就是最小化损失，在损失函数定义好的情况下，使用一种优化器进行求解最小损失。深度学习常...
交叉熵损失是深度学习中应用最广泛的损失函数之一，这个强大的损失函数是建立在交叉熵概念上的。当我开始使用这个损失函数...
损失函数定义： 在深度学习中, 损失函数是用来衡量一组参数的质量的函数, 衡量的方式是比较网络输出和真实输出的差异...
神经网络的学习是指从训练数据中自动获取最优权重参数的过程，损失函数就是用来衡量神经网络的学习的程度，学习的目的就是...
深度学习 (DeepLearning) 基础 [2]---神经网络常用的损失函数 Introduce 在上一篇“深...
优化与深度学习 优化与估计 尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目...
损失函数在深度学习当中的作用是评价模型的输出效果，一般来说，输出效果越好则损失函数的值越小。 在对模型进行训练时，...
损失函数（loss function）是用来估量你模型的预测值 f(x) 与真实值 Y 的不一致程度，它是一个非负...
本文标题：深度学习 损失函数的思考
本文链接：https://www.haomeiwen.com/subject/ocfjkctx.html
网友评论