美文网首页
训练过程中Loss变换

训练过程中Loss变换

作者: 半笔闪 | 来源:发表于2019-09-28 20:59 被阅读0次

    训练初级阶段loss平稳减小,准确率平稳提升,当达到一定值时,loss和准确率都再很小的范围内波动。

    以上是正常情况,
    此时loss突然剧烈增大(非平稳增大),准确率剧烈减小。这个问题的原因可能非常多,下面猜测几种可能:

    1. 有垃圾数据,比如图片与label不匹配的数据在这个时候进入了batch训练。

    2. loss交替增大和减小时可能时来到了局部收敛点,此时可以减小学习率训练。

    3. loss不断剧烈增大,准确率减小到0,此时可能是梯度消失或梯度爆炸了。这个可根据情况优化模型复杂度、增加数据等。

    相关文章

      网友评论

          本文标题:训练过程中Loss变换

          本文链接:https://www.haomeiwen.com/subject/pifbuctx.html