训练初级阶段loss平稳减小,准确率平稳提升,当达到一定值时,loss和准确率都再很小的范围内波动。
以上是正常情况,
此时loss突然剧烈增大(非平稳增大),准确率剧烈减小。这个问题的原因可能非常多,下面猜测几种可能:
-
有垃圾数据,比如图片与label不匹配的数据在这个时候进入了batch训练。
-
loss交替增大和减小时可能时来到了局部收敛点,此时可以减小学习率训练。
-
loss不断剧烈增大,准确率减小到0,此时可能是梯度消失或梯度爆炸了。这个可根据情况优化模型复杂度、增加数据等。
网友评论