Things Can Go Wrong:

1.Validation Loss super high --> Learning Rate Too Large
2.Loss 下降的非常缓慢——> Learning Rate Too Small
另一个现象：Training Loss 低于 Validation Loss.说明overfitting，但是也有可能是epoch没训练够导致的
3.Training Loss 低于 Validation Loss 上面提到了，要么learning rate太小，要么epcoh太少，可以先试试调大learning rate如果Validation loss 一下子变得特别高，可以尝试多训练几个epoch

4.error rate 开始升高 ——> overfitting了——> epoch过多了
注意：Training Loss 比 Validation Loss低不代表overfitting，这是正常训练模型会有的现象，error rate在继续降就不是overfitting
5.Learning rate合适、epoch也合适但是accuracy不够 ——> 数据不够充足

SGD and Torch: