美文网首页
PyTorch实现mixup

PyTorch实现mixup

作者: 几时见得清梦 | 来源:发表于2019-08-29 15:21 被阅读0次
  1. mixup与提高weight decay结合使用,可能对结果更有效。
  2. 更多数量的样本进行mixup不会带来更多收益。同类样本的mixup不会带来收益。
  3. 作者的实验是在同一个minibatch中进行mixup,但是注意需要shuffle。
  4. α∈[0.1, 0.4]会使得模型性能相比较ERM提升,而过大的α会导致欠拟合。由于mixup后样本数量会增加,难样本也变相增加,因此训练epoch要增大,才能使模型得到收敛,性能稳定提升。
  5. mixup训练完成后,再使用原始trainset + 低lr训练几个epoch,可能会进一步提升效果。

参考

  1. GitHub:hongyi-zhang/mixup
  2. 博客园:mixup: Beyond Empirical Risk Minimization

相关文章

网友评论

      本文标题:PyTorch实现mixup

      本文链接:https://www.haomeiwen.com/subject/afmiectx.html