【论文笔记】Bag of Tricks for Image Cl

URL:
https://arxiv.org/pdf/1812.01187.pdf

TL;DR

一系列的训练tricks。large batch、Low-precision、Label Smoothing、Cosine Learning Rate Decay、Knowledge Distillation和Mixup Training等。

---

方法

方法没什么具体可讲解的，主要是介绍了上述一系列的训练tricks。

加trick vs 不加trick的实验。

加trick vs 不加trick的实验

各个trick带来的影响。有些奇怪的是batchsize变大时掉点，而低精度训练却涨点。

各个trick带来的影响

第二批tricks带来的影响。基本是均有所涨点。但蒸馏和mixup的混用在不同模型上效果不同。

第二批tricks带来的影响

这些trick不仅对识别任务有效，部分trick在检测、分割等任务上也有效。但并不是所有trick都有效，具体可以看论文中的实验。