Learning From Noisy Large-Scale

Paper Information：
Veit at al. Learning From Noisy Large-Scale Datasets With Minimal Supervision. CVPR 2017.
Introduction：
要想让深度学习网络学习的好, 其中的一个必要条件就是训练数据足够多。获取相关数据并非太难的事, 而为这些data标注label才是一件大工程。在dataset数据规模不断增加的情况下, 标注label的成本也水涨窗高, 需要耗费大量的人力与时间, 在这样的一个情况下, 许多其他的deep learning的方法也应运而生, 例如: Semi-supervised、Unsupervised…等。
Contribution
这篇论文是使用semi-supervised的方法, 利用大量的noisy label和人工标注的少量clean label來来达到更好的识别效果。传统的方法都是先噪声标签上进行一个预训练，然后再在干净数据上进行微调再，作者认为这样的方法没有充分的利用干净标签所给出的信息，进而提出了一种新的方法以达到更好的识别效果 。
Summarization

这篇paper提出的网络框架可以分成三个主要的components: CNN、Label Cleaning Network、Image Classifier。

1. CNN: 用来提取input image的特征。

2. Label Cleaning Network: 用来学习noisy label mapping到clean label的function input有个branch, 分别为CNN提取出的image feature及noisy label, function g会去学习clean label及noisy label的residual, 再通过以下式子得到预测的clean label:

   
   图片.png
   

   因为作者认为label vector非常sparse, 所以如果采用square error回造成预测出的label过于smooth, 故这个network是根据absolute distance作为error measure, 如以下式子:

   
   图片.png

3. Image Classifier: 用来做image multi-label classify 根据CNN提取出的feature去做classify, 由于这是multi-label的分类问题所以作者采用cross-entropy loss, 并根据有clean label的set(V)和只有noisy label的set(T)去算loss, 如以下式子:

   
   图片.png
   

   为避免预测出的clean label和预测出的label都学到0向量可以让loss最小, 此loss只会更新Image Classifier并不会更新Label Cleaning Network。
   Result

   
   图片.png