噪声标签也有好处

https://arxiv.org/abs/2012.12896

Noisy Labels Can Induce Good Representations

目前深度学习的成功依赖于大规模的标记数据集。实际上，高质量的注释收集起来很昂贵，但是嘈杂的注释更便宜。以前的研究报告了在使用噪声标签进行训练时混合的经验结果：神经网络可以很容易地记忆随机标签，但它们也可以从噪声标签中推广。为了解释这个难题，我们研究了体系结构如何影响带有噪声标签的学习。我们观察到，如果一个架构“适合”这个任务，那么使用噪声标签进行训练可以诱导出有用的隐藏表示，即使模型泛化得很差，也就是说，模型的最后几层受到噪声标签的负面影响更大。这一发现导致了一种改进基于噪声标签的模型的简单方法：用一个线性模型代替最终的稠密层，该模型的权重是从一小组干净的数据中学习的。我们在三种结构（卷积神经网络、图神经网络和多层感知器）和两个领域（图算法任务和图像分类）上验证了我们的发现。此外，我们将我们的方法与现有的噪声标签训练方法相结合，在图像分类基准方面取得了最新的结果