Coresets for Robust Training of Neural Networks against Noisy Labels NIPS2020
https://cs.stanford.edu/people/jure/pubs/crust-neurips20.pdf
https://github.com/snap-stanford/crust
https://arxiv.org/abs/2011.07451
Baharan Mirzasoleiman, Kaidi Cao, Jure Leskovec
现代神经网络有能力过拟合噪声标签中经常发现的真实世界的数据集。虽然已经取得了很大的进展，但是现有的技术在为带噪声标签的神经网络的性能提供理论保证方面还存在一定的局限性。在这里，我们提出了一种新的方法，具有强大的理论保证鲁棒训练的深层网络训练与噪声标签。我们的方法背后的关键思想是选择干净数据点的加权子集（核心集），提供一个近似低秩雅可比矩阵。然后我们证明了应用于子集的梯度下降不会过度拟合噪声标签。我们的大量实验证实了我们的理论，并证明在我们的子集上训练的深度网络与最新技术相比取得了显著的优越性能，例如，在带有80%噪声标签的CIFAR-10上，准确率提高了6%，在mini-Webvision上，准确率提高了7%。
网友评论