https://arxiv.org/abs/2012.12896
Noisy Labels Can Induce Good Representations
目前深度学习的成功依赖于大规模的标记数据集。实际上，高质量的注释收集起来很昂贵，但是嘈杂的注释更便宜。以前的研究报告了在使用噪声标签进行训练时混合的经验结果：神经网络可以很容易地记忆随机标签，但它们也可以从噪声标签中推广。为了解释这个难题，我们研究了体系结构如何影响带有噪声标签的学习。我们观察到，如果一个架构“适合”这个任务，那么使用噪声标签进行训练可以诱导出有用的隐藏表示，即使模型泛化得很差，也就是说，模型的最后几层受到噪声标签的负面影响更大。这一发现导致了一种改进基于噪声标签的模型的简单方法：用一个线性模型代替最终的稠密层，该模型的权重是从一小组干净的数据中学习的。我们在三种结构（卷积神经网络、图神经网络和多层感知器）和两个领域（图算法任务和图像分类）上验证了我们的发现。此外，我们将我们的方法与现有的噪声标签训练方法相结合，在图像分类基准方面取得了最新的结果
https://arxiv.org/abs/2012.12896 NoisyLabelsCan Induce Go...
一、给客户“贴标签” 由于微信没有分类功能所以我们只能用贴标签的方式对好友进行分类。不过这样做也有好处，可以给一个...
一、给客户“贴标签” 由于微信没有分类功能所以我们只能用贴标签的方式对好友进行分类。不过这样做也有好处，可以给一个...
临近期末，事情又多了起来，接下来又要早出晚归。 以为又该披星戴月，五点半闹钟响起时，却发现天已大亮，原来我已经太久...
开宗明义，概念先行。先解析下“套路”的定义。 “套路”到底是个什么玩意？ “套路”是指精心策划的应对某种情况的方式...
原创思维者的惊人特质 by 亚当·格兰特 故事的开始是这样的： Warby Parker（一个卖眼镜的网站）的创始...
五行相生 肝（木）生心（火），心（火）生脾（土） 脾（生）生肺（金），肺（金）生肾（水） 肾（水）生肝（木） 五行...
我们总是听人谈论入神的益处，专注于当下，注重你身边发生的事情，不要让杂事扰乱思绪，不时的入神冥想没有错。 但是，走...
40/180 老家有个婶子，快人快语，年轻时候能吃能干。农村人婚假早，她利索能干，早早地给儿子娶了媳妇成了家。 结...
穷并不一无是处，穷，也有好处，比如不能四处旅游？比如不能随便出入酒店，比如不能去吃各种小吃，比如不能去各种...
本文标题：噪声标签也有好处
本文链接：https://www.haomeiwen.com/subject/shsbnktx.html
网友评论