Related work
Data augmentation:提高模型识别能力的方法之一是增大样本数据，往往更大的样本数据集可以训练出表现更好的以及更鲁棒的模型.通过生成难以被正确分类的难样本（hard positive）, 以此来提高识别网络的识别能力．
模型结构
1 stability training objective
2模型框架
1模型思路：原本的模型难以应对普通数据集中出现的小噪音（rescale,crop,compression）,因此文中提出利用干净数据集I和加上高斯噪音的x'一起来训练模型的参数，从而训练出来的model，可以更好的应对un-cruted datasets.可以看出x'不是作为训练集,它是用来计算(式子3)，不是用来计算L(x';
),这个
才作用于更新模型的参数.
2Data augmentation 和stability training的区别在于，Data augmentation计算x'的original loss ,这样会造成original data的欠拟合。stability training中x'不是作为训练集,它是用来计算式子3，而不是L(x';
)，这样既保证了output stability 和performance on the original task.
3具体实施中optimization：一开始只用干净数据集训练，fine tune之后才加入x',同时利用反向传播时只修改最后的全连接层的参数
网友评论