Label Smoothing 2020-04-01

https://www.datalearner.com/blog/1051561454844661

标注数据不准确的时候，用交叉熵不太好。训练数据不会覆盖所有的情况，也不会全部都是准确的，所以使用交叉熵其实并不好。

其实是把原来的标注做一些修改，比如把[0,1]改为[0.05,0.95]

https://zhuanlan.zhihu.com/p/101553787

神经网络被训练得对自己的答案不那么自信。标签平滑强制对分类进行更紧密的分组，同时强制在聚类之间进行更等距的间隔。

以前的研究(Guo et al)表明，神经网络常常过于自信，相对于它们的真实准确性校准得很差。