来自 Understanding and Mitigating the Tradeoff Between Robustness and Accuracy
作者 Aditi Raghunathan, Sang Michael Xie, Fanny Yang, John C. Duchi, Percy Liang
所谓对抗训练，就是扰动训练数据，改进坏情况的误差，可它经常也增加测试集的标准误差。以前人们解释，标准误差和鲁棒误差哪能同时都很低呢！本文我们倒要给大伙见识我们鲁棒自训练（robust self-training, RST）的威力，竟能同时减少鲁棒误差和标准误差。
观察
鲁棒情况误差和标准误差是按下葫芦浮起瓢的关系吗？作者在文章开头用了三个理由来驳回这一假设。
其一，以图像识别为例，在图像上加人眼不能识别的噪点，人这个分类器的最坏情况误差变小了，标准误差没变。
其二，数据实验表明，随着样本增多，这两种误差的gap越来越小，暗示无穷样本的情况下两种误差的gap可能会消失。
其三，仿真实验表明，增加同分布样本也可能增加标准误差。如下图所示，这种情况发生在过度参数化的例子中。增加样本或许限制参数族，但依然过度参数化。是否会在这种情况下增加标准误差取决于估计环节的归纳偏差（比如用于最小化的范数）。
增加同分布样本也可能增加三次模型的标准误差
推导
加噪声样本的测试集损失是否比不加的大，这和方差有关
定义这两个的差，可以写成协方差投影的形式
这个形式能直接得到一个引理，满足三个条件则加噪声后的损失肯定不会增加。
网友评论