AUGMIX : A SIMPLE DATA PROCESSIN

作者: 馒头and花卷 | 来源:发表于2020-03-24 13:49 被阅读0次

Dan Hendrycks, Norman Mu,, et. al, AUGMIX : A SIMPLE DATA PROCESSING METHOD TO IMPROVE ROBUSTNESS AND UNCERTAINTY.

概

本文介绍AUGMIX算法——对现有的的一些augmentation方法进行混用, 并构建了一个新的损失函数.

主要内容

在这里插入图片描述

在这里插入图片描述
其中为狄利克雷分布.

通过实验指出, Augmentation的混用(增加样本的多样性)以及损失函数的设计都是有利于稳定性以及不确定度的.

$\mathbf{JS}(p_{orig};p_{augmix1};p_{augmix2}) = \frac{1}{3} (\mathbf{KL}[p_{orig}\|M]+\mathbf{KL}[p_{augmix_1}\| M] + \mathbf{KL}[p_{augmix_2}\| M]),$
其中 $M:= (p_{orig} + p_{augmix1}+p_{augmix2})/3$ .

实验的指标

Clean Error: 指在干净样本上的错误率;
$E_{c,s}$ : 指在困难等级 $1 \le s \le 5$ , 污染(摄动, corruption) $c$ 下的错误率;
$CE_c = \sum_{s=1}^5E_{c,s}/ \sum_{s=1}^5 E_{c,s}^{\mathrm{Alexnet}}$ ;
$mCE$ : $\mathrm{mean}_{c} \: CE_{c}$ ;
flip probability (FP): 微小摄动下, 样本预测类改变的概率; 如何估计?
$mFP$ : the mean flip probability (对于所有的 $c$ ); -衡量鲁棒性;
$mFR$ : $mFP$ 比上 Alexnet 的 $mFP$ ;
不确定估计:
$\sqrt{\mathbb{E}_C [\mathbb{P}(Y = \hat{Y} | C=c)-c)^2]},$
其中 $C$ 为预测 $\hat{Y}$ 正确的 $confidence$ (如果输出是一个概率向量, 那么就应当是对应类别的概率)，采用如下方式估计: