Adversarial Attack

作者: 单调不减 | 来源:发表于2019-09-29 00:19 被阅读0次

Adversarial Attack
Adversarial Attack
针对SVM的Poisoning Attack相关的两篇
Adversarial Attack on Graph Stru
Go on
Norse Attack Map网络攻击实时监测地图
甘比英文拓展写作_day 8_an eventful momen
深入PHP源代码解决实际问题
Corelight中ATT&CK的覆盖情况
【网络安全】如何利用工具发现内部或外部网络攻击面

在生活中，机器学习模型常用于甄别不好的东西，比如垃圾邮件或恶意软件的检测等，这样就可能有不法分子千方百计想要骗过训练好的模型。

拿图像分类来说，如果我们想攻击一个训练好的图像分类器，就可以改变一张图片中的某些像素点的值，使得改变后的图片和原图片肉眼看不出太大分别，但使得分类器结果发生改变。

具体来说，攻击可以分为有目标的攻击和无目标的攻击，有目标的攻击就是我想把一张图片的分类结果变成某个特定的类，无目标攻击则是只要分类结果和原来不同即可。

这两种攻击方法的思路其实和神经网络的训练很相似，那有目标的攻击来说，先把损失函数设定为网络输出和目标类别的相似度减去输出和真实类别的相似度，也就是说输出结果越接近目标类别且远离真实类别就越好。然后我们固定训练好的网络的参数，对输入 $x$ 进行调优得到结果。

注意这里有一个约束条件：改变后的图片和原图差别不能太大。这个距离度量可以有很多选择，这里我们举了 $L-\infty$ 的例子：

可以看到，度量图片的差异性时使用 $L2$ 效果是不太好的，因为图中四个像素都作微笑改变和某一个像素作较大改变的 $L2$ 是相同的，但肉眼看来，显然后者较容易被发现。因此我们的思路就是使得所有像素改变量的最大值最小，这实际上就是 $L-\infty$ 。

训练的步骤和神经网络的训练相似，都是采取梯度下降法。唯一的不同在于这里多了一个约束条件，就是改变后的图片和原图的distance不能太大，为了做到这一点，我们可以在梯度下降法的每次迭代中检查当前 $x^t$ 和原 $x^0$ 的记离有没有违反约束，若违反，则找到约束范围内距离当前 $x^t$ 最近的点即可。

下面是 $L2$ 和 $L-\infty$ 的例子：

那么实际运行效果如何呢？

以下是虎斑猫的例子：

通过微小的改变，我们就骗过了ResNet-50，让分类结果从虎斑猫变成了海星。

那么为什么我们可以做到这一点呢？

上图给出了一个直观的解释（更深层次的原因尚不得而知），纵轴是信心分数。

因为我们的输入维度是非常高的（128 $\times$ 128的图片展开成向量都有上万维），因此很可能存在某个方向上各个类别的信心分数是“挤在一起的”，如图所示，此时我们将图片的像素向量在这个方向上移动一点点，就会导致分类结果发生改变。

具体的Adversarial Attack方法有很多，下面我们看最简单的一种（FGSM）：

FGSM的思路非常直接，就是沿着负梯度方向移动一个步长，使得结果满足约束。就是这样一个简单的方法，已经可以攻击很多图像分类器了。

到目前为止我们讨论的都是，已知模型的参数，有针对性地进行攻击，但我们日常生活中投入应用的分类器可能并不会公开这些数据，甚至连架构都不会公开，这样一来不法分子是不是就无计可施了呢？

实际上并不是，以上我们讨论的是白箱攻击，还有另一种名为黑箱攻击的方法。顾名思义，黑箱攻击就是在不知道模型参数的情况下对模型进行攻击。

若我们知道要攻击的网络训练数据是什么，那么我们就可以使用这些数据来训练一个网络，并攻击我们训练好的网络，这样产生的图片有很大概率可以骗过要攻击的网络。

若我们不知道要攻击的网络的训练数据，也没关系，我们可以喂给这个网络一些图片并得到分类结果，把这些数据作为我们的训练数据，然后重复上述步骤。

可以看到，就是这样一个简单的思路，就让原本很厉害的模型表现大大下降。

CMU甚至做出了带有特殊图案的眼镜让人脸识别系统把自己识别成另外一个人。

看完这些攻击方法，我们可能会感到很悲观，再强的模型面对有意攻击都会变得很差，有没有什么办法抵御这些攻击呢？

下面就是一些防御方法：

第一种思路就是在我们训练好的网络前加上一层filter对输入进行平滑处理等操作。这样做可以抵御部分攻击的原因在于，攻击是在原图上加了一个微小的扰动向量，这个向量之所以有效，是因为它是沿某个特定方向的，而我们的平滑处理可以在不太影响正常图片的分类的前提下，将那些有问题的图片中添加的noise的方向改变，从而消除其对我们分类器训练的影响。