---

layout: post
title: 黑盒攻击深度学习模型paper5篇总结
categories: [deep learning]
description: 截止201804几种黑盒攻击方法
keywords: deeplearning, , black box attack, model

---

Transferability in ML: 需要少量input 和 label（例如预测数字为label=2）

1. 模型的训练：

Traning of the substitute model

• 初始化收集:收集少量的数据集，如手mnist，收集0~9的10张

• 替代模型的结构，寻找合适的替代模型结构，如针对图片采用卷积层，针对文本采用RNN， 而且他们证明层的类型，数量和大小仅有些相对较小的影响。

• submodel的训练：将初始inputs送入原model进行查询获取label，获得一个完成的数据集（input，label）之后进行submodel的训练

• 数据集的扩增，jacobian-based with reservoir sampling

2. 对抗样本的生成（利用白盒攻击的方法）

GENERATING NATURAL ADVERSARIAL EXAMPLES: 需要input 和 label（例如预测数字为label=2）

1.模型的训练（获得generator和inverter)：

Traning Architecture with a GAN and an Inverter

和普通GAN的学习基本一致，只不过多了一个反向转换器inverter

损失函数如上，实现的效果是：

• 输入高斯分布z，G输出真实图片x'

• 够输入x，inverter输出符合高斯分布的z’

以上保证了输入z或者对z的轻微修改，G依旧能够生成真实图片

2.对抗样本的生成

Natural Adversary Generation

迭代随机寻找，对z=z’+θ，其中θ是对z的修改，是循环尝试、随机生成、符合一定分布的，所以说尽可能尝试。

ZOO: Zeroth Order Optimization Based Black-box Attacks：需要input+每一个类别的概率

1.模型的训练

optimization problem

损失函数如上，左边保证对抗样本与真实input的相似，右边保证对抗样本能导致目标模型出错，具体如下：

target attack untargeted attack

• DNN model，如果目标model的数据集类似mnist,图片较小，就不会使用到attack-space hierarchical attack importance sampling

  • attack-space :计算梯度时的坐标选取范围变小 （299x299x3->32x32x3）

  • hierarchical attack:与上面的相反，小范围的坐标选取可能会没 有效果（32x32x3->64x64x3)

  • importance sampling：有时经过了attack-space，坐标范围还是非 常的大，此时就需要根据坐标的重要性进行 选取（一般认为，图片中间位置的像素较边 角的重要）

• 随机选取一个坐标

• 估计梯度，h非常小，ei是一个只有i-th元素等于1的偏置向量。第二个只在牛顿法中才会使用。

loss functions loss function

• 获得了上面的近似梯度后，利用一阶或二阶方法（如下红框内的adam方法和newton method）来获取best梯度

ZOO-ADAM ZOO-Newton

• 获得了best梯度，对x进行修改，输入目标model，如果出错则保留修改后的x，否则，循环②③④直到产生best梯度

DECISION-BASED ADVERSARIAL ATTACKS:需要input和 label（例如预测数字为label=2）

1. 模型的训练

① 初始化一张对抗input’ ~ U(0,1)

② 获取扰动

，之后对其进行修剪符合下列：

③ 对扰动修剪后，会符合

④ 修改ε，满足下列损失函数

此损失函数会导致上图的箭头↓（#2），即与等距线垂直的方向，靠近原input

⑤重复②③④，即重复←↓（#1 #2），越贴近原input时，会修改ε变小。

⑤ 当ε非常小的时候（收敛至0，如0.001），则保存此input’

说明：上述②③④一直循环时，input’是一致导致目标model出错的，只不过是越来越接近原input，即图片越来越真实。当ε非常小的时候，则表明此时input’已经很贴切原input，同时已经保持着让目标model出错的性质。

Machine Learning as an Adversarial Service: Learning Black-Box Adversarial Examples:需要input和每一个类别的概率

1. 模型的训练
   OverView of the attack

Attack model Architecture Loss function