对抗攻击经典论文剖析（上）【FGSM、BIM、PGD、Carlini and Wagner Attacks (CW)】
最近做数据增广做的心累，想要看一看对抗攻击！这个博文会对四种经典算法进行剖析，分别是FGSM、BIM、PGD、Carlini and Wagner Attacks (C&W)。
对抗攻击和防御
首先我们简单来说一说对抗攻击和防御的目的。攻击就是对原始样本增加扰动生成对抗版本最大化损失函数，同时扰动尽可能地小，让人类肉眼无法察觉；防御问题是基于这种攻击方法训练一个更具鲁棒性的神经网络。数学表达如下：
攻击：maxδ∈SL(θ,x+δ,y)\mathop {\max }\limits_{\delta \in S} L\left( {\theta ,x + \delta ,y} \right)δ∈SmaxL(θ,x+δ,y)
防御：minθρ(θ),ρ(θ)=E(x,y)∈D[maxδ∈SL(θ,x+δ,y)]\mathop {\min }\limits_\theta \rho \left( \theta \right),\rho \left( \theta \right) = {{\rm E}_{\left( {x,y} \right) \in D}}[\mathop {\max }\limits_{\delta \in S} L\left( {\theta ,x + \delta ,y} \right)]θminρ(θ),ρ(θ)=E(x,y)∈D[δ∈SmaxL(θ,x+δ,y)]
下面将针对几篇论文开始讲解：
Explaining and harnessing adversarial examples
动机
首先这篇论文提到，在当前的研究中，对抗样本的原因产生的原因仍是一个谜。之前很多假设推测对抗样本的产生是因为深度神经网络的极度非线性，可能还结合了监督学习中正则化和模型均化不足等原因。但是本文的作者认为，这种非线性(Nonlinear)的推测解释没有必要，**高维空间的线性(Linear Behavior)足够产生对抗样本。**根据这个观点，作者设计了一种新的快速产生对抗样本的方法，并且使得对抗学习(Adversarial Training)更实用。
线性解释
首先定义原始样本为xxx，添加扰动后的对抗样本为x~=x+η\tilde x = x + \etax~=x+η。当其中的扰动η\etaη比较小时，对于一个良好的分类器，会将他们分为同一个类。我们定义一个阈值ε\varepsilonε，当∥η∥∞<ε{\left\| \eta \right\|_\infty } < \varepsilon∥η∥∞<ε时，不会影响分类器的性能。经过一层线性网络后，权重向量ωT{\omega ^T}ωT和对抗样本x~\tilde xx~的点积为：ωTx~=ωT(x+η)=ωTx+ωTη{\omega ^T}\tilde x = {\omega ^T}\left( {x + \eta } \right) = {\omega ^T}x + {\omega ^T}\eta ωTx~=ωT(x+η)=ωTx+ωTη
这样，对抗扰动就增加了ωTη{\omega ^T}\etaωTη，作者令η\etaη=ε⋅sign(ω)\varepsilon \cdot {\mathop{\rm sign}\nolimits} \left( \omega \right)ε⋅sign(ω)从而将干扰最大化。我们假设权重向量ω\omegaω有nnn个维度以及平均值是mmm。这样干扰就会变成了εnm\varepsilon nmεnm，由此看出，干扰会随着维度nnn线性增长，一个样本中大量维度的无限小的干扰加在一起就可以对输出造成很大的变化。所以对抗样本的线性解释表明，对线性模型而言，如果其输入样本有足够大的维度，那么线性模型也容易受到对抗样本的攻击。
非线性模型的线性对抗扰动
作者利用对抗样本的线性解释提出了一个快速产生对抗样本的方式，也即Fast Gradient Sign Method(FGSM)方法。假定模型参数值为θ\thetaθ，输入为xxx，标签为yyy，则模型的损失函数为J(θ,x,y)J\left( {\theta ,x,y} \right)J(θ,x,y)。FGSM方法将保证无穷范数限制下（∥η∥∞<ε{\left\| \eta \right\|_\infty } < \varepsilon∥η∥∞<ε）添加的扰动值为η=εsign(∇xJ(θ,x,y))\eta = \varepsilon sign\left( {{\nabla _x}J\left( {\theta ,x,y} \right)} \right)η=εsign(∇xJ(θ,x,y))。
实验表明，FGSM这种简单的算法确实可以产生误分类的对抗样本，从而证明了作者假设的对抗样本的产生原因是由于模型的线性特性。同时，这种算法也可作为一种加速对抗训练的方法。
Logistics Regression模型上应用FGSM
在这个问题上很多人没有推导清楚，下面说一下自己的推导思路，从未理解在简单的设置中生成对抗样本：逻辑回归标签：y∈{−1,1}y \in \left\{ { - 1,1} \right\}y∈{−1,1}，预测函数为P(y=1)=σ(ωTx+b)P\left( {y = 1} \right) = \sigma \left( {{\omega ^T}x + b} \right)P(y=1)=σ(ωTx+b)，其中σ\sigmaσ为sigmoid函数，则损失函数为Ex,y∼pdataτ(−y(ωTx+b)){{\rm E}_{x,y \sim {p_{data}}}}\tau \left( { - y\left( {{\omega ^T}x + b} \right)} \right)Ex,y∼pdataτ(−y(ωTx+b))。其中τ(z)=log(1+exp(z))\tau \left( z \right) = \log \left( {1 + \exp \left( z \right)} \right)τ(z)=log(1+exp(z))。于是干扰计算如下：η=∈sign(∇xJ(θ,x,y))=εsign(∇xτ(−y(ωTx+b)))=εsign[e(−y(ωTx+b))1+e(−y(ωTx+b))(−y)ωT]\eta = \in sign\left( {{\nabla _x}J\left( {\theta ,x,y} \right)} \right) = \varepsilon sign\left( {{\nabla _x}\tau \left( { - y\left( {{\omega ^T}x + b} \right)} \right)} \right) = \varepsilon sign\left[ {{{{e^{\left( { - y\left( {{\omega ^T}x + b} \right)} \right)}}} \over {1 + {e^{\left( { - y\left( {{\omega ^T}x + b} \right)} \right)}}}}\left( { - y} \right){\omega ^T}} \right]η=∈sign(∇xJ(θ,x,y))=εsign(∇xτ(−y(ωTx+b)))=εsign[1+e(−y(ωTx+b))e(−y(ωTx+b))(−y)ωT]其中0<[e(−y(ωTx+b))1+e(−y(ωTx+b))]<10 < \left[ {{{{e^{\left( { - y\left( {{\omega ^T}x + b} \right)} \right)}}} \over {1 + {e^{\left( { - y\left( {{\omega ^T}x + b} \right)} \right)}}}}} \right] < 10<[1+e(−y(ωTx+b))e(−y(ωTx+b))]<1，那么原式可以化简为η=−yεsign(ωT)\eta = - y\varepsilon sign\left( {{\omega ^T}} \right)η=−yεsign(ωT)。我们将yyy看作一个标签常数，由ωTsign(ωT)=∥ω∥1{\omega ^T}sign\left( {{\omega ^T}} \right){\rm{ = }}{\left\| \omega \right\|_{\rm{1}}}ωTsign(ωT)=∥ω∥1可得逻辑回归的对抗模型形式为：Ex,y∼pdataτ(y(ε∥ω∥1−ωTx−b)){{\rm{E}}_{x,y \sim {p_{data}}}}\tau \left( {y\left( {\varepsilon {{\left\| \omega \right\|}_1} - {\omega ^T}x - b} \right)} \right)Ex,y∼pdataτ(y(ε∥ω∥1−ωTx−b))
对抗样本泛化原因
为了解释为什么多个分类器将同一个类分配给敌对的例子，作者假设用当前方法训练的神经网
络都类似于在相同训练集上学习的线性分类器。分类器在训练集的不同子集上训练时能够学习大致相同的分类权重，这仅仅是因为机器学习算法具有泛化能力。但是基础分类权重的稳定性反过来又会导致对抗性例子的稳定性。
Adversarial machine learning at scale
动机
Goodfellow基于之前的FGSM攻击方法做出了一部分改进，作者鉴于之前的FGSM的成功率并不高（在imageNet上仅有63%−69%63%−69%）。Goodfellow做出了一些改进， 提出了BIM攻击算法。
模型定式
从原先的以增加原始类别标记的损失函数为目标变为了减少目标类别的损失函数为目标。Xadv=X−εsign(∇XJ(X,ytarget)){X^{adv}} = X - \varepsilon sign\left( {{\nabla _X}J\left( {X,{y_{t\arg et}}} \right)} \right)Xadv=X−εsign(∇XJ(X,ytarget))其中ytarget{y_{t\arg et}}ytarget为原始样本最不可能分的类别：ytarget=argminy{p(y∣x)}{y_{t\arg et}} = \arg {\min _y}\left\{ {p\left( {y|x} \right)} \right\}ytarget=argminy{p(y∣x)}。
此外，作者还提出了以迭代的方式来进行攻击。具体公式如下：
他们将该方法称为Basic Iterative Methods(BIM)，后来Madry等人指出这实际上等价于无穷范数版本的Projected Gradient Descent(PGD)，我们后文介绍PGD时会说一下两者的具体区别。
另外之前之前的对抗训练并没有考虑到大规模样本下的复杂模型，因此作者提出了一个新的对抗训练方式来应对批量训练，使用一个可以独立控制每批次对抗案例的数量和相关权重的损失函数：
具体的算法流程如下：
实验效果
对抗训练增加了对于这些对抗攻击的鲁棒性（这应该是显而易见的）。但作者同时也指出了对抗训练略微减少了泛化精度，并且对于此给出的解释是：对抗训练起到了一定的正则化的作用。在过拟合的模型上，对抗训练能够降低测试误差；而在像ImageNet这些训练误差就很高的数据集上（欠拟合），对抗训练反而增大了训练误差，扩大了训练误差和测试误差的差距。
作者还做了有关模型大小和鲁棒性的关系，作者指出对于没有对抗训练的模型，太大的模型或者太小的模型都会导致鲁棒性很差，而对于对抗训练的模型，由于条件限制，目前的模型越大，鲁棒性显得越好。
作者实验还表明了FGSM的可转移性比BIM的可转移性强很多，这很可能是因为BIM生成的对抗样本太过针对性，因此减少了对抗攻击的泛化能力。这也许为黑箱攻击提供了一些鲁棒性。
Towards deep learning models resistant to adversarial attacks
论文动机
作者认为对抗攻击问题可以概括为Min-max问题，于是本文提出了对抗机器学习领域里面鼎鼎大名的Min-max最优化框架，通过这个框架可以将目前对抗手段和防御手段统一囊括进来。然后作者尝试去解决该min-max的问题。作者在本文中比较侧重如何进行防御，防御梯度攻击，产生更加鲁棒的防御模型。
模型定式
这个式子是一个进攻防御的Min-Max框架问题。对于攻击来说就是内部最大化，对于防御问题来说就是外部最小化。
内部最大化：里层的损失函数最大化的意思就是说原始样本加扰动后，和原始标签的损失差距越来越大，从而导致标签所得到的分数越来越小，这里指的是五目标攻击。
外部最小化：防御目的是为了让模型在遇到对抗样本的情况下，整个数据分布上的损失的期望还是最小。这个可以通过先解决内层训练找到所有训练样本的对抗样本，然后用对抗样本替换原样本进行retrain 来完成。
接下来作者介绍了PGD攻击
作者认为PGD算是非常强的first-order攻击，基本能防御PGD的网络，就可以防御其他任何one-order攻击。
实验结果
作者验证了防御模型的模型capacity，可以看到，随着模型的capacity变大，不仅在原始数据集上表现会变好（虽然有限），而且对于(one-step)对抗样本的抵抗能力也会增强。
作者认为：通过PGD方法找到的对抗样本进行训练使得在这些对抗样本上神经网络的loss很小，那么这个神经网络也就可以抵抗其他的对抗样本
PGD和BIM的区别
链接：https://www.zhihu.com/question/277310171/answer/737065649
Their PGD attack consists of initializing the search for an adversarial example at a random point within the allowed norm ball, then running several iterations of the basic iterative method (Kurakin et al., 2017b) to find an adversarial example. The noisy initial point creates a stronger attack than other previous iterative methods such as BIM (Kurakin et al., 2017a), and performing adversarial training with this stronger attack makes their defense more successful (Madry et al., 2017)
PGD和BIM都是迭代的FGSM。 两者的区别简单来说就是PGD增加迭代轮数，并且增加了一层随机化处理。
效果来看PGF要比BIM好不少。
Towards evaluating the robustness of neural networks
主要思想
作者将求取对抗样本的过程，转化为一个最优化的问题，即最小化：
D(x,x+δ)D\left( {x,x + \delta } \right)D(x,x+δ)
在下面两个等式约束的条件下：
C(x+δ)=tC\left( {x + \delta } \right) = tC(x+δ)=t
x+δ∈[0,1]nx + \delta \in {\left[ {0,1} \right]^n}x+δ∈[0,1]n
作者将上式子继续转化，原目标函数最终被转化为一个具有box约束的最小化问题：
在x+δ∈[0,1]nx + \delta \in {\left[ {0,1} \right]^n}x+δ∈[0,1]n条件下，最小化：∥δ∥p+c⋅f(x+δ){\left\| \delta \right\|_p} + c \cdot f\left( {x + \delta } \right)∥δ∥p+c⋅f(x+δ)
本文中还提出了七种f()f\left( \right)f()的表达形式，如下所示：
LmNzZG4ubmV0L3FxXzM4NTU2OTg0,size_16,color_FFFFFF,t_70)
作者对于Box约束问题，也提出了三种解决方式。
Projected gradient descent：每实施一步梯度下降，就把计算的结果限制在box内，该方法的缺点就是每次传入下一步的结果都不是真实值。
Clipped gradient descent：并没有真正地裁减，而是直接把约束加入到目标函数中。
f(x+δ)→f(min(max(x+δ,0),1))f\left( {x + \delta } \right) \to f\left( {\min \left( {\max \left( {x + \delta ,0} \right),1} \right)} \right)f(x+δ)→f(min(max(x+δ,0),1))
Change of variables：通过引入变量使满足box约束，其方法为:
δi=12(tanh(ωi)+1)−xi{\delta _i} = {1 \over 2}\left( {\tanh \left( {{\omega _i}} \right) + 1} \right) - {x_i}δi=21(tanh(ωi)+1)−xi
实验结果
Best Case: target label是最容易攻击的label
Worst Case：target label是最难攻击的label
Average Case：target label是随机挑选的label
可以发现Projected Descent在处理box约束是优于其他两种策略，
但Change of Variable寻求的扰动一般都是较小的
对抗攻击经典论文剖析（上）【FGSM、BIM、PGD、Carlini and Wagner Attacks (CW)】相关推荐
- 对抗攻击经典论文剖析（下）【DeepFool、One pixel attack、Universal adversarial perturbations、ATN】
引言 上一篇讲的几篇经典对抗攻击论文主要讲的是如何在梯度上扰动或者优化,即尽可能保证下的扰动,不被人类发现,却大大降低了模型的性能.这一篇我们将会有一些更有意思的对抗攻击样本生成,包括像素级别的扰动以 ...
- 对抗攻击经典论文——FGSM学习笔记 EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES
论文下载:Explaining and Harnessing Adversarial Examples 1摘要 几种机器学习模型,包括神经网络,一致地将对抗样本误分类--通过对数据集样本添加细微而刻意 ...
- 生成对抗网络（GANs）的资料小结，另附：资源|17类对抗网络经典论文及开源代码（附源码）
1.GANs的一些资料链接 ************************************************** *********************************** ...
- 有关对抗攻击的论文整理
对抗攻击 对抗攻击的概念 对抗攻击原理 对抗攻击方法 基于目标模型损失函数 基于目标模型网络结构 基于目标模型预测分数 基于目标模型预测决策 无需 训练替代模型 对抗攻击防御 对抗攻击实例 部分引用, ...
- 必读论文 | 生成对抗网络经典论文推荐10篇
生成式对抗网络(Generative adversarial networks, GAN)是当前人工智能学界最为重要的研究热点之一.其突出的生成能力不仅可用于生成各类图像和自然语言数据,还启发和推动了 ...
- CVPR2023对抗攻击相关论文
Feature Separation and Recalibration for Adversarial Robustness 论文链接:http://arxiv.org/abs/2303.13846 ...
- 【李宏毅机器学习】adversarial attack 对抗攻击
note: 对抗训练(adversarial training)通过对抗攻击(adversarial attack)的手段,即生成对抗样本(对部分原样本加入微小的扰动,可能导致误分类),是的NN能适应 ...
- 2020AI顶会的腾讯论文解读 | 多模态学习、视频内容理解、对抗攻击与对抗防御等「AI核心算法」
关注:决策智能与机器学习,深耕AI脱水干货 报道 | 腾讯AI实验室 计算机视觉领域三大顶会之一的 ECCV(欧洲计算机视觉会议)今年于 8 月 23-28 日举办.受新冠肺炎疫情影响,今年的 EC ...
- AI新方向：对抗攻击
https://www.toutiao.com/a6624300476227650051/ 2018-11-16 11:49:03 在调查近几年 AI 领域的过程中,我发现近几年对抗攻击的概念逐渐出现 ...
- 联邦学习 深度学习对抗攻击
联邦学习本身 "联邦学习" 实际上是一种加密的分布式机器学习技术,参与各方可以在不披露底层数据和底层数据的加密(混淆)形态的前提下共建模型. 如果机构之间的数据无法互通,一家企业一 ...
最新文章
- Lucene.Net无障碍学习和使用：索引篇
- webpack使用教程
- 在 SAP HANA database Explorer 里添加 HDI 容器
- html ctf查找,Web CTF 解题思路总结—南京邮电大学攻防平台writeup
- flare3d_clone
- git根据用户过滤提交记录
- 【Jquery系列】之DOM属性
- java Servlet Filter 拦截Ajax请求
- vim插件command-t安装
- mysql5.6设置日志路径_mysql5.6.12切换binlog二进制日志路径_MySQL
- scintilla 中的代码折叠功能的使用
- php implode explode,php implode()函数与explode()函数的用法区别
- JAVA运行内存的设置
- 把妹之道于品牌营销“精屁”
- 单例模式( Single Pattern )： 不仅仅是回字的四种写法
- 百度搜索去广告及高级用法
- Vue的基本知识——wsdchong
- 影子系统2008 出现:c0000174,错误位置在11.分区表错误
- Magento key
- 如何随时处于就绪状态？