对抗机器学习论文-Towards Deep Learning Models Resistant to Adversarial Attacks（PGD）

Towards Deep Learning Models Resistant to Adversarial Attacks（PGD）

文章目录

Towards Deep Learning Models Resistant to Adversarial Attacks（PGD）
- 摘要
- 1 介绍
- 2 对抗鲁棒性的优化视角
- 3 面向通用的鲁棒网络
- - 3.1 对抗样本的前景展望
  - 3.2 一阶攻击方法
  - 3.3 对抗训练的下降方向
- 4 网络容量和对抗鲁棒性
- 5 实验：对抗性强健的深度学习模型

摘要

从鲁棒优化的角度研究了神经网络的对抗鲁棒性
提出了通用且可靠的训练和攻击神经网络的方法框架

1 介绍

对抗样本的存在除了安全方面的影响外，该现象还表明我们当前的模型没有以稳健的方式学习底层概念
提出了一个鞍点（最小-最大）公式，总结出了一个通用的理论框架。该公式用来确定如何防范一类攻击而不是某个特定的攻击。
本文的三个主要贡献：
1. 尽管鞍点公式既有非凸又有非凹的函数部分，我们成功解决优化了它
2. 发现了模型的容量大小在其抵抗对抗样本时起到重要作用
3. 在MNIST和CIFAR10上训练出了对各种对抗攻击具有鲁棒性的网络

2 对抗鲁棒性的优化视角

这个视角不仅准确地捕捉了我们想要研究的现象，而且也将为我们的调查提供信息
我们的方法不是直接关注于提高对特定攻击的鲁棒性的方法，而是首先提出对抗鲁棒模型应该满足的具体保证
尽管我们在本文中着重于针对 L∞ 攻击的鲁棒性，但我们指出，更广泛的感知相似性概念是未来研究的重要方向
鞍点公式：

该公式为我们提供了一个统一的视角，其中包含了许多关于对抗鲁棒性的先前工作，我们的观点源于将鞍点问题视为内部最大化问题和外部最小化问题的组合
鞍点问题指定了理想的鲁棒分类器应该达到的明确目标，以及对其鲁棒性的定量度量
所有的攻击方法可以看作是公式中内部最大化问题的具体尝试，即找到给定数据点x的对抗样本以实现高损失；外部最小化问题的目标是找到模型参数，以使内部攻击问题给出的“对抗损失”最小化
- 本文使用的PGD：

t+1时刻输入根据t时刻的输入及t时刻的梯度求出。∏_(X+S)的意思是，如果扰动超过一定的范围，就要映射回规定的范围S内。

BIM方法是FGSM的迭代版本，PGD是BIM的变体，它以均匀的随机噪音作为初始化（比BIM添加了一个初始的随机扰动）

3 面向通用的鲁棒网络

根据前面的定义，如果我们的模型对全部的扰动损失都很小就没有对抗扰动发生的可能。因此找到公式的最优解至关重要。

3.1 对抗样本的前景展望

原先的方法通过线性化解决公式中的内部最大值，如FGSM等
本文使用的方法为PGD，作者通过以下讨论来证明PGD是一阶方法中的“通用”方法
- 当对 x+S 内随机选择的起始点执行PGD的 L∞ 梯度下降时，攻击算法所实现的损失会以相当一致的方式增加，并迅速达到平稳状态，最终损失值也非常集中

在大量的随机重新启动过程中，最终迭代的损失遵循高度集中的分布，而没有极端的异常值

蓝色的是在标准网络上的进行PGD攻击的损失，红色为在经过对抗样本训练的网络，都十分集中

还有两点不太明白啥意思

3.2 一阶攻击方法

上述实验表明PGD发现的局部最大值都具有相似的损失值，从而提出一个有趣的问题：
- 针对PGD攻击的鲁棒性会产生针对所有一阶攻击算法的鲁棒性
- 只要对手仅使用损失函数相对于输入的梯度，我们就可以推测，它不会找到比PGD更好的局部最大值
但是作者提出对PGD的探索并不排除存在一些具有更大函数值的孤立最大值。但是，我们的实验表明，使用一阶方法很难找到这样更好的局部最大值：即使大量随机重启也找不到具有明显不同损失值的函数值

综上所述，如果我们训练网络使其对PGD对手具有强大的抵抗力，那么它将对包括所有当前方法的广泛攻击具有强大的抵抗力

3.3 对抗训练的下降方向

计算外部问题的梯度 ∇θρ(θ) 的一种自然方法是在内部问题的最大值处计算损失函数的梯度，这相当于用输入点的对应对抗性扰动代替输入点，并通常在扰动的输入上训练网络
内部最大值处的梯度方向对应于鞍点问题的下降方向，实验表明可以使用这些梯度来优化我们的问题。即用 PGD 生成的对抗样本训练模型是有效的，可以不断提高鲁棒性

4 网络容量和对抗鲁棒性

对于可能扰动的固定集合 S ，问题的值完全取决于我们正在学习的分类器的体系架构。因此，模型的架构能力成为影响其整体性能的主要因素

以鲁棒的方式对样本进行分类需要更强大的分类器，即需要更大的容量

实验证明模型的容量对鲁棒性和成功在对抗样本上训练的能力至关重要

模型容量增大，训练后的准确率会上升

从实验中观察到以下现象：
1. 仅使用自然样本进行训练时增加网络的容量会提高针对单步扰动的鲁棒性（ ϵ 小时效果更好）
2. FGSM生成的样本不能增加鲁棒性，网络会对其过拟合
3. 小容量的网络下，学习PGD生成的样本会阻止网络学习任何有意义的内容，网络的小容量迫使训练过程牺牲自然样本的性能，以提供对抗对抗输入的任何鲁棒性
4. 鞍点问题的值会随着容量的增加而减小，表明模型可以更好地拟合对应的对抗样本
5. 更大的容量和更强的对抗样本可以降低可迁移性

5 实验：对抗性强健的深度学习模型

实验表明，我们需要关注两个关键要素：

训练容量足够大的网络
使用尽可能最强大的攻击算法

在MNIST上的实验：

对抗不同对抗样本时各个训练网络的性能

A：网络本身（白盒攻击）
A‘：来自独立训练的网络副本的黑盒攻击
B：来自不同卷积体系结构的黑盒攻击

在CIFAR10上的实验：

Anat：来自同一网络版本的黑盒攻击只针对自然示例进行训练

两个额外的实验：
1. 探究L∞界限下，不同 ε 值的攻击
2. 探究模型对L2范数攻击的抵抗力

实验表明：

对于小于实验中训练期间使用的 ε ，模型达到了预期相同或更高的准确率
对于MNIST， ε 的增大会出现一个急剧下降，这可能是因为学习的阈值操作符调整为培训期间使用的确切 ε 值
PGD在MNIST的L2训练网络上的性能较差，并且显著高估了模型的鲁棒性。这可能是由于模型学习的阈值过滤器掩盖了损失梯度（基于决策的攻击不使用梯度）。

原文链接：https://arxiv.org/pdf/1706.06083.pdf

对抗机器学习论文-Towards Deep Learning Models Resistant to Adversarial Attacks（PGD）相关推荐

Towards Deep Learning Models Resistant to Adversarial Attacks(PGD adversarial training)
目录 Introduction 内容简介 An Optimization View on Adversarial Robustness 内容介绍 Towards Universally Robust ...
Towards Deep Learning Models Resistant to Adversarial Attacks （PGD）
Towards Deep Learning Models Resistant to Adversarial Attacks 从对抗鲁棒性的角度出发本文从鲁棒优化的角度研究了神经网络的对抗鲁棒性. 我 ...
PGD:Towards Deep Learning Models Resistant to Adversarial Attacks
一.摘要 1.出发点:(1)深度网络对对抗攻击(adversarial attack)即对对抗样本的天生缺陷. (2)当输入信息与自然样本差别并不大是却被网络错误的分类,如下图. 2.作者提出方法和论 ...
PGD_Towards deep learning models resistant to adversarial attacks_CSDN
Towards Deep Learning Models Resistant to Adversarial Attacks Towards Deep Learning Models Resistant ...
【对抗攻击论文笔记】Enhancing the Transferability of Adversarial Attacks through Variance Tuning
文章目录 Main Contributions Background Motivation Method Experiments Main Contributions 本文提出了一种基于方差调整迭代梯 ...
【读点论文】Fawkes: Protecting Privacy against Unauthorized Deep Learning Models 添加像素扰动来实现图片的对抗AI识别
Fawkes: Protecting Privacy against Unauthorized Deep Learning Models 当今强大的面部识别系统的激增对个人隐私构成了真正的威胁.正如C ...
[论文解读] Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey
Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey 文章目录 Adversaria ...
论文笔记：Do We Really Need Deep Learning Models for Time Series Forecasting?
Do We Really Need Deep Learning Models for Time Series Forecasting? Elsayed S, Thyssens D, Rashed A, ...
[论文翻译] Deep Learning
[论文翻译] Deep Learning 论文题目:Deep Learning 论文来源:Deep learning Nature 2015 翻译人:BDML@CQUT实验室 Deep learnin ...
ISPRS2020/遥感云检测：Transferring deep learning models for cloud detection between Landsat-8 and Proba-V
ISPRS2020/云检测:Transferring deep learning models for cloud detection between Landsat-8 and Proba-V在La ...