Towards Deep Learning Models Resistant to Adversarial Attacks(PGD adversarial training)
目录
- Introduction
- 内容简介
- An Optimization View on Adversarial Robustness
- 内容介绍
- Towards Universally Robust Networks
- The Landscape of Adversarial Examples
- Network Capacity and Adversarial Robustness
- 内容介绍
- Experiments: Adversarially Robust Deep Learning Models
- 内容介绍
- 个人感悟
Introduction
内容简介
主要介绍了本文的三个贡献，同时也是最关键的三个实验：
- 证明了为什么说PGD是最强的一阶攻击，是内部最大化问题的一个有效的解决方法。
- 对抗训练取得的分类边界相对于普通训练更加复杂，因此需要具有更大容量的网络结构，并通过实验验证了这一观点。
- 基于PGD解决内部最大化问题，以及选择大容量神经网络这两个观点，进一步设计实验证明了对抗训练的有效性。
An Optimization View on Adversarial Robustness
内容介绍
首先依据传统机器学习的观点，输入的图像数据xxx与输出的分类向量yyy服从于一个联合概率分布DDD。则在损失函数给定的情况下，神经网络的训练过程是一个经验风险最小化（EMR）过程：minθE(x,y)∼D[L(θ,x,y)]\min\limits_{\theta}E_{(x,y)\thicksim D}[L(\theta,x,y)]θminE(x,y)∼D[L(θ,x,y)]。即选择合适的参数θ\thetaθ，在(x,y)(x,y)(x,y)遵循分布DDD的前提下取得最小的期望损失。
而对抗训练是一个最大化最小化问题，本质上仍是一个期望风险最小化问题，不过是选择一组参数θ\thetaθ，使得当xxx被添加了最强的干扰（即添加的干扰使得损失值最大）时，整体的期望风险依然最小。简单来说是寻找一个对最强对抗样本有最小期望风险的模型参数θ\thetaθ，即：minθE(x,y)∼D[maxδ∈SL(θ,x+δ,y)]\min\limits_{\theta}E_{(x,y)\thicksim D}[\max\limits_{\delta\in S} L(\theta,x+\delta,y)]θminE(x,y)∼D[δ∈SmaxL(θ,x+δ,y)]。
Towards Universally Robust Networks
The Landscape of Adversarial Examples
这里开始详细实验证明前面的贡献一，以说明为什么PGD是合理的内部最大化问题的求解方式。
第一组实验结果：
首先以图一为例，图一面向一个特定的样本xxx，横轴是PGD算法的迭代次数，纵轴是分类损失值，且同中有20条损失上升曲线，意味着对样本xxx进行了20次随机重启的PGD攻击。实验对两个数据集进行，每个数据集在正常训练与对抗训练两种模型上进行实验，得出如下实验结论:
- 20次随机重启，随着迭代过程，损失值都上升到了一个基本相同的高度后趋于稳定，这意味着在干净样本xxx周围有许多关于损失函数的局部最大值点。
- 在对抗训练的模型损失值上升的高度比正常训练模型的损失值上升的高度低很多。
基于以上两个结论，显然PGD算法合理地解决了内部最大化问题，因为确实找到了一个上限，且多次随机重启均无法突破这个上限。作者这里还进一步证明了随机重启的合理性，即将20次随机重启取得的20个对抗样本进行欧式距离与角度的比对，证明20次重启并非收敛到同一个极大值点，而是收敛到了20个不同的极大值点，这说明有许多个不同的局部极大值点，这表明这个上限是确实存在的，而不是因为多次随机重启最终殊途同归。此外实验结果2也初步表现了对抗训练的可行性。
第二组实验结果：
每一张图片是对一个特定样本进行了10510^5105次重启，分析每次重启后达到的极限值的分布规律，蓝色是在正常训练模型上进行实验，红色是在对抗训练模型上进行实验，显然，上限值均收敛于一定范围之内，这进一步证明了PGD算法解决局部最大化问题的有效性
Network Capacity and Adversarial Robustness
内容介绍
通过一组实验探究上述的第二个贡献：
在standard training的情况下对MNIST数据集而言，显然扩增模型容量可以小幅度改善防御效果，对Cifar10而言显然Wide网络对三种数据分类正确率都会有所进步。在FGSM training的情况下，MNIST数据集显然对原始样本的识别正确度略有下降，对FGSM的防御效果嘎嘎好，但对PGD攻击直接嗝屁，Cifar10数据集结论类似。而PGD training的情况下，显然在小容量的情况下MNIST数据集学习不到有效的内容，当模型容量增大时成功获得了优秀的分类与防御能力，对CIfar10数据集而言大的模型容量显然有更优秀的结果。
至此已经了解到，PGD对抗训练需要大的模型容量，且PGD确实是解决内部最大化问题的有效方式，同时SGD在解决外部最小化问题时同样适用，据此可以开展后续的一系列关于防御性能的评估实验。
Experiments: Adversarially Robust Deep Learning Models
内容介绍
首先，训练过程中的损失函数下降曲线告诉我们，对抗训练确实在有效进行：
后续对不同类型的攻击，进行了防御性能的测试。白盒攻击记为AAA，基于完全相同的模型和训练方法得到的替代模型进行的黑盒攻击记为A′A^{\prime}A′，基于完全相同的模型，但是并不了解训练策略，因此使用干净样本训练得到的替代模型进行的黑盒攻击记为AnatA_{nat}Anat，连模型都不知道的只能生成一个简单的替代模型的黑盒攻击记为BBB。
在MNIST数据集上，训练时采用40×0.01，0.340\times0.01，0.340×0.01，0.3的对抗样本生成方式，测试时面对无穷范数为0.3的攻击：
只能说MNIST数据集比较简单，训练集测试集相似度很高，所以防御效果很好，在测试集上有如此高的防御能力，没有较大的robustness gap（在训练集与测试集上的鲁棒性相差较大）。
在Cifar10数据集上，训练时采用7×2，87\times2，87×2，8的对抗样本生成方式，测试时面对20×2，820\times2，820×2，8的攻击：
这里就体现了robusteness generalization的问题，原文没有给出在训练集上进行白盒攻击的效果，但是上面训练过程的损失值很低，可见在训练集上鲁棒性较好，但是在测试集对抗样本上上只有50%左右的防御力，说明鲁棒性泛化能力不太行。当然，与正常训练相比，这个防御能力还是好很多的。
最后由于PGD对抗训练基于无穷范数及固定的攻击参数，作者测试了在面对不同攻击参数及l2l_{2}l2范数时的防御能力。
在Cifar10数据上，显然，面对强度不断增强的攻击，明显防御性越来越差，在MNIST数据集上对比了PGD与DBA两种攻击方式在对抗训练与正常训练模型上的表现，如图所示。
个人感悟
总体就是测试PGD对抗训练的有效性，前期探索过程包括证明PGD是最强的与模型容量要大两组先验实验，前者通过多次重启均收敛及对收敛值的数据统计两个角度来验证，后者通过设计不同容量模型的对比试验来验证。后续实验验证了在面对不同类型攻击（白盒与各种黑盒），不同攻击算法，不同ϵ\epsilonϵ，不同约束条件下模型的防御性能，完成了最终的实验。实验设计很nice，很有参考性。
有没有一种可能，使用这种期望风险最小化公式可以提升对正常样本的识别概率？minθE(x,y)∼D[maxδ∈SL(θ,x+δ,y)+L(θ,x,y)]\min\limits_{\theta}E_{(x,y)\thicksim D}[\max\limits_{\delta\in S} L(\theta,x+\delta,y)+L(\theta,x,y)]θminE(x,y)∼D[δ∈SmaxL(θ,x+δ,y)+L(θ,x,y)]（已经有了比如TRADES就类似）
Towards Deep Learning Models Resistant to Adversarial Attacks(PGD adversarial training)相关推荐
- Towards Deep Learning Models Resistant to Adversarial Attacks （PGD）
Towards Deep Learning Models Resistant to Adversarial Attacks 从对抗鲁棒性的角度出发 本文从鲁棒优化的角度研究了神经网络的对抗鲁棒性. 我 ...
- PGD_Towards deep learning models resistant to adversarial attacks_CSDN
Towards Deep Learning Models Resistant to Adversarial Attacks Towards Deep Learning Models Resistant ...
- PGD:Towards Deep Learning Models Resistant to Adversarial Attacks
一.摘要 1.出发点:(1)深度网络对对抗攻击(adversarial attack)即对对抗样本的天生缺陷. (2)当输入信息与自然样本差别并不大是却被网络错误的分类,如下图. 2.作者提出方法和论 ...
- [论文解读] Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey
Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey 文章目录 Adversaria ...
- CloudLeak: Large-Scale Deep Learning Models一种黑盒的攻击方法
background state of the art(已有的对比项) solution/contribution(系统还是算法贡献) evaluation conclusion/future wor ...
- 【读点论文】Fawkes: Protecting Privacy against Unauthorized Deep Learning Models 添加像素扰动来实现图片的对抗AI识别
Fawkes: Protecting Privacy against Unauthorized Deep Learning Models 当今强大的面部识别系统的激增对个人隐私构成了真正的威胁.正如C ...
- 【笔记】Comparison of Object Detection and Patch-Based Classification Deep Learning Models on Mid- to La
<Comparison of Object Detection and Patch-Based Classification Deep Learning Models on Mid- to La ...
- 论文笔记：Do We Really Need Deep Learning Models for Time Series Forecasting?
Do We Really Need Deep Learning Models for Time Series Forecasting? Elsayed S, Thyssens D, Rashed A, ...
- ISPRS2020/遥感云检测：Transferring deep learning models for cloud detection between Landsat-8 and Proba-V
ISPRS2020/云检测:Transferring deep learning models for cloud detection between Landsat-8 and Proba-V在La ...
最新文章
- 组合模式(Composite)
- liberty配置mysql数据源_Bluemix Liberty server.xml MySQL数据源配置
- 详解Javascript中的Array对象
- KeyMob具有手机广告优化的管理平台
- 步步为营-49-视图
- 如何判断Linux服务器是否被入侵？
- 在Linux下使用linuxdeployqt发布Qt程序
- apue学习笔记（第六章 系统数据文件和信息）
- 利用CSF算法实现地面点云的粗分割
- jrebel IDEA热部署插件激活
- 太空帝国5(Space Empires V SE5)攻略
- 一、简单刷题APP（题库是Excel）之项目功能和效果图
- mac移动硬盘未装载解决方案
- 小程序之100推荐：901~1000
- 【性能提升神器】STRAIGHT_JOIN
- oracle ndb,NDB语法 - ivaneeo's blog - BlogJava
- 流量不清零：为何让三运营商的垄断越走越紧
- 计算机专业哀鸿遍野：低代码平台和程序员水火不容，马上被取代
- 品管七大手法-2排列图(转载)
- 索引视图是否物理存储在数据库中以及使用索引视图的一些见解