2021.12.7 第四篇(ICLR2020) 半精读
原文链接：Fast is better than free: Revisiting adversarial training
代码链接：Fast is better than free: Revisiting adversarial training

文章提出了使用a much weaker and cheaper adversary来进行对抗训练。本文指出了对抗训练非常耗时，接着提出了不一定需要PGD-based强攻击者进行对抗训练，随后引入了随机初始化的FGSM-based的对抗训练，发现其加速效果很不错。

Algorithm 1是传统的PGD对抗攻击算法，很简单就不详细介绍了。

Algorithm 2是Free Adversarial Training算法，共享了min part and max part.权重，从而加速了计算。

Algorithm 3是本文所提的算法，也很直接。

本文所提方法与PGD-based && Free Adversarial Training 相比，在精度下降可接受的范围内速度提高了很多。
此外本文所提方法还可以用Cyclic learning rate和Mixed-precision arithmetic来加速。

Figure1显示了在CIFAR10和ImageNet上的Cyclic learning rate。

在MNIST上FGSM和PGD对抗训练的结果

Figure2显示了在CIFAR10上三种方法的鲁棒精度曲线

Table3显示了到达45%鲁棒精度不同方法所需的时间的epochs

Table4.5其他一些对比实验

个人总结

本文提出了一种基于FGSM的对抗防御方法，在用更强的攻击者攻击的大趋势下反其道而行之，思想很简单但巧妙。这篇文章同样值得学习的是写作方法，即怎么把一个很简单的idea润色成一篇丰富的文章。

Fast is better than free: Revisiting adversarial training相关推荐

ENSEMBLE ADVERSARIAL TRAINING: ATTACKS AND DEFENSES（ICLR 2018）
ENSEMBLE ADVERSARIAL TRAINING: ATTACKS AND DEFENSES 后续工作(2020年4月新增) 从2017年NIPS对抗攻击防御大赛开始,许多后续工作提出了更复 ...
《Fast Gradient Projection Method for Text Adversary Generation and Adversarial Training》论文学习笔记
最近在学习对抗学习在文本分类方面的论文,对抗训练在提高深度神经网络对图像分类的鲁棒性方面表现出了有效性和高效性.然而,对于文本分类,文本输入空间的离散特性使得基于梯度的对抗方法难以从图像域进行自适应. ...
Class-Aware Robust Adversarial Training for Object Detection论文阅读笔记
针对目标检测的类感知对抗训练 2021年的CVPR,哥伦比亚大学和中心研究院合作的工作. 摘要: 目的通过对抗训练增强目标检测的鲁棒性,对于一张给定的图像,本文提出的方法产生一个通用的对抗性攻击 ...
报名 | “阳奉阴违”的半监督学习算法 - Virtual Adversarial Training
「论文共读」是由 PaperWeekly 发起的协同阅读小组.我们每周精选一篇优质好文,由学术大咖带大家解读论文并展开讨论,在碎片化时代坚持深度阅读. 本期论文共读由 PaperWeekly 社区用户 ...
论文共读 | “阳奉阴违”的半监督学习算法 - Virtual Adversarial Training
「论文共读」是由 PaperWeekly 发起的协同阅读小组.我们每周精选一篇优质好文,由学术大咖带大家解读论文并展开讨论,在碎片化时代坚持深度阅读. 本期论文共读由 PaperWeekly 社区用户 ...
文献阅读课13-DSGAN: Generative Adversarial Training for （远程监督关系抽取，句子级去噪）
文章目录 Abstract 1.Introduction 2.相关工作 3 Adversarial Learning for Distant Supervision 3.1 Pre-Training ...
AAAI2018-Long Text Generation via Adversarial Training with Leaked Information论文笔记
这篇文章主要是名为 LeakGAN 的模型结构,同时处理 D 反馈信息量不足和反馈稀疏的两个问题.LeakGAN 就是一种让鉴别器 D 提供更多信息给生成器 G 的新方式,我自己的笔记: 转自:htt ...
[论文翻译]数据集的domian问题:Intramodality Domain Adaptation Using Self Ensembling and Adversarial Training
论文pdf下载: 链接 Intramodality Domain Adaptation Using Self Ensembling and Adversarial Training 使用自集成和对抗性 ...
【paper 2】Learning from Simulated and Unsupervised Images through Adversarial Training
GAN对抗学习单词 refiner 修正器 tractable 容易处理的 annotations 注释 plethora 过多 penalize 惩罚 holistically 整体论地 dive ...
Directional Adversarial Training for Recommender Systems
Directional Adversarial Training for Recommender Systems 论文理解与翻译: 1.摘要: (话题方向切人,他人最近的有关成果,再次基础上他人成果的 ...

Fast is better than free: Revisiting adversarial training

个人总结

Fast is better than free: Revisiting adversarial training相关推荐

最新文章

热门文章