论文解读 | Explaining and Harnessing Adversarial Examples

核心观点：
神经网络对于对抗样本的攻击如此脆弱的原因，是因为网络的线性本质。
文章还提出了最早的 FGSM （Fast Gradient Sigh Method）对抗样本生成方法。
通过在训练样本中加入一定的对抗样本（随机生成），可以对模型起到一定的正则化作用。

insight
利用非线性可以抵抗对抗样本，但是非线性的模型又没有线性模型好训练优化，所以未来的思路可能是：设计一套优化方法，可以用来很好地训练非线性模型。

不太懂的地方
5 ADVERSARIAL TRAINING OF LINEAR MODELS VERSUS WEIGHT DECAY 这一小节里面论文谈到，加入对抗样本以后的训练效果，初看起来跟 L1 正则化有点像，但是实际上有很大不同。最大的不同点在于，L1 正则化（也就是 weight decay）是在训练过程中，把 L1 penalty 加在 training cost 上，而不是像加入了对抗样本训练中，是把 L1 penalty 从中减去。关于两者后续比较的讨论还是没怎么看懂。但是大致意思是将，L1 weight decay 的正则化效果没有对抗样本的正则化效果好。

other
通过在训练样本中加入由某种算法生成的对抗样本训练，确实可以降低该模型在面对定向对抗样本的攻击成功率。但是遗憾地是，在分类错误的对抗样本上，模型给出的置信度却非常高。在错误分类的对抗本上给出的置信度平均高达 81.4%。

Summary & Discussion
看不懂原文的可以直接看结论：

对抗样本的存在是因为模型过于线性，而不是因为模型过于非线性。
对抗样本在不同模型之间的泛化能力可以解释为对抗样本扰动与模型权重变量步调高度一致的结果，而不同的模型在执行相同的任务的时候，学习的都是相似的函数。
扰动的方向比扰动的具体值重要。因为特征空间并不像实数里面到处嵌入了无理数一样，到处都存在对抗样本。
正是因为扰动在正确的方向才起作用，所以可以在不同的原始干净样本中进行泛化。
介绍了一种生成对抗样本的方法。
对抗样本可以起到正则化的作用，甚至比 dropout 的效果还好。
L1 weight decay 加噪音起到的正则化效果没有对抗样本的正则化效果好。
越容易优化的模型，越容易遭受扰动。
线性模型缺乏抵抗对抗样本扰动的 capacity。只有含有隐含层的结构才能被用于训练来抵抗扰动（不确定意思get的对不对）。
RBF 网络可以抵抗对抗样本。
Models trained to model the input distribution are not resistant to adversarial examples.（不好翻译）
集成多个模型也并不能抵抗对抗样本。

论文解读 | Explaining and Harnessing Adversarial Examples相关推荐

论文笔记——EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES（解释和利用对抗样本）
本文参考了三篇笔记,帮助很大: <Explaining and Harnessing Adversarial Examples>阅读笔记 [论文笔记]Explaining & Ha ...
EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES 论文笔记
EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES 论文笔记 EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES 原 ...
对抗机器学习——FGSM经典论文 EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES
EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES 论文URL http://users.wpi.edu/~kmus/ECE579M_files/Readin ...
对抗攻击经典论文——FGSM学习笔记 EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES
论文下载:Explaining and Harnessing Adversarial Examples 1摘要几种机器学习模型,包括神经网络,一致地将对抗样本误分类--通过对数据集样本添加细微而刻意 ...
Explaining and Harnessing Adversarial Examples——论文的学习笔记01
这篇文章由Goodfellow等人发表在ICLR'2015会议上,是对抗样本领域的经典论文.这篇文章主要提出与之前论文不同的线性假设来解释对抗样本的存在性.同时,论文提出了一种简单的对抗样本生成方法: ...
explaining and harnessing adversarial examples(FGSM)
explaining and harnessing adversarial examples(FGSM) 论文简述论文重点先前工作对抗样本的线性解释非线性模型的线性扰动 *线性模型的对抗扰动推 ...
Explaining and Harnessing Adversarial Examples
Explaining and Harnessing Adversarial Examples 包括神经网络在内的一些机器学习模型,始终对对抗性样本进行错误分类–通过对数据集中的例子应用小的但有意的最坏 ...
【论文阅读笔记】Explaining And Harnessing Adversarial Examples
0.论文摘要本文提出了对于对抗样本存在原因的新解释--神经网络的线性特性,并提出了快速有效生成对抗样本的方法以及基于对抗的模型训练方式. 1.对抗样本的线性解释考虑如上公式,其中代表一个生成的 ...
论文笔记（五）《explaining and harnessing adversarial examples》
2020.03.23陆陆续续的在读论文了,参考了其他人分享的读书笔记,但是还是没怎么读懂,理不清思路.继续读吧 <解释和利用对抗样本> 基础知识 abstract 包括神经网络在内的几个机 ...

论文解读 | Explaining and Harnessing Adversarial Examples

论文解读 | Explaining and Harnessing Adversarial Examples相关推荐

最新文章

热门文章