Intriguing properties of neural networks—

2014的文章Intriguing properties of neural networks引发了关于对抗样本研究的热潮。其实对抗样本的研究很早就有了，只是当时没有得到足够的重视，最早的文章应该是下面这篇，研究的是垃圾邮件过滤问题：

N. Dalvi, P. Domingos, Mausam, S. Sanghai, D. Verma, Adversarial classification, in: Int’l Conf. Knowl. Disc. and Data Mining, 2004, pp. 99–108

但是，无论如何，本文要讲的文章为近年来的研究提供了很好的参考，因此想要了解对抗样本、对抗攻击的同学可以了解一下，最开始的对抗攻击模型是怎么建立的。废话不多说，直接上模型：
min∣∣x−x∗∣∣22s.t.C(x∗)=lx∗∈[0,1]n(1)min \ ||x-x^{*}||_2^2 \\ \tag{1} s.t. \ C(x^{*})=l \\ \qquad x^{*} \in [0, 1]^n min ∣∣x−x∗∣∣22s.t. C(x∗)=lx∗∈[0,1]n(1)
其中，xxx表示未经修改的一个nnn维样本，x∗x^{*}x∗表示修改后的样本，CCC表示要攻击的分类器，lll表示攻击者想要得分类结果。以∣∣x−x∗∣∣22||x-x^{*}||_2^2∣∣x−x∗∣∣22为目标函数是为了修改后的样本与原始的样本差别很小，约束条件x∗∈[0,1]nx^{*} \in [0, 1]^nx∗∈[0,1]n则是为了保证修改后的样本不超出样本空间，否则就样本就没有意义了。

该优化问题中的C(x∗)=lC(x^{*})=lC(x∗)=l使得该问题不太好求解，因此退而求其次，求解下面的问题：
minc⋅∣∣x−x∗∣∣22+LossF(x∗,l)s.t.x∗∈[0,1]n(2)min \ c \cdot ||x-x^{*}||_2^2 + Loss_{F}(x^{*},l) \\ \tag{2} s.t. \ x^{*} \in [0, 1]^n min c⋅∣∣x−x∗∣∣22+LossF(x∗,l)s.t. x∗∈[0,1]n(2)
其中LossFLoss_{F}LossF表示被攻击分类器的损失函数，当LossFLoss_{F}LossF为凸函数时，优化问题（1）和（2）等价（当然，这个情况对于神经网络而言基本上不存在）。一般我们常用的是交叉熵损失函数， LossF(x∗,l)=−log(pl)Loss_{F}(x^{*},l)=-log(p_l)LossF(x∗,l)=−log(pl)，plp_lpl是分类器认为样本x∗x^{*}x∗属于类别lll的概率。

惩罚系数ccc能够控制∣∣x−x∗∣∣22||x-x^{*}||_2^2∣∣x−x∗∣∣22的大小，我们为ccc设定不同的值，然后使用优化方法L-BFGS 求解优化问题（2），最终要保证C(x∗)=lC(x^{*})=lC(x∗)=l的同时，使∣∣x−x∗∣∣22||x-x^{*}||_2^2∣∣x−x∗∣∣22尽可能小。

Intriguing properties of neural networks——L-BFGS attack相关推荐

论文笔记（一）《Intriguing properties of neural networks》
对抗样本(一)<Intriguing properties of neural networks> 神经网络的有趣特性两点: 性质1:单个的深层神经元与随机线性组合的多个深层神经元并没有 ...
Intriguing properties of neural networks
作者: 19届 lz 论文:<Intriguing properties of neural networks> 特性: 根据单元分析的各种方法,我们发现单个高级单元和高级单元的随机线性组 ...
论文解读-Intriguing properties of neural networks（ICLR2014）
Intriguing properties of neural networks(ICLR2014) 这篇文章被认为是对抗样本的开山之作,首次发现并提出了对抗样本,作者阵容豪华,被引了很多次.但是文章 ...
Intriguing properties of neural networks手动翻译
Intriguing properties of neural networks 神经网络有趣的特性深度神经网络: 1)优点: 深度神经网络是一种高度表达性的模型,在语音和视觉识别任务上取得了最好的 ...
《Intriguing properties of neural networks》代码实现——Pytorch
<Intriguing properties of neural networks>代码实现--Pytorch 一.代码实现 #导入库 import torch import torch. ...
论文阅读笔记：Intriguing properties of neural networks
论文阅读笔记:Intriguing properties of neural networks 深度学习对抗样本的开山之作要点以往的观点认为深度神经网络的高层特征中每一个分量描述了一种特质,但是这 ...
对抗样本论文阅读Intriguing properties of neural networks
Intriguing properties of neural networks 文章提出了神经网络中的两个有趣的特性,首次提出了对抗样本adversarial examples的概念 Represe ...
关于Intriguing properties of neural networks的理解
这是有关神经网络的对抗样本的首篇文章,Szegedy等人发现了神经网络的一些(两个)有趣的性质. 第一个是关于高维神经网络的神经元的含义问题,先前的一些工作认为深度神经网络的神经元都代表着某一个特 ...
解读 intriguing properties of neural networks
题目:神经网络的隐藏属性作者:一作: Christian Szegedy (GooLeNet, BN) 三作: Ilya Sutskever (AlexNet二作,S2S) 六作:Ian ...

Intriguing properties of neural networks——L-BFGS attack

Intriguing properties of neural networks——L-BFGS attack相关推荐

最新文章

热门文章