关于Intriguing properties of neural networks的理解

这是有关神经网络的对抗样本的首篇文章，Szegedy等人发现了神经网络的一些（两个）有趣的性质。
第一个是关于高维神经网络的神经元的含义问题，先前的一些工作认为深度神经网络的神经元都代表着某一个特征，因此他们寻找能够最大激活某一个特定神经元的样本集合。而他们的实验发现，通过寻找最大化激活某个特定神经元的方法也许并没有真正找到本质的信息。因为即便是对于某一个隐层的所有神经元的线性加权进行最大化激活，也同样会对一组图片表现出相近的语义亲和性，并且，这个发现在不同的数据集上得到了验证。
我们求解如下问题来找到最大化激活该神经元ϕ(x)ϕ(x)\phi(x)的样本：

x′=argmaxx∈⟨ϕ(x),ei⟩x′=arg⁡maxx∈I⟨ϕ(x),ei⟩

\begin{equation}\nonumber x' = \arg\max_{x \in \mathcal{I}} \langle \phi(x),e_i \rangle \end{equation}

其中 eieie_i对应隐层第 iii个神经元的自然基向量ei=(0,...,1,...0)" role="presentation" style="position: relative;">ei=(0,...,1,...0)ei=(0,...,1,...0)e_i = (0,...,1,...0)。
如果我们选择该层神经元的随机线性组合进行最大化：

x′=argmaxx∈⟨ϕ(x),v⟩x′=arg⁡maxx∈I⟨ϕ(x),v⟩

\begin{equation}\nonumber x' = \arg\max_{x \in \mathcal{I}} \langle \phi(x),v \rangle \end{equation}

发现得到了相似的结果，这说明也许是该隐层划分的空间，而不是单个的神经元包含了语义的信息。
关于这个进一步的解释我也并不了解，因为我们真正感兴趣的是第二个性质，对抗样本的存在。对抗样本是指对原样本产生一些微小的扰动（甚至人眼都可能无法察觉），然而分类器却产生了完全不一样的结果，甚至以高置信度错误分类。
作者通过求解以下优化问题得到对抗样本：

minc|r|+lossf(x+r,l)minc|r|+lossf(x+r,l)

\begin{equation}\nonumber \min c|r| + loss_f(x+r,l) \end{equation}
其中 lossflossfloss_f是神经网络对应的损失函数， lll是错误分类的类别标记，即f(x+r)=l,f(x)≠l" role="presentation" style="position: relative;">f(x+r)=l,f(x)≠lf(x+r)=l,f(x)≠lf(x+r) =l,f(x) \neq l， ccc是罚参数来控制|r|" role="presentation" style="position: relative;">|r||r||r|的大小。作者选择L-BFGS来求解该问题。如果这是一个凸优化问题，我们一定可以找到精确的"最近"对抗样本。可神经网络的损失函数往往是非凸的，因此我们只能不精确求解找到对抗样本（即找到的对抗样本不一定是最近）。可以看到该方法是最小化样本 xxx对目标类别l" role="presentation" style="position: relative;">lll的损失函数。
此外，对于对抗样本的存在性，作者也给出了一个可能的解释：就是现实世界中，对抗样本发生的概率是很低的。因此在训练集和测试集中都很少见到。而由于模型（神经网络）的高度非线性，导致过拟合只学习到了非对抗样本的特征，并没有学到真正所需要的泛化特征。因此对于生成的对抗样本很容易判断失误。类似于知乎上一个同学举的例子："假如我们需要一个分类器：能够区分正实数和负实数。由于在整个实数集中，无理数的个数比有理数多很多很多（多了无穷多个，无理数的基数比有理数的基数大），那么我们收集数据的时候，收集到的数大部分都是无理数，我们用这些无理数来训练分类器，用这些无理数来测试，发现正确率很高。可实际上呢，我们训练出来的分类器是个区分正负无理数的分类器，并非是区分正负实数的分类器。由于，有理数是稠密的，即给定一个无理数，总有一个有理数无限接近这个无理数，那么当我们用放到分类器测试，极有可能就分不出现正负。这里的有理数就类比于对抗样本。"( https://www.zhihu.com/question/49129585)

也就是说：我们采样的数据分布并不代表完整的真实数据分布。
但是作者没有给出有力的解释。因此后来Goodfellow提出了线性性是导致对抗样本的原因等等一系列讨论。

关于Intriguing properties of neural networks的理解相关推荐

对抗样本论文阅读Intriguing properties of neural networks
Intriguing properties of neural networks 文章提出了神经网络中的两个有趣的特性,首次提出了对抗样本adversarial examples的概念 Represe ...
论文笔记（一）《Intriguing properties of neural networks》
对抗样本(一)<Intriguing properties of neural networks> 神经网络的有趣特性两点: 性质1:单个的深层神经元与随机线性组合的多个深层神经元并没有 ...
Intriguing properties of neural networks
作者: 19届 lz 论文:<Intriguing properties of neural networks> 特性: 根据单元分析的各种方法,我们发现单个高级单元和高级单元的随机线性组 ...
论文解读-Intriguing properties of neural networks（ICLR2014）
Intriguing properties of neural networks(ICLR2014) 这篇文章被认为是对抗样本的开山之作,首次发现并提出了对抗样本,作者阵容豪华,被引了很多次.但是文章 ...
Intriguing properties of neural networks手动翻译
Intriguing properties of neural networks 神经网络有趣的特性深度神经网络: 1)优点: 深度神经网络是一种高度表达性的模型,在语音和视觉识别任务上取得了最好的 ...
论文阅读笔记：Intriguing properties of neural networks
论文阅读笔记:Intriguing properties of neural networks 深度学习对抗样本的开山之作要点以往的观点认为深度神经网络的高层特征中每一个分量描述了一种特质,但是这 ...
Intriguing properties of neural networks——L-BFGS attack
2014的文章Intriguing properties of neural networks引发了关于对抗样本研究的热潮.其实对抗样本的研究很早就有了,只是当时没有得到足够的重视,最早的文章应该是下 ...
《Intriguing properties of neural networks》代码实现——Pytorch
<Intriguing properties of neural networks>代码实现--Pytorch 一.代码实现 #导入库 import torch import torch. ...
解读 intriguing properties of neural networks
题目:神经网络的隐藏属性作者:一作: Christian Szegedy (GooLeNet, BN) 三作: Ilya Sutskever (AlexNet二作,S2S) 六作:Ian ...

关于Intriguing properties of neural networks的理解

关于Intriguing properties of neural networks的理解相关推荐

最新文章

热门文章