Intriguing properties of neural networks
作者： 19届 lz
论文：《Intriguing properties of neural networks》
特性:
根据单元分析的各种方法，我们发现单个高级单元和高级单元的随机线性组合之间没有区别。它表明，在神经网络的高层中，包含语义信息的是空间，而不是单个单元。
给样本添加一些轻微的扰动，会导致神经网络模型错误分类，这些样本就称为对抗样本
相关工作
我们发现对抗样本相当鲁棒的，并且由具有不同层数、激活或在训练数据的不同子集上训练的神经网络共享。也就是说，如果我们使用一个神经网络来生成一组对抗样本，我们会发现这些示例对于另一个神经网络来说仍然很难正确分类，即使他们是用不同的超参数训练的。一组例子。这些结果表明，通过反向传播学习的深度神经网络具有非直觉特性和固有盲点，其结构以非显而易见的方式与数据分布相关。
Units of: φ(x)
传统的计算机视觉系统依赖于特征提取：通常单个特征很容易解释，例如颜色的直方图，或量化的局部导数。这允许人们检查特征空间的各个坐标，并将它们链接回输入域中有意义的变化。以前的工作中使用了类似的推理，试图分析应用于计算机视觉问题的神经网络。这些作品将隐藏单元的激活解释为有意义的特征。他们寻找能够最大化这个单一特征的激活值的输入图像
可以将上述技术正式表示为图像x’的视觉检查，这些图像满足（或接近最大可达到值）：
其中 I 是网络未训练的数据分布中的一组保留图像，ei 是与第 i 个隐藏单元相关联的自然基向量。我们的实验表明，任何随机方向 v ∈ Rn 都会产生类似的可解释语义属性。更正式地说，我们发现图像 x0 在语义上彼此相关，对于许多 x0，使得
这表明自然基础并不比检查 φ(x) 属性的随机基础更好。这对神经网络解开坐标变化因素的概念提出了质疑。
首先，我们使用在MNIST上训练的卷积神经网络评估了上述主张。我们将MNIST测试集用于 [公式] 。图1显示了在自然基础上最大化激活的图像，图2显示了在随机方向上最大化激活的图像。 在这两种情况下，生成的图像都有许多高级相似之处。
接下来，我们在 AlexNet 上重复我们的实验，我们使用验证集作为 I。图 3 和图 4 比较了训练网络上的自然基础和随机基础。对于单个单元和单元组合，这些行在语义上似乎都是有意义的。
神经网络中的盲点
到目前为止，除了确认有关深度神经网络学习的表示的复杂性的某些直觉之外，单元级检查方法的实用性相对较小。全局网络级检查方法在解释模型做出的分类决策的上下文中很有用，并且可用于例如识别导致给定视觉输入实例的正确分类的输入部分（换句话说，可以使用经过训练的模型进行弱监督定位）。这种全局分析很有用，因为它们可以让我们更好地理解训练网络所代表的输入到输出的映射。
一般来说，神经网络的输出层单元是其输入的高度非线性函数。当它使用交叉熵损失（使用 Softmax 激活函数）进行训练时，它表示给定输入（以及迄今为止呈现的训练集）的标签的条件分布。有人认为神经网络的输入和输出单元之间的非线性层的深层堆栈是模型在输入空间上编码非局部泛化先验的一种方式。换句话说，假设输出单元可以将不显着的（并且可能是非 epsilon）概率分配给输入空间中附近不包含训练样本的区域。例如，这些区域可以表示来自不同视点的相同对象，这些对象相对较远（在像素空间中），但它们共享原始输入的标签和统计结构。
在这样的论点中隐含的是，局部泛化——在训练示例的非常接近的地方——按预期工作。特别是，对于给定训练输入 x 附近足够小的半径 ε > 0，x + r 满足 ||r|| < ε 将被模型分配正确类别的高概率。这种平滑先验通常适用于计算机视觉问题。通常，给定图像的不易察觉的微小扰动通常不会改变底层类别。
我们的主要结果是，对于深度神经网络，作为许多核方法基础的平滑假设不成立。具体来说，我们表明，通过使用简单的优化程序，我们能够找到对抗性示例，这些对抗性示例是通过对正确分类的输入图像进行不可察觉的小扰动而获得的，因此它不再被正确分类。
从某种意义上说，我们描述的是一种以有效方式（通过优化）遍历网络表示的流形并在输入空间中找到对抗样本的方法。对抗性示例代表流形中的低概率（高维）“口袋”，通过简单地对给定示例的输入进行随机抽样很难有效地找到这些“口袋”。 已经有各种最新的计算机视觉模型在训练期间采用输入变形来提高模型的鲁棒性和收敛速度。然而，对于给定的示例，这些变形在统计上是低效的：它们高度相关，并且在模型的整个训练过程中来自相同的分布。我们提出了一种方案，以利用模型及其在对训练数据周围的局部空间建模方面的不足，使该过程具有适应性。
我们在本质上很接近难负样本挖掘，这与它密切相关：在计算机视觉中，难负样本挖掘包括识别训练集示例（或其中的一部分），这些示例被模型赋予了较低的概率，但是应该相反，为高概率。然后更改训练集分布，以强调这种难负样本，并执行下一轮模型训练。如将要描述的那样，这项工作中提出的最优化问题也可以以建设性的方式使用，类似于难负样本挖掘原理。
难分正样本(hard positives)：
易错分成负样本的正样本，对应在训练过程中损失最高的正样本，loss比较大（label与prediction相差较大）。
难分负样本(hard negatives)：易错分成正样本的负样本，对应在训练过程中损失最高的负样本
形式化表述
我们用 f 表示：Rm → {1 . . . k} 将图像像素值向量映射到离散标签集的分类器。我们还假设 f 有一个相关的连续损失函数，用 lossf 表示：Rm × {1 . . . k} - → R+。对于给定的 x ∈ Rm 图像和目标标签 l ∈ {1 . . . k}，我们的目标是解决以下框约束优化问题：l I
最小化器 r 可能不是唯一的，但我们将一个这样的 x + r 表示为由 D(x, l) 任意选择的最小化器。通俗地说，x + r 是最接近 x 的图像，被 f 分类为 l。显然，D(x, f(x)) = f(x)，所以这个任务只有当 f(x) 不等于 l时才有意义。通常，D(x, l) 的精确计算是一个难题，因此我们使用框约束 L-BFGS 来近似它。具体来说，我们通过执行线搜索来找到 D(x, l) 的近似值，以找到最小值 c > 0，以下问题的最小值 r 满足 f(x + r) = l。
这种惩罚函数方法将在凸损失的情况下产生 D(X, l) 的精确解，但是神经网络通常是非凸的，因此在这种情况下我们最终得到一个近似值。
实验结果
- 对于我们研究的所有网络（MNIST、QuocNet [10]、AlexNet [9]），对于每个样本，我们总是设法生成非常接近、视觉上难以区分、被原始网络错误分类的对抗样本。
- 跨模型泛化：在A模型上产生的对抗样本，有很大一部分在B模型（和A模型结构相同，超参数不同）上也有效（也能是B模型错误分类）。
- 跨训练集泛化：交叉训练集泛化很大部分的样本会被从头开始训练、不相交的训练集网络错误分类，就是说对抗样本具有跨数据集的泛化能力：在D1数据集训练得到的模型上产生的对抗样本，在D2数据集训练得到的模型上也有效，D1和D2属于不同的子集，两个模型是结构完全不同的模型。
Intriguing properties of neural networks相关推荐
- 论文阅读笔记：Intriguing properties of neural networks
论文阅读笔记:Intriguing properties of neural networks 深度学习对抗样本的开山之作 要点 以往的观点认为深度神经网络的高层特征中每一个分量描述了一种特质,但是这 ...
- 对抗样本论文阅读Intriguing properties of neural networks
Intriguing properties of neural networks 文章提出了神经网络中的两个有趣的特性,首次提出了对抗样本adversarial examples的概念 Represe ...
- 论文笔记（一）《Intriguing properties of neural networks》
对抗样本(一)<Intriguing properties of neural networks> 神经网络的有趣特性 两点: 性质1:单个的深层神经元与随机线性组合的多个深层神经元并没有 ...
- Intriguing properties of neural networks——L-BFGS attack
2014的文章Intriguing properties of neural networks引发了关于对抗样本研究的热潮.其实对抗样本的研究很早就有了,只是当时没有得到足够的重视,最早的文章应该是下 ...
- 论文解读-Intriguing properties of neural networks（ICLR2014）
Intriguing properties of neural networks(ICLR2014) 这篇文章被认为是对抗样本的开山之作,首次发现并提出了对抗样本,作者阵容豪华,被引了很多次.但是文章 ...
- Intriguing properties of neural networks手动翻译
Intriguing properties of neural networks 神经网络有趣的特性 深度神经网络: 1)优点: 深度神经网络是一种高度表达性的模型,在语音和视觉识别任务上取得了最好的 ...
- 《Intriguing properties of neural networks》代码实现——Pytorch
<Intriguing properties of neural networks>代码实现--Pytorch 一.代码实现 #导入库 import torch import torch. ...
- 关于Intriguing properties of neural networks的理解
这是有关神经网络的对抗样本的首篇文章,Szegedy等人发现了神经网络的一些(两个)有趣的性质. 第一个是关于高维神经网络的神经元的含义问题,先前的一些工作认为深度神经网络的神经元都代表着某一个特 ...
- 解读 intriguing properties of neural networks
题目:神经网络的隐藏属性 作者:一作: Christian Szegedy (GooLeNet, BN) 三作: Ilya Sutskever (AlexNet二作,S2S) 六作:Ian ...
最新文章
- 数字经济时代，什么是关键资源？（算力篇）
- LR11之web_reg_find文本检查点的使用
- 德黑兰大学推可踢球机器人，中国队快买！
- 卧槽？用 Python 还能玩 Git？
- 【Verilog HDL】第三章 reg和net及其一组类型的区别——充分运用实验思维
- 去除标签_有效去除“狗皮膏药”标签，快学起来吧
- 计算机导论电子版_程序员进阶系列：拿下中科大的计算机课程全靠它了！
- go 实现单链表反转
- 16.1 Class类与Java反射
- tomcat设置context不生效_后端服务：关于Tomcat相关面试题，看懂这篇就够了（有深度）...
- Leetcode 1484题: Group Sold Products By The Date
- Java Web开发环境配置
- linux离线安装nettools,CentOS最小安装之安装net-tools并配置网络
- PHP的数据类型主要有三大类八小类。
- android use-feature和market策略
- 瑞幸咖啡2022，摆脱困境，迎来坦途
- 如何用CSS动画特效让图片旋转起来
- 努比亚android11,努比亚Play开测Android11 填写基本信息即可
- 静态ip和动态ip的区别能说明什么？怎么根据区别选择？
- 图形开发——显卡学习