问题:

深度神经网络容易受到对抗性示例的攻击，而对抗性示例是故意设计为导致模型出错的输入.
这些图像被模型错误分类，但人类可以识别.
这种对抗性图像通常是通过向合法输入添加一个有界 L0、L2 或 L∞ 范数的小扰动来生成的

贡献:

我们展示了图像分类器可以通过对像素进行随机二次采样，使用减少冗余的输入进行训练，而不会显着降低准确性。我们表明，当使用在 [0, 1] 中随机选择的丢弃率的子采样图像训练模型时，可以获得最佳结果。

我们将可解释性方法应用于使用二次采样图像训练的模型，并认为这种方法无法解释模型如何从几个像素中识别图像。我们还可视化了网络第一层的卷积滤波器，并表明，在这方面，该模型的行为类似于使用对抗训练训练的网络。

如何在不进行对抗训练的情况下使用这种洞察力来训练鲁棒的分类器。

研究过程及结果：

由于相邻像素之间的强相关性，图像数据包含高冗余，即，即使删除了大部分像素，也可以恢复图像。因此，以选择一个像素为条件，其周围的像素与输出的相关性较弱，因为它们与中心像素在内容上显着重叠，去除它们不会导致精度大幅下降。因此，构建稳健特征的一种直接方法是对图像像素进行下采样。由于较远的像素具有较小的相关性，因此它们对模型的预测有重要贡献，因此被认为是稳健的特征。

以较高的像素丢弃率会导致较低的准确性。然而，即使在非常高的丢弃率下，准确性仍然很高。

以上是CIFAR10 数据集的结果。在实验 1 中，使用原始图像训练和测试模型。在实验 2 中，模型以 90% 的丢弃率进行了二次采样图像的训练和测试。在实验 3 中，模型使用在 [0, 1] 中统一选择的下采样图像进行训练，并在下采样图像上进行测试，下采样率为 90%。

效果:
更深的网络表现更好
丢弃率在每个时期随机选择在 0% 到 100% 之间时，该模型可以达到最佳效果。

为了防止模型可能已经学会为原始图像和下采样图像生成相似的表示。，我们训练模型将子采样图像分类为其真实标签，同时将原始图像映射到均匀分布。种训练方法使网络在子采样图像上的准确率达到 78.9%（下降率为 90%），仅比仅使用子采样图像训练的模型低 2% 左右。结果表明，该网络能够对子采样图像进行分类，而无需实际学习自然图像的特征。

将子采样图像分类为其真实标签，同时将子采样噪声图像映射到均匀分布。训练的模型在子采样图像上达到了 80.9% 的准确率，这与仅使用子采样图像训练的模型几乎相同。下图显示了少数图像的解释图。对于这个模型，对原始图像的解释与边缘图案无关。此外，与 3a 和 3b 相比，对二次采样图像的解释更加稀疏。此外，大多数较大的梯度值位于像素没有被丢弃的位置。

可视化卷积滤波器

三种情况，一个是正常训练的模型，一个是用 90% 丢弃率的子采样图像训练的模型，一个用 [0, 1] 中随机选择的丢弃率的子采样图像训练的模型。

用二次采样图像训练的模型只有在中心位置具有大值的过滤器。这意味着网络识别出相邻像素之间没有空间相关性，因此只需将图像的几个缩放版本传递到下一层。

conclusion

在本文中，我们展示了可以训练图像分类器来识别具有高丢弃率的图像。然后，我们建议使用在 [0, 1] 中随机选择的丢弃率的子采样图像来训练模型。我们在 GTSRB 和 CIFR10 数据集上的实验结果表明，这些模型在 L0、L2 和 L∞ 扰动的所有情况下都提高了对抗性示例的鲁棒性，同时将标准精度降低了一个很小的值。

Dropping Pixels for Adversarial Robustness相关推荐

清华大学董胤蓬：Adversarial Robustness of Deep Learning
2020-01-21 12:30:00 不到现场,照样看最干货的学术报告! 嗨,大家好.这里是学术报告专栏,读芯术小编不定期挑选并亲自跑会,为大家奉献科技领域最优秀的学术报告,为同学们记录报告干货,并 ...
从Bayesian Deep Learning到Adversarial Robustness新范式
©作者 | 王灏.毛成志单位 | Rutgers University / Columbia University 研究方向 | 贝叶斯深度学习 / 对抗鲁棒性拖延症赶在 2021 结束前来介绍一 ...
【论文阅读】Feature Denoising for Improving Adversarial Robustness
阅读由来SCRDet++参考文献[20]https://blog.csdn.net/dujuancao11/article/details/121590324 Feature Denoising fo ...
Improving Adversarial Robustness via Channel-Wise Activation Suppressing
文章目录概主要内容代码 Bai Y., Zeng Y., Jiang Y., Xia S., Ma X., Wang Y. Improving adversarial robustness vi ...
Certified Adversarial Robustness via Randomized Smoothing
文章目录概主要内容定理1 代码 Cohen J., Rosenfeld E., Kolter J. Certified Adversarial Robustness via Randomized ...
Reliable Evaluation of Adversarial Robustness with an Ensemble of Diverse Parameter-free attack
本文首先提出了PGD攻击的两个扩展,以克服由于次优步长和目标函数问题而导致的失败.然后,我们将我们的新攻击与两个互补的现有攻击结合起来,形成一个无参数.计算负担得起且独立于用户的攻击集合,以测试对手的 ...
Adversarial Visual Robustness by Causal Intervention
Motivation: 机器能够利用人看不见的pattern对目标进行分类,当测试时pattern不变,那么这些pattern是有益的,被称为predictive features,而当他们在攻击中被 ...
对抗样本方向（Adversarial Examples）2018-2020年最新论文调研
调研范围 2018NIPS.2019NIPS.2018ECCV.2019ICCV.2019CVPR.2020CVPR.2019ICML.2019ICLR.2020ICLR 2018NIPS Conta ...
A Survey of Adversarial Learning on Graph
图的对抗性学习概况概述: 图上的深度学习模型在各种图分析任务(例如节点分类,链接预测和图聚类)中均取得了卓越的性能.但是,它们暴露了对设计良好的输入(即对抗性样本)的不确定性和不可靠性.因此,针对不 ...
Towards Deep Learning Models Resistant to Adversarial Attacks(PGD adversarial training)
目录 Introduction 内容简介 An Optimization View on Adversarial Robustness 内容介绍 Towards Universally Robust ...

Dropping Pixels for Adversarial Robustness

作者： 19届 lz

论文：《Dropping Pixels for Adversarial Robustness》

问题:

贡献:

研究过程及结果：

可视化卷积滤波器

conclusion

Dropping Pixels for Adversarial Robustness相关推荐

最新文章

热门文章