CVPR2018论文笔记: Robust Physical-World Attacks on Deep Learning Visual Classification

论文百篇计划第二篇，cvpr2018的一篇文章，引用量1800。作者来自密歇根大学安娜堡分校。

最近的研究表明目前DNN容易收到对抗样本的攻击，理解物理世界中的对抗样本对发展弹性学习算法非常重要。我们提出种通用的攻击算法，Robust Physical Perturbation（RP2），生成鲁棒的对抗样本在不同的物理环境下。针对道路标志牌的攻击表明，我们的物理攻击能够在多种环境条件下实现较高的准确率。由于缺少标准的测试方法，我们提出两阶段的评估方法，包括实验室阶段和野外阶段。通过这种方法，我们评估了有效性，100% 在实验室环境下，84.8%在野外。

1. 介绍

选择道路标志牌的原因：（1）相对简单，因此更难攻击。（2）存在一个噪声无约束的环境，例如距离和角度。（3）标志牌对道路安全很重要。（4）攻击者能力有限，攻击不了车辆本身。

在物理噪声环境下，目前的digital-only algorithms产生的噪声可能被破坏。对道路标志牌来说，主要环境变量是距离和角度。其他挑战包括：

（1）扰动幅度太小导致摄像机捕捉不到。

（2）目前的攻击占满整个背景，在现实中，背景会随着视角变化。

（3）制造过程的不完美。比如打印过程。

为了创造鲁棒的噪声，我们提出通过实验拘束或者合成的变换，从一个分布中采样，来模拟物理的动态变化（比如距离或者角度）。 pipeline overview如下图所示：

使用提出的算法，我们评估了扰动在物理物体上的有效性，实现表明我们可以使用低成本的技术修改物体，对DNN分类器造成可靠的分类误差。例如我们可以讲物理标识修改成限速标志。我们设计我们的扰动类似于涂鸦，从而不会引起人的怀疑。

由于缺乏一个标准来评估物理攻击，我们提出一种标准：（1）实验室环境，摄像机在多个距离和视角变化。（2）野外。我们开一辆车驶向十字路口。模拟自动驾驶汽车。我们测试我们的攻击算法使用这个pipeline，发现我们的攻击是鲁棒的。

本文的贡献：

1. 我们提出了一种新的攻击方法用于鲁棒的物理扰动。在一系列动态物理环境下。

2.提出了标准化的评估方法。

3. 我们评估了我们的攻击针对两个标准化的分类架构： LISA- CNN和GTSRB CNN。使用两种攻击（poster 攻击和sticker 攻击），我们表明poster攻击在静态到达100% 在drive-by达到了80%。

4。为了证明通用性，我们将一张贴纸放在微波炉上，让其被识别成手机。

2. 相关工作

Kurakin表明打印的对抗样本依然可以被误分类。Athalye和Sutskever提高了这个工作，生成对抗样本对两个维度的合成变换鲁棒。（参见Anish Athalye, Logan Engstrom, Andrew Ilyas, Kevin Kwok Proceedings of the 35th International Conference on Machine Learning, PMLR 80:284-293, 2018. 引用量1148，打印海龟就是出自这篇文章）本文进一步研究了当环境变化时，攻击的可行性。我们的poster attack类似于Athalye的攻击，但我们进一步探究了sticker攻击。Athalye还3D打印了物体，但主要区别在于：（1）Athelye的工作在优化的过程中主要使用了合成的变换，可能会错过微小的物理影响。我们的工作同时考虑了物理和合成的变换。（2）我们的工作修改了真实大小的物体，（3）我们模拟了更真实的测试条件

Sharif攻击人脸识别系统通过打印眼镜框。他们的工作表明成功的物理攻击在相对稳定的物理条件，包括小的姿态变化，摄像机的距离和角度，光照。但自动驾驶的变化更巨大，因此我们选择固有的无约束的环境条件。

Lu等人通过道路标识牌实验说明道路标识牌的detector不能被攻击成功，在我们的工作中，我们专注于classifier的攻击，表明他们的安全脆弱性。

3. 针对物理目标的攻击

3.1 物理挑战

环境条件：距离角度，光照，照相机和信号牌的灰尘

空间约束：不能修改背景

物理限制：扰动不能太小，不然摄像机捕捉不到。

制造误差：打印机可能有色差

3.2 鲁棒的物理扰动

原始的目标函数可以写成：

其中J(.,.) 是衡量模型预测和目标标签之间的差别，\gamma是正则化系数。

为了模拟真实的物理变化，我们在优化过程中，从一组真实的照片中采样。对于合成的变化，我们随机裁剪，改变亮度和增加空间变化来仿真其他可能的条件。

为了保证扰动只添加在目标区域，我们引入了一个mask，mask还帮助我们生成对人眼不明显的扰动。为了确定mask的最佳区域，首先用L1损失找到最佳的mask的点，然后用L2损失确定这些点的值。（为什么L1可以减少非零点的个数，可以参看https://zhuanlan.zhihu.com/p/301289487）为了计入制造误差，我们添加了一个不可打印分数NPS（参见sharif）的论文，最终的计算损失函数为

T(.) 是一个对齐函数，将对标识牌的变换同样应用到扰动上。

4. 实验

4.1 实验设计：

数据集采用LISA和GTSRB数据集，这两个数据集都是交通信号的数据集。我们设计了两阶段的评估方法，第一个阶段是实验室环境下，第二个阶段是野外测试。

4.2 实验结果

CVPR2018论文笔记: Robust Physical-World Attacks on Deep Learning Visual Classification相关推荐

[阅读笔记1]Data Poisoning Attacks to Deep Learning BasedRecommender Systems
个人总结:本文主要通过构造一个毒药模型--用于预测假用户的评分项目,从而构造m个假用户,将假用户注入到推荐系统中,达到影响推荐系统对普通用户的推荐项目(让一个项目能尽可能多的出现在普通用户的推荐列表中 ...
论文：Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey翻译工作
**关于对抗性攻击对深度学习威胁的研究** Naveed Akhtar and Ajmal Mian ACKNOWLEDGEMENTS: The authors thank Nicholas Carl ...
论文笔记：Do We Really Need Deep Learning Models for Time Series Forecasting?
Do We Really Need Deep Learning Models for Time Series Forecasting? Elsayed S, Thyssens D, Rashed A, ...
【论文笔记09】Differentially Private Hypothesis Transfer Learning 差分隐私迁移学习模型, ECMLPKDD 2018
目录导引系列传送 Differentially Private Hypothesis Transfer Learning 1 Abstract 2 Bg & Rw 3 Setting &am ...
小样本论文笔记5：Model Based - [6] One-shot learning with memory-augmented neural networks.
小样本论文笔记5:Model Based - [6] One-shot learning with memory-augmented neural networks 文章目录小样本论文笔记5:Mod ...
[论文解读] Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey
Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey 文章目录 Adversaria ...
论文笔记《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》
论文笔记<Incorporating Copying Mechanism in Sequence-to-Sequence Learning> 论文来源:2016 ACL 论文主要贡献:提出 ...
论文笔记：Decoding Brain Representations by Multimodal Learning of Neural Activity and Visual Features
论文笔记:Decoding Brain Representations by Multimodal Learning of Neural Activity and Visual Features(通过 ...
【RS-Attack】Data Poisoning Attacks to Deep Learning Based Recommender Systems NDSS‘21
Data Poisoning Attacks to Deep Learning Based Recommender Systems NDSS'21 首个在基于深度学习的推荐系统中进行投毒攻击的研究.文 ...

CVPR2018论文笔记: Robust Physical-World Attacks on Deep Learning Visual Classification

CVPR2018论文笔记: Robust Physical-World Attacks on Deep Learning Visual Classification相关推荐

最新文章

热门文章