关注公众号，发现CV技术之美

今日分享一篇AI对抗攻击领域论文『Optical Adversarial Attack』，由普渡大学学者提出：OPAD，是对人为刻意制造的光照分布对目标分类器进行攻击的研究，想法奇特，性能有效。

详细信息如下：

论文链接：https://arxiv.org/pdf/2108.06247

引言

该论文的创新点很奇特是关于光学对抗攻击类的文章，即通过人为刻意制造的光照分布从而对目标分类器进行攻击，而无需实际接触对象。作者在论文中提出的方法其原理是使用结构化照明来改变目标对象的外观。该系统由一台低成本投影仪、一台摄像机和一台计算机组成。作者将投影仪-摄像机模型纳入对抗性攻击优化中，由此导出了新的攻击公式。

实验结果也证明了该方法的有效性，可以在白盒、黑盒、目标和无目标攻击的背景照明下对真实3D对象进行光学对抗攻击。作者也从理论上分析了用于量化系统的基本性能极限。

投影仪-照相机模型

令表示的是一个二维图像，发送到投影仪的源照明图案的第个像素表示为

整个源图像表示为

其中表示的是图像像素得个数。源图像通过投影仪投影出来的图像表示为

其中表示被观察到的图像，映射函数为。在特定的像素的映射被定义为，并且有

进一步简化可以写成。

第一个组件是投影仪的辐射响应组件，具体示意图如下所示。源图片的像素点经投影仪非线性变换会改变每个通道的密度，函数将源图像信号转化为光学信号，具体公式为

第二个组件是投影仪的光谱响应组件，具体示意图如下所示。投影仪使用颜色转换将转换为，具体的公式如下所示：

其中是一个的混合矩阵，具体定义为

向量表示的是光照的偏置项，它被定义为.

假定输入的图像为，则最终观察到的输出为

其中是一个对角矩阵

是整体的偏置项

算法

算法是一种元程序，它可以嵌入到任何一个现有的最大化类型的对抗损失中。如下图所示，中的损失最大化不同于传统图像数字对抗攻击。传统的对抗攻击是将对抗扰动直接加在输入图像中。在中，输入的是均匀的光照，而且对抗扰动是直接加在光照空间中。

OPAD损失最大化

作者主要以有目标白盒攻击为例，其它形式的攻击可以相似形式进行扩展。考虑一个均匀光照图像，干净的样本则为。主要目标是使得分类器将标签分类出错为指定的标签，具体公式如下所示：

在大多数传统的对抗攻击方法中，对抗扰动在输入空间中被约束，以确保扰动不会过大。在该论文中，对抗扰动的约束分为两部分：

扰动照明必须是物理上可以实现的，这意味着需要满足如下约束，
对抗扰动的约束在投影仪的输出空间中进行约束，使得看到对抗样本图像与真实样本差距不大，具体的公式如下所示：

将这些约束条件加入到公式中，通过求解优化得到对抗扰动

优化问题简化

求解如上优化问题是比较困难的，但是可以对上问题进行简化，简化过后的公式

其中对抗扰动满足如下约束条件

进而可以得到最终的优化目标和约束条件，如下所示

OPAD程序

如果忽略约束集，则本论文提出的方法就是一个标准的基于梯度的对抗攻击，其迭代更新公式可以写为：

其中表示基于梯度攻击方式的一种。如果使用的是带有的攻击，则有

在约束集存在的情况下, 每次迭代更新将涉及一个投影：

投影操作将当前估计从输出空间反转到输入空间，并在输入空间中进行剪裁。然后，将信号重新映射回输出空间。在数学上，投影定义为

其中表示前向映射，表示截取操作。

理解OPAD的几何原理

作者通过考虑线性分类器来分析的基本极限。考虑一个具有真实标签的二元分类问题。作者假设是线性的，因此可以给出预测标签

其中表示分类器的参数。表示的是干净的图像，其损失函数可以表示为

假定对抗样本为，则损失损失函数可以为

进一步可以得到优化目标为

因此分析算法，只需要去分析，，和神经网络的参数。

条件约束的几何结构

有两个约束条件，第一约束条件表示的是在里面。另一个约束条件是。考虑一个某物体处的一个像素点，则该像素的三个通道分别是。在经过投影仪-照相机模型后，观察到的像素点变为。由下图所示，给出了两个像素点之间的相关映射，将原始空间中的正方体映射为另一个空间的长方体。

OPAD什么时候会失败

的可行区域由以下两个因素决定：一个是和另一个是的边界。如下图所示，给定一个干净的分类器，将空间划分为两个半空间。正确的类别是类别1。为了将分类从类1移动到类0，必须沿着可行方向进行搜索，其中蓝色区域即可优化的可行区域，如果可行区域面积很小的时候，则攻击就极有可能失败如下图的左半图所示。

OPAD不能做到不可察觉

作者坦言，由于光照攻击的特殊性，不能做到对抗扰动的不可察觉性。与数字攻击不同，数字攻击距离由决策边界决定，中的最小扰动量由决策边界和光学系统决定。扰动必须通过投影仪的辐射响应和场景的光谱响应，更不用说衍射和失焦等其他光学限制。对于粗糙的表面，如果可行集，当目标很小时，别无选择，只能增加扰动强度。

实验结果

作者首先对四个真实的3D对象分别是泰迪、羊毛衫、篮球和马克杯进行定量实验，如下图所示，对于每个对象，作者生成种不同的目标攻击：种不同的目标类分别是斗篷、牛仔、威士忌壶和羊毛，种不同的约束分别是和，和个不同的分类器分别是-和-。用于所有的攻击中，其中参数设置为0.050。下图还展示了真实3D对象的光照对抗样本的示意图。

OPAD应该有多强

作者做了一个实验来了解是如何不易察觉的。目标是想把“书”变成“漫画书”或“椒盐卷饼”。对于这两个目标，作者进行了次攻击。可以看到一个较小的对于“漫画书”来说就可以攻击成功，而一个较大的对于“椒盐卷饼”来说才可以攻击成功。在这两种情况下，虽然对抗扰动不是太强，但是仍然肉眼可见。

限制的意义

作者将注意力转移到约束空间上，因为正是这个约束使光照对抗攻击这个问题变得特别。如下图所示为真实3D衬衫攻击情况，作者在-16上发起了一次白盒攻击。结果表明，如果忽略该约束，将生成包含无法实现的颜色的图案。相反，当包括该约束条件，则可以更好的生成符合真实场景的对抗扰动。

鲁棒性分析

作者使用不同的相机位置和缩放来捕捉场景。首先对停车标志生成成功的攻击，该标志被归类为“限速60”。然后将相机对于停车标志的位置转换为。还通过放大和缩小来捕捉场景。结果表明，直到对象被长距离缩的很小，否则攻击仍然有效。

END

欢迎加入「对抗攻击」交流群

轻易致盲分类器！普渡大学提出光学对抗攻击算法：OPAD，想法奇特，性能有效！...相关推荐

“忽悠”智能机器人，竟然改改物品纹理就成功了！北航新研究：时空融合对抗攻击算法...
作者:刘艾杉编辑:鱼羊量子位报道 | 公众号 QbitAI 简单修改环境物体的纹理颜色,就能让机器人执行攻击者设计的错误行为! 来自北航.悉尼大学.伯克利和伦敦大学的一项最新研究成果显示: 通过 ...
CVPR 2019 | 针对人脸识别系统的高效黑盒对抗攻击算法
本工作提出了一种高效的基于决策的黑盒对抗攻击算法,在业内第一次以完全黑盒的方式成功地实现对人脸识别系统的对抗攻击.本工作由腾讯 AI Lab 主导,与清华大学,香港科技大学联合完成,发表于 CVPR ...
对抗攻击算法总结论文集合（白盒、黑盒、目标检测、对抗训练等）
文章目录前言对抗攻击名词解释一.白盒攻击 1.FGSM 2.JSMA: 3.DeepFool: 4.CW: 5.PGD: 二.黑盒攻击 1.单像素攻击 2.基于查询(query-based at ...
一个符号引发的讨论，对抗攻击算法FGSM的纯粹版：FGNS，附代码
关注公众号,发现CV技术之美 ▊ 1 引言是基于梯度迭代攻击中生成对抗样本的开创性工作.我第一次接触相关工作的时候,给我困惑最多的就是论文中为什么要给梯度加上这个符号函数,因为这会导致生成的对抗扰动 ...
图像分类白盒对抗攻击技术总结
目录 1.对抗攻击背景知识 2.白盒攻击技术 2.1 基于直接优化得攻击方法 2.1.1 基于 Box-constrained L-BFGS 的攻击 2.1.2 C&W 攻击 2.2 基于梯度 ...
对抗样本无法被重建！CMU提出通用的无监督对抗攻击检测方法
作者 | Ben Dickson 编译 | 琰琰机器学习在应用程序中的广泛使用,引起了人们对潜在安全威胁的关注.对抗性攻击( adversarial attacks)是一种常见且难以察觉的威胁手段, ...
2020AI顶会的腾讯论文解读 | 多模态学习、视频内容理解、对抗攻击与对抗防御等「AI核心算法」
关注:决策智能与机器学习,深耕AI脱水干货报道 | 腾讯AI实验室计算机视觉领域三大顶会之一的 ECCV(欧洲计算机视觉会议)今年于 8 月 23-28 日举办.受新冠肺炎疫情影响,今年的 EC ...
基于共轭梯度法的对抗攻击
1 引言深度学习模型容易受到对抗样本的攻击,尽管基于最速下降的现有方法已经取得了很高的攻击成功率,但优化的病态问题偶尔会降低它们的攻击性能.为了解决这个问题,在该论文中作者借鉴对此类问题有效的共轭 ...
【每周CV论文推荐】基于GAN的对抗攻击，适合阅读那些文章入门？
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 在图像分类的对抗攻击任务中,如果在图片上添加 ...

轻易致盲分类器！普渡大学提出光学对抗攻击算法：OPAD，想法奇特，性能有效！...

引言

投影仪-照相机模型

条件约束的几何结构

限制的意义

鲁棒性分析

轻易致盲分类器！普渡大学提出光学对抗攻击算法：OPAD，想法奇特，性能有效！...相关推荐

最新文章

热门文章