[paper]Defense against Adversarial Attacks Using High-Level Representation Guided Denoiser
本文提出了一种防御方法,即由高级特征主导的去噪器 high-level representation guided denoiser(HGD)。 标准去噪器具有误差放大效应,在这种效应中,较小的残留对抗噪声影响会逐渐放大,最终导致错误的分类。HGD通过将损失函数定义为由干净图像和去噪图像激活的目标模型输出之间的差值解决了这个问题。
HGD具有三个优点:
- HGD可以使目标模型面对对抗攻击更加鲁棒
- HGD具有较好的泛化性
- HGD效率更高(需要更少的训练数据和训练时间)
由于对抗样本使在原始图像添加特定的扰动,因此一个自然的想法就是对图像进行去噪。降噪模型确实可以在一定程度上减少噪声,但是都不能去除所有的对抗扰动,又由于误差放大效应“error amplification effect”的存在,使得目标模型仍然会误分类图像。为了解决这个问题,作者将原始图像和对抗样本引起的目标模型输出之间的差异作为损失函数,而不是通过修改像素。作者将通过此损失函数训练的去噪器命名为(HGD)。
去噪模型:
- Pixel guided denoiser(PGD) :基于像素点的去噪器,将对抗样本转换为去噪样本。通过计算去噪样本和原始图像的 L1范数来确定损失函数(基于像素点的距离)。
L=∣∣x−x^∣∣L = ||x-\hat{x}||L=∣∣x−x^∣∣
xxx:原始图像
x^\hat{x}x^:去噪图像 - Denoising Auto Encoder(DAE):去噪自编码器
DAE是以多层感知机的形式防御目标模型的对抗攻击,本文使用的是卷积形式的DAE。
DAE具有瓶颈结构,可能会限制高分辨率图像中细节信息的传递。 - Denosing U-Net(DUNET):为了避免DAE的细节丢失
在各层网络之间增加横向连接,以学习对抗噪声,通过重建出对抗样本噪音然后反向叠加到原始图像上进行去噪,不需要重建整个图像。
DUNET的网络结构:
C代表一层卷积
CkC_kCk表示kkk个连续的卷积层(C)
每层C包括:
- 3*3的卷积
- 批处理归一化层(batch normalization layer )
- 线性修正单元(Relu函数)
整个网络由前馈通路和反馈通路组成:
前馈通路包括五个block(一个C2和四个C3)。在所有C3中第一层C的步长设置为2∗22*22∗2,其余步长设置为1∗11*11∗1。
前馈路径接收图像作为输入,并生成一组分辨率越来越低的特征图(参见图3的顶部路径)。反馈通路包括四个block(三个C3和一个C2)以及一个1∗11*11∗1的卷积。
每个block接收来自反馈通路的反馈输入和来自前馈通路的横向输入。
首先使用双线性插值将反馈输入上采样为与横向输入相同的大小,然后使用CkC_kCk处理级联的反馈和横向输入。 沿着反馈通路,特征图的分辨率越来越高。
最后一个block的输出通过1∗11*11∗1卷积转换为负噪声−dx^-d \hat{x}−dx^。(参见图3的底部路径)
最终输出是负噪声和输入图像的总和:
x^=x∗−dx^\hat{x} = x^*-d \hat{x}x^=x∗−dx^
PDG和HGD的核心思想区别:
图像像素级损失⇒\Rightarrow⇒目标模型输出层损失
HGD的三个实现:
- FGD:每一层CNN提取的特征之间作比较
- LGD:都与最后结果作比较
- CGD:先让CNN预测一个结果,然后与真实值作比较
为什么像素级别的去噪方法(PGD)在现实场景下效果远不如由高级特征主导的去噪器(HGD)?
因为像素层面上的去噪并不能真正去掉对抗扰动。
横轴表示图像上的扰动幅度,纵轴表示使用去噪方法去掉的扰动幅度。
在PGD去噪方法中,去掉的扰动幅度大概只有图像上的扰动幅度的一半,也就是说PGD方法只去掉了一半扰动。
而在LGD去噪方法中,去掉的扰动幅度基本与图像上的扰动幅度持平,也就是说LGD方法可以去掉所有扰动。
实验结果:
[paper]Defense against Adversarial Attacks Using High-Level Representation Guided Denoiser相关推荐
- 论文阅读-FDA Federated Defense Against Adversarial Attacks for Cloud-Based IIoT Applications
FDA: Federated Defense Against Adversarial Attacks for Cloud-Based IIoT Applications (这里的对抗攻击都有哪儿些 - ...
- NESTEROV ACCELERATED GRADIENT AND SCALE INVARIANCE FOR ADVERSARIAL ATTACKS (翻译,侵删)
NESTEROV ACCELERATED GRADIENT AND SCALE INVARIANCE FOR ADVERSARIAL ATTACKS(Nesterov 加速梯度和缩放不变性攻击) 摘要 ...
- [论文笔记]Decoupling Direction and Norm for Efficient Gradient-Based L2 Adversarial Attacks and Defenses
Decoupling Direction and Norm for Efficient Gradient-Based L2 Adversarial Attacks and Defenses(2019 ...
- Boosting Adversarial Attacks with Momentum
本文为论文阅读笔记,仅用作学习记录,Paper原文链接 注:本文提到的可转移性也可以说是可移植性 背景介绍 这篇文章是清华大学与英特尔中国实验室在2018年联合发布的一篇CVPR,主要提出了使用动 ...
- 【Paper-Attack】Exploratory Adversarial Attacks on Graph Neural Networks
Exploratory Adversarial Attacks on Graph Neural Networks 依赖training loss的最大梯度的这种基于梯度的策略,在攻击GNN模型时候,可 ...
- 【论文学习】《Who is Real Bob? Adversarial Attacks on Speaker Recognition Systems》
<Who is Real Bob? Adversarial Attacks on Speaker Recognition Systems>论文学习 文章目录 <Who is Real ...
- 【全文翻译】Composite Adversarial Attacks
复合对抗攻击 1. Abstract 2.Introduction 3.Preliminaries and Related work(准备工作和相关工作) Adversarial Attack Aut ...
- Mind the Box: $\ell_1$-APGD for Sparse Adversarial Attacks on Image Classifiers
文章目录 概 主要内容 Croce F. and Hein M. Mind the box: ℓ1\ell_1ℓ1-APGD for sparse adversarial attacks on im ...
- LOWKEY: LEVERAGING ADVERSARIAL ATTACKS TO PROTECT SOCIAL MEDIA USERS FROM FACIAL RECOGNITION
LOWKEY: LEVERAGING ADVERSARIAL ATTACKS TO PROTECT SOCIAL MEDIA USERS FROM FACIAL RECOGNITION LOWKEY: ...
最新文章
- [JavaWeb基础] 007.Struts2的配置和简单使用
- 《iOS9开发快速入门》——导读
- c语言内存拷贝 memcpy()函数
- 友盟 点完登陆后无反应_高考缴费艺术生到底该交多少钱?密码找不到了怎么办?等级考缴费吗?点进来查看!...
- for循环中使用多线程
- asp.net中让GridView加上垂直流动条并让标头不动
- 利用等积变换巧解三角形面积问题
- 如果是你你会如何重新设计和定义维基百科(wikipedia)?
- C语言,函数不可返回指向栈内存的指针
- 郎朗和机器人合奏_从世界机器人大会看新中国70年科技发展成就
- 搭建Hadoop平台(一)之配置用户名及hosts文件
- 使用Nacos配置中心云端化本地application.properties
- WMI 脚本入门:第二部分 (MSDN)
- 如何利用网管软件管控SNMP协议的网络设备
- 谈谈EMC Unity名字侵权官司,送竞争分析点评
- Ac.wing 149. 荷马史诗
- sharepoint 2013 excel services浏览excel文件 未能下载图表或图像
- [蛋蛋无厘头日记]收到礼物喵~o(∩_∩)o
- Blender3.5 面的操作(一)
- 14个PPT资源素材网站,再也不怕做PPT了
热门文章
- 【金融项目】尚融宝项目(十)
- Given no hashes to check 131 links for project 'pip': discarding no candidates
- 团队口号_激励口号_口号大全分享到:
- 学习python必备的软件
- 如何查看MySQL的表空间
- 【傲腾观察室】英特尔® 傲腾™技术,助力金融行业数据库价值迸发!
- Docker 配置 nvidia-docker 和 pytorch 的一些想法
- java实现单个或多个文件的压缩、解压缩 支持zip、rar等格式
- 监控系统与服务器的连接,监控服务器的连接方法
- python实现百度语音之语音识别