欢迎大家来到图像分类专栏,深度学习分类模型虽然性能强大,但是也常常会因为受到小的干扰而性能崩溃,对抗攻击就是专门研究如何提高网络模型鲁棒性的方法,本文简要介绍相关内容。

作者&编辑 | 郭冰洋

1 简介

对于人类而言,仅仅通过所接收到的视觉信息并不能完全帮助我们做出正确、迅速的判定,还需要结合我们的生活经验做出相应的反应,以确定哪些信息是真实可靠的,而哪些信息是虚假伪造的,从而选取最适合的信息并做出最终的决策。

基于深度学习的图像分类网络,大多是在精心制作的数据集下进行训练,并完成相应的部署,对于数据集之外的图像或稍加改造的图像,网络的识别能力往往会受到一定的影响,比如下图中的雪山和河豚,在添加完相应的噪声之后被模型识别为了狗和螃蟹。

在此现象之下,对抗攻击(Adversarial Attack)开始加入到网络模型鲁棒性的考查之中。通过添加不同的噪声或对图像的某些区域进行一定的改造生成对抗样本,以此样本对网络模型进行攻击以达到混淆网络的目的,即对抗攻击。而添加的这些干扰信息,在人眼看来是没有任何区别的,但是对于网络模型而言,某些数值的变化便会引起“牵一发而动全身”的影响。这在实际应用中将是非常重大的判定失误,如果发生在安检、安防等领域,将会出现不可估量的问题。

本篇文章我们就来谈谈对抗攻击对图像分类网络的影响,了解其攻击方式和现有的解决措施。

2 对抗攻击方式

2.1 白盒攻击(White-box Attacks)

攻击者已知模型内部的所有信息和参数,基于给定模型的梯度生成对抗样本,对网络进行攻击。

2.2 黑盒攻击(Black-box Attacks)

当攻击者无法访问模型详细信息时,白盒攻击显然不适用,黑盒攻击即不了解模型的参数和结构信息,仅通过模型的输入和输出,生成对抗样本,再对网络进行攻击。

现实生活中相应系统的保密程度还是很可靠的,模型的信息完全泄露的情况也很少,因此白盒攻击的情况要远远少于黑盒攻击。但二者的思想均是一致的,通过梯度信息以生成对抗样本,从而达到欺骗网络模型的目的。

3 解决方案

3.1 ALP

Adversarial Logit Paring (ALP)[1]是一种对抗性训练方法,通过对一个干净图像的网络和它的对抗样本进行类似的预测,其思想可以解释为使用清洁图像的预测结果作为“无噪声”参考,使对抗样本学习清洁图像的特征,以达到去噪的目的。该方法在ImageNet数据集上对白盒攻击和黑盒攻击分别取得了 55.4%和77.3%的准确率。

3.2 Pixel Denoising

Pixel Denosing是以图像去噪的思想避免对抗攻击的干扰,其中代表性的是Liao等[2]提出的在网络高级别的特征图上设置一个去噪模块,以促进浅层网络部分更好的学习“干净”的特征。

3.3 Non-differentiable Transform

无论是白盒攻击还是黑盒攻击,其核心思想是对网络的梯度和参数进行估计,以完成对抗样本的生成。Guo等[3]提出采用更加多样化的不可微图像变换操作(Non-differentiable Transform)以增加网络梯度预测的难度,通过拼接、方差最小化等操作以达到防御的目的。

3.4 Feature Level

通过观察网络特征图来监测干扰信息的影响,是Xie等[4]提出的一种全新思路,即对比清洁图像和对抗样本的特征图变化(如上图所示),从而设计一种更加有效直观的去噪模块,以增强网络模型的鲁棒性,同样取得了非常有效的结果。

除此之外,诸多研究人员针对梯度下降算法提出了混淆梯度(Obfuscated gradients)的防御机制,在网络参数更新的梯度优化阶段采用离散梯度、随机梯度与梯度爆炸等方法,实现更好的防御措施。

参考文献:

1 H. Kannan, A. Kurakin, and I. Goodfellow. Adversarial logit

pairing. In NIPS, 2018.

2 F. Liao, M. Liang, Y. Dong, and T. Pang. Defense against

adversarial attacks using high-level representation guided

denoiser. In CVPR, 2018

3 C. Guo, M. Rana, M. Cisse, and L. van der Maaten. Countering

adversarial images using input transformations. In ICLR,

2018.

4 Cihang Xie,Yuxin Wu,Laurens van der Maaten,Alan Yuille and Kaiming He. Feature Denoising for Improving Adversarial Robustness.In CVPR 2019

总结

对抗攻击是图像分类网络模型面临的一大挑战,日后也将是识别、分割模型的一大干扰,有效地解决对抗样本的影响,增加网络模型的鲁棒性和安全性,也是我们需要进一步研究的内容。

转载文章请后台联系

侵权必究

往期精选

【图像分类】 图像分类中的对抗攻击是怎么回事?相关推荐

  1. 黑盒攻击的分类_「图像分类」图像分类中的对抗攻击是怎么回事?

    欢迎大家来到图像分类专栏,深度学习分类模型虽然性能强大,但是也常常会因为受到小的干扰而性能崩溃,对抗攻击就是专门研究如何提高网络模型鲁棒性的方法,本文简要介绍相关内容. 作者 | 郭冰洋 编辑 | 言 ...

  2. 神经网络中的对抗攻击与对抗样本

    文章来源:https://baijiahao.baidu.com/s?id=1596201339578975526&wfr=spider&for=pc 前言 在学习神经网络白盒.黑盒对 ...

  3. 任奎:人工智能算法安全浅析——深度学习中的对抗攻击与防御

    2020-05-19 19:52:46 任奎 随着计算机产业发展带来的计算性能与处理能力的大幅提高,人工智能在音视频识别.自然语言处理和博弈论等领域得到了广泛应用.在此背景下,确保人工智能的核心--深 ...

  4. 论智能问答中的对抗攻击及防御策略

    大数据产业创新服务媒体 --聚焦数据 · 改变商业 编者按 深度学习模型应用广泛,但其自身有一定的"脆弱性",即模型输入的微小改动,在不影响人判断的情况下,可能使模型的输出出错,这 ...

  5. 百分点认知智能实验室出品:智能问答中的对抗攻击及防御策略

    编者按 深度学习模型应用广泛,但其自身有一定的"脆弱性",即模型输入的微小改动,在不影响人判断的情况下,可能使模型的输出出错,这个过程被称为对模型的对抗攻击.针对对抗攻击的研究,早 ...

  6. baseline发布!OPPO安全AI挑战赛,人脸识别对抗攻击赛题详解

    baseline线上评测101.53分,文末附项目github地址. 今年6月,由OPPO发起,OPPO安全主办的"OPPO安全AI挑战赛"正式拉开序幕.比赛主要聚焦人脸识别场景中 ...

  7. 一文读懂文本处理中的对抗训练

    作者丨WenZe.Leo 单位丨追一科技AI Lab研究员 背景与研究意义 深度学习技术的快速发展,大幅提升了众多自然语言处理任务(比如文本分类,机器翻译等)的效果,越来越多的深度学习模型被用于现实生 ...

  8. 文本对抗攻击入坑宝典

    文 | 阿毅 编 | 小轶 如果是咱家公众号的忠实粉丝就一定还记得之前咱家一篇关于NLP Privacy的文章,不出意外的话,你们是不是现在依然还担心自己的隐私被输入法窃取而瑟瑟发抖.所以,我们又来了 ...

  9. 图神经网络对抗攻击的研究学习(一)

    目录 0.引入 1.初窥 1.1 图神经网络 1.1.1 传统神经网络的不足 1.1.2 图神经网络概况 1.1.3 Graph Convolution Networks(GCN) 1.1.4 Gra ...

最新文章

  1. ios9定位服务的app进入后台三分钟收不到经纬度,应用被挂起问题及解决方案
  2. 清华「暗黑破坏神」夺超算世界冠军,暨南大学首次参赛就跻身前三 | ISC21
  3. Android Studio系列教程三:快捷键
  4. weblogic:local class incompatible: stream classdesc serialVersionUID
  5. 《自己动手写开发工具》试读版电子书及光盘
  6. 转;VC++中Format函数详解
  7. 1001 A+B Format (20分)——12行代码AC
  8. 使用Fabric8在CDI管理的bean中注入Kubernetes Services
  9. 鸿蒙系统还会推出吗,华为明年所有自研设备都升级鸿蒙系统,还会推出基于鸿蒙系统的新机...
  10. DreamWeaver连接Tomcat用以编辑和测试JSP
  11. jquery 随楼层滚动导航激活状态改变特效
  12. java导出excel超出65536条处理
  13. C# string 特殊的引用类型
  14. 芒果DB删除指定日期内数据
  15. 你为什么那么努力还是不开心!
  16. 电脑鼠标右键应用卡死、转圈圈、资源管理器关闭等问题
  17. 【微信小程序】表单验证WxValidate.js使用
  18. [Python] python + selenium 抓取 京东商品数据(商品名称,售价,店铺,分类,订单信息,好评率,评论等)
  19. Java钉钉开发_Exception_异常总结
  20. Git分支及其协同开发

热门文章

  1. Oracle 11g安装步骤详谈
  2. 蓝桥杯java第八届第六题--最大公共子串
  3. 【JavaSE_06】Java中的数组(array)-练习
  4. java 管道设计_使用管道流实现Java 8阶段构建器
  5. 两个形状不同的长方形周长_“解决问题——怎样围周长最短”教学思考与设计...
  6. 通俗易懂:贪心算法(三):习题练习 (力扣605种花问题、122买卖股票的最佳时机)
  7. Java 设计模式——状态模式
  8. 64匹马8个跑道需要多少轮才能挑选出最快的4匹马?
  9. Oracle - 使用各种SQL来熟知buffer cache使用情况
  10. 翻译: Oralce官方文档-- Data Blocks, Extents, and Segments