1.前言

对抗样本和对抗性网络，从最开始YannLeCun在Quora上直播时表示生成对抗性网络是近期人工智能最值得期待的算法之一，到生成对抗性网络的发明者IanGoodfellow在Quora上直播讲述自己的学习经历和研究，成了人工智能领域内热门的名词之一。而对比起LeCun,IanGoodfellow的知名度可能没有那么高，但是Goodfellow是YoshuaBengio的学生，前Google科学家，现在被ElonMusk招到OpenAI做科学家。

2.到底什么是对抗样本？

深度学习对抗样本(Adversarial Examples)的概念最早是Christian Szegedy 等人在ICLR2014发表的论文中提出来的，即在数据集中通过故意添加细微的干扰所形成输入样本，受干扰之后的输入导致模型以高置信度给出了一个错误的输出。在他们的论文中，他们发现包括卷积神经网络（Convolutional Neural Network, CNN）在内的深度学习模型对于对抗样本都具有极高的脆弱性。他们的研究提到，很多情况下，在训练集的不同子集上训练得到的具有不同结构的模型都会对相同的对抗样本实现误分，这意味着对抗样本成为了训练算法的一个盲点。Anh Nguyen等人在CVPR2015上发表的论文中，他们发现面对一些人类完全无法识别的样本（论文中称为Fooling Examples），可是深度学习模型会以高置信度将它们进行分类。这些研究的提出，迅速抓住了公众的注意力，有人将其当做是深度学习的深度缺陷，可是kdnuggets上的一篇文章(Deep Learning’s Deep Flaws)指出，事实上深度学习对于对抗样本的脆弱性并不是深度学习所独有的，在很多的机器学习模型中普遍存在，因此进一步研究有利于抵抗对抗样本的算法实际上有利于整个机器学习领域的进步。

如图1示例，原始图像以60%的置信度判断为“熊猫”，但是加入了微小的干扰，在人眼完全看不出差别的情况下却以99%的执行度归为了长臂猿。

3.造成对抗性样本的原因是什么？

一个推断性的解释是深度神经网络的高度非线性特征，以及纯粹的监督学习模型中不充分的模型平均和不充分的正则化所导致的过拟合。IanGoodfellow 在ICLR2015年的论文中，通过在一个线性模型加入对抗干扰，发现只要线性模型的输入拥有足够的维度（事实上大部分情况下，模型输入的维度都比较大，因为维度过小的输入会导致模型的准确率过低），线性模型也对对抗样本表现出明显的脆弱性，这也驳斥了关于对抗样本是因为模型的高度非线性的解释。相反深度学习的对抗样本是由于模型的线性特征。

4.什么是生成对抗网络？

简单来说，对抗网络有两部分组成，一个是生成器(generator)，一个是辨别器(discriminator),生成器好比一个小偷，而辨别器好比一个警察，小偷的目的是想方设法的欺骗警察(生成对抗样本)，而警察的目的就是想方设法的去不受欺骗，小偷和警察都在不断的优化自己去达到目的，同时彼此都在对方的“监督”下而提升。
这种对抗训练过程与传统神经网络存在一个重要区别。一个神经网络需要有一个成本函数，评估网络性能如何。这个函数构成了神经网络学习内容以及学习情况的基础。传统神经网络需要一个人类科学家精心打造的成本函数。但是，对于生成式模型这样复杂的过程来说，构建一个好的成本函数绝非易事。这就是对抗性网络的闪光之处。对抗网络可以学习自己的成本函数——自己那套复杂的对错规则——无须精心设计和建构一个成本函数。
众所周知，机器学习中，无监督学习一直备受关注，而发展却并不迅速，而生成对抗性网络正是通过深度学习本身的缺陷，利用“欺骗”和“反欺骗”的博弈，实现模型内部的监督学习。
生成对抗性网络本质还是很复杂，如需要详细了解，可以查阅参考资料的内容。

5.参考资料

[1]Karparthy博客BreakingLinear Classifiers on ImageNet
[2]Christian等人在ICLR2014最先提出adversarialexamples的论文Intriguing properties of neural networks
[3]Ian Goodfellow对对抗样本解释的论文Explaining and Harnessing Adversarial Examples
[4]最近Bengio他们组发文表示就算是从相机自然采集的图像，也会有这种特性Adversarial examples in thephysical world
[5]Anh Nguyen等人在CVPR2015上首次提出FoolingExamples的论文Deep NeuralNetworks are Easily Fooled: High Confidence Predictions for UnrecognizableImages
[6]Yann LeCun在Quora上直播内容
[7]Ian Goodfellow在Quora上直播

对抗样本与生成式对抗网络相关推荐

HGD处理对抗样本以防御对抗攻击
目录背景 HGD 原理分类防御效果论文 2018CVPR-Defense against Adversarial Attacks Using High-Level Representation ...
简述生成式对抗网络 GAN
本文主要阐述了对生成式对抗网络的理解,首先谈到了什么是对抗样本,以及它与对抗网络的关系,然后解释了对抗网络的每个组成部分,再结合算法流程和代码实现来解释具体是如何实现并执行这个算法的,最后通过给出一个 ...
清华朱军团队包揽三项冠军 | NIPS 2017对抗样本攻防竞赛总结（附学习资料）
来源:AI科技评论作者:高云河本文共8989字,建议阅读10分钟. 本次比赛总结由谷歌大脑.清华大学以及其它参与研究人员们联合撰写,为你介绍NIPS 2017 对抗样本攻防比赛的情况. 自 Ian ...
ACL2020 | 使用强化学习为机器翻译生成对抗样本
2020-07-12 03:08:49 本文介绍的是 ACL 2020 论文<A Reinforced Generation of Adversarial Examples for Neural ...
pytorch 对抗样本_【炼丹技巧】功守道：NLP中的对抗训练 + PyTorch实现
本文分享一个"万物皆可盘"的NLP对抗训练实现,只需要四行代码即可调用.盘他. 最近,微软的FreeLB-Roberta [1] 靠着对抗训练 (Adversarial Train ...
小样本点云深度学习库_合成鲁棒的对抗样本来欺骗深度学习分类器
本期一诺sec关注深度学习系统安全问题,推荐一篇来自ICML 2018会议论文Synthesizing Robust Adversarial Examples.论文链接http://proceedin ...
论文研读1——对抗样本(Adversarial Example)综述（2018版）
论文地址:Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey 部分内容参考科研篇二:对抗样本(Adv ...
新书推荐 |《AI安全之对抗样本入门》
新书推荐 <AI安全之对抗样本入门> 点击上图了解及购买 AI安全三部曲作者兜哥又一力作,对抗样本的入门知识,AI安全必备. 内容简介本书系统介绍对抗样本的基本原理,从相关的背景知识开始 ...

对抗样本与生成式对抗网络

1.前言

2.到底什么是对抗样本？

3.造成对抗性样本的原因是什么？

4.什么是生成对抗网络？

5.参考资料

对抗样本与生成式对抗网络相关推荐

最新文章

热门文章