先列出两个对抗样本创建的github链接：

cleverhans

百度的AdvBox

什么是对抗样本

对抗样本产生原因

对抗样本发生的原因：深度学习模型的高度线性性质，导致通过线性模型参数的点乘累积放大输入图像像素值的微小改变。

创建对抗样本

1. 白盒No-target攻击——FGSM, I-FGSM

•固定模型参数W,b，梯度上升更新x，使推理（分类）结果远离正确值y。

•IFGSM生成的对抗样本比FGSM生成出的精度更高，但是迁移性不一定有FGSM好。 (Reason: drop into poor local maxima; “overfit” the model.)

MI-FGSM

在I-FGSM的基础上加上Momentum技术，生成质量更高的对抗样本的同时，提高对抗样本的迁移性

2. 利用对抗样本的可迁移性进行黑盒攻击

•黑盒生成对抗样本：基于对抗样本迁移的方法。

仿照被攻击模型的任务，训练一个同样功能的本地模型，通过白盒方式生成本地模型的对抗样本，通常这些样本也有攻击这些模型的能力。

通过分析gradient进行黑盒攻击

代表方法：Zeroth Order Optimization'(ZOO)[9] attack, Substitute Attack[10]

ensemble models的对抗样本

•使用K个model

•三个层面的叠加：logits层面、prediction层面和loss层面

•同时攻击多个model的对抗样本性能更强。

3. 白盒有target攻击

固定参数W，b，选定label y_target，梯度下降更新x，使推理结果逼近y_target。

x∗=x-ϵsign(∇_x L(x,y_target))

4. 利用GAN生产对抗样本——AdvGAN

•GAN生成对抗样本的目标是生成视觉上真实同时能使目标模型分类错误的图像。

普通GAN loss，判别器用于分辨原始样本和对抗样本，生成器用于生成创建对抗样本的噪声。

对抗样本loss，f是被攻击模型，t是原始样本经过模型分类后的target

，用于限制GAN的训练扰动

，综合三种loss一起训练。

防御对抗样本的方法

1. 神经网络对抗样本去噪

结果：将噪声去除了，但是没有提升模型分辨对抗样本的性能

原因：随机噪声对准确率的影响会随着去噪网络的传递而减少，但是对抗噪声的影响会变大，所以基本的去噪无法解决这个问题

2. 神经网络高层特征去噪

对原始对抗样本图片的去噪方法（PGD）效果不佳，于是将损失函数加在网络高层的特征层上的方法（HGD）

3. HGD去噪

•将Loss加在不同的网络层，分别对应三种方法：FGD, LGD, CGD。

此外：HGD方法具有可迁移性，在一个网络上训练的抗造器借给另一个完全不同的网络也会起到不错的抗噪效果。

同时：可以使用Ensemble的方法提升准确率

对抗样本的创建和防御相关推荐

面向深度学习系统的对抗样本攻击与防御
研究生涯即将开始,现在做的是对抗样本攻击与防御,开始每天写博客,记录一下自己的学习历程~ 1.对抗样本尽管深度学习解决某些复杂问题的能力超出了人类水平,但也面临多种安全性威胁.2013年,塞格德等人 ...
OpenAI详细解析：攻击者是如何使用「对抗样本」攻击机器学习的
原文来源:OpenAI 作者: Ian Goodfellow.Nicolas Papernot.Sandy Huang.Yan Duan.Pieter Abbeel.Jack Clark. 「雷克世界 ...
清华朱军团队包揽三项冠军 | NIPS 2017对抗样本攻防竞赛总结（附学习资料）
来源:AI科技评论作者:高云河本文共8989字,建议阅读10分钟. 本次比赛总结由谷歌大脑.清华大学以及其它参与研究人员们联合撰写,为你介绍NIPS 2017 对抗样本攻防比赛的情况. 自 Ian ...
pytorch 对抗样本_【炼丹技巧】功守道：NLP中的对抗训练 + PyTorch实现
本文分享一个"万物皆可盘"的NLP对抗训练实现,只需要四行代码即可调用.盘他. 最近,微软的FreeLB-Roberta [1] 靠着对抗训练 (Adversarial Train ...
2019CVPR有关对抗样本的论文总结（防御篇一）
目录一.特征图去噪二.PNI参数噪声注入三.输入多样性一.特征图去噪 2019CVPR-Feature Denoising for Improving Adversarial Robustne ...
对抗攻击与防御 (1)：图像领域的对抗样本生成
文章目录 1 引入 2 白盒攻击 2.1 Biggio 2.2 Szegedy's limited-memory BFGS (L-BFGS) 2.3 Fast gradient sign method ...
对抗样本攻击及防御实战
原创稿件征集邮箱:edu@antvsion.com QQ:3200599554 黑客与极客相关,互联网安全领域里的热点话题漏洞.技术相关的调查或分析稿件通过并发布还能收获 200-800元不等 ...
HGD处理对抗样本以防御对抗攻击
目录背景 HGD 原理分类防御效果论文 2018CVPR-Defense against Adversarial Attacks Using High-Level Representation ...
pytorch 对抗样本_DeepRobust-对抗攻击和防御pytorch库
1 前言 DeepRobust是基于PyTorch对抗性学习库,旨在建立一个全面且易于使用的平台来促进这一研究领域的发展.目前在图像域中包含10多种攻击算法和8种防御算法,图域中的9种攻击算法和4种防 ...
论文研读1——对抗样本(Adversarial Example)综述（2018版）
论文地址:Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey 部分内容参考科研篇二:对抗样本(Adv ...

对抗样本的创建和防御