暴力的黑盒对抗样本攻击 -- ZOO
文章目录
- 介绍
- 强行计算梯度
- 结果分析
介绍
这次来介绍一篇CCS Workshop 2017的工作,“ZOO: Zeroth Order Optimization Based Black-box Attacks to Deep Neural Networks without Training Substitute Models”
这是一个黑盒的对抗样本攻击,如上图所示,攻击者只能进行输入,并且获得置信度的输出,不能对模型进行反向传播。
有关于白盒的对抗样本攻击,可以查看我这篇文章
不能反向传播,会导致对抗样本难以生成。那么怎么进行攻击呢,有一些工作的思路是训练一个替代模型(substitute model)来进行攻击。
替代模型是指利用类似分布的数据集,或者利用多次输入输出的结果,训练一个新的模型,并在新的模型上进行反向传播,进而得到一个对抗样本。
强行计算梯度
正如之前所说,没办法进行反向传播,梯度都没办法直接计算。
那么该工作便强行计算了一个伪梯度,我们来看看细节
首先我们先对输入 xxx 进行一个扰动 x=x+h⋅ex = x + h\cdot ex=x+h⋅e
其中 h=0.0001h = 0.0001h=0.0001 是一个常量值,eee 是一个标准单位向量,你可以理解为某一位为1其余都是0的向量。
我们记模型的输出为 f(x)f(x)f(x) ,那么利用对称差分,可以得到一个估计梯度值
g~=∂f(x)∂x≃f(x+h⋅e)−f(x−h⋅e)2h\tilde{g} = \frac{\partial f(x)}{\partial x} \simeq \frac{f(x+h\cdot e) - f(x-h\cdot e)}{2h} g~=∂x∂f(x)≃2hf(x+h⋅e)−f(x−h⋅e)
同时,我们可以估计出二阶的梯度值
h~=∂2f(x)∂x2≃f(x+h⋅e)−2f(x)+f(x−h⋅e)h2\tilde{h} = \frac{\partial^2 f(x)}{\partial x^2} \simeq \frac{f(x+h\cdot e) - 2f(x) + f(x-h\cdot e)}{h^2} h~=∂x2∂2f(x)≃h2f(x+h⋅e)−2f(x)+f(x−h⋅e)
有了这两个梯度估计值,就可以直接对 xxx 进行梯度下降优化了。比如牛顿法,那么则是
x=x−ηg~h~x = x - \eta \frac{\tilde{g}}{\tilde{h}} x=x−ηh~g~
其中 η\etaη 是学习率
同理可以得到Adam的过程,这里不多赘述。
如上图所示,算法会迭代数次,在每一次迭代的时候,随机选取一个像素位置,添加扰动并计算出梯度,多次迭代之后得到结果。
结果分析
作者在手写数据集MNIST和CIFAR10上进行测试,和白盒攻击C&W,以及替代模型方法进行了对比。
从时间上看,黑盒攻击要更加花费时间,成功率也会有所下降
暴力的黑盒对抗样本攻击 -- ZOO相关推荐
- 后门攻击与对抗样本攻击的比较研究
目录 一.Introduction 1.什么是后门攻击? 2.什么是对抗样本攻击? 3.后门攻击与对抗样本攻击的区别 4.补充数据投毒攻击 二.思维导图 三.应用场景 1.对抗样本攻击应用场景 2.后 ...
- 面向深度学习系统的对抗样本攻击与防御
研究生涯即将开始,现在做的是对抗样本攻击与防御,开始每天写博客,记录一下自己的学习历程~ 1.对抗样本 尽管深度学习解决某些复杂问题的能力超出了人类水平,但也面临多种安全性威胁.2013年,塞格德等人 ...
- 对抗样本攻击及防御实战
原创稿件征集 邮箱:edu@antvsion.com QQ:3200599554 黑客与极客相关,互联网安全领域里 的热点话题 漏洞.技术相关的调查或分析 稿件通过并发布还能收获 200-800元不等 ...
- 论文分享(三)——加权采样音频对抗样本攻击
论文链接:https://arxiv.org/abs/1901.10300 一.介绍 文章提出了加权音频对抗样本的概念,着重于样本失真的数量及权重来加强攻击.此外,在损失函数中应用了降噪方法,以使对抗 ...
- 论文阅读-可迁移对抗样本攻击
我的博客已全部迁往个人博客站点:oukohou.wang,敬请前往-- paper:Transferable Adversarial Attacks for Image and Video Objec ...
- 繁凡的对抗攻击论文精读(三)ICLR2019 利用先验知识进行高效黑盒对抗攻击的 bandits 算法(MIT)
点我轻松弄懂深度学习所有基础和各大主流研究方向入门综述! <繁凡的深度学习笔记>,包含深度学习基础和 TensorFlow2.0,PyTorch 详解,以及 CNN,RNN,GNN,AE, ...
- 什么是对抗样本、对抗攻击(详解)
1.对抗样本 所谓对抗样本就是指:在原始样本添加一些人眼无法察觉的扰动(这样的扰动不会影响人类的识别,但是却很容易愚弄模型),致使机器做出错误的判断. 如下所示,这两张图片添加噪声(或者说扰动之后)被 ...
- 清华朱军团队包揽三项冠军 | NIPS 2017对抗样本攻防竞赛总结(附学习资料)
来源:AI科技评论 作者:高云河 本文共8989字,建议阅读10分钟. 本次比赛总结由谷歌大脑.清华大学以及其它参与研究人员们联合撰写,为你介绍NIPS 2017 对抗样本攻防比赛的情况. 自 Ian ...
- 论文盘点:GAN生成对抗样本的方法解析
©PaperWeekly 原创 · 作者|孙裕道 学校|北京邮电大学博士生 研究方向|GAN图像生成.情绪对抗样本生成 引言 对抗样本的生成方式很多.一般情况下会分成三大类,第一种是基于梯度的生成方式 ...
最新文章
- A股融资融券余额是什么意思?
- Spring Boot 的单元测试和集成测试
- 使用studio2005写单元测试
- xml配置文件的形式 VS 配置类的形式
- MAC下 IEDA发布tomcat项目的位置
- 数据库连接池工作原理
- python参数_python参数的介绍
- Spring bean生命周期概览
- 基于JAVA+SpringMVC+Mybatis+MYSQL的商场人员管理系统
- 拼图java监听器,Android 简单的实现滑块拼图验证码功能
- python:filter用法
- 计算机网络---分层结构、协议、接口、服务
- bootstart讲义,不过忘了是哪个老师的了
- 菩提心的修法-四无量心的具体修法
- matlab如何绘制状态图,[转载]MATLAB画状态方程的向量图
- 通过路由器来设置局域网下无线打印机打印
- java求圆的面积和周长
- 小米6自动重启android,小米6充电重启怎么办?小米6充电自动重启解决方法介绍...
- 互联网/计算机 校园招聘信息大全!
- [C/C++]跳格子游戏 - 2019校招编程刷题
热门文章
- 树莓派4配置USB启动-解决wlan0不识别问题
- win7 wlan 服务器无响应,Win7启用WLAN AutoConfig服务错误1068的解决措施
- Python1.语言基本要素上(郭炜老师python大学mooc)
- 用java实现网络爬虫,实时获取中国地震台网数据
- 阿里巴巴收购中天微,中国“芯”指日可待!
- #2021,我们的浮生一日#
- 精读:REDQUEEN: Fuzzing with Input-to-State Correspondence
- 【计算机网络笔记1】计算机网络和因特网
- 【教程】Python科研数据可视化、MATLAB科研数据可视化
- 产品经理眼中的我们程序员