CloudLeak: Large-Scale Deep Learning Models一种黑盒的攻击方法
|
background
|
state of the art(已有的对比项)
|
solution/contribution(系统还是算法贡献)
|
evaluation
|
conclusion/future work
|
|
|
CloudLeak: Large-Scale Deep Learning Models
CloudLeak：通过对抗性示例窃取的大规模深度学习模型
|
通过查询的方法可以发生信息泄露（泄露模型或者训练数据member inference attack）
假设（黑盒）：no prior knowledge about training data,architecture or parameter of victim model,但是可以观察到分类标签和confidence scores
|
减少了窃取目标模型需要询问的次数
我们的方法可以窃取具有高精度，少量查询和低成本的大型深度学习模型，而先前的工作却失败了
目前的大部分的DNN查询和模型提取攻击使仍然不切实际的限制：
1 窃取攻击的对象是小型机器学习模型，复杂DNN上无法评估攻击性能
2 询问的数目要和模型参数个数成比例，但是针对ResNet, VGGNet，包含百万个参数。查询成本高
|
窃取针对Micro，Face++,IBM,Google托管的流行MLaaspingtai 的模型的黑盒攻击方法（从云平台中提取大型DNN模型）
|
当前的limitation:
1 对抗查询方法的进一步改进
2 对抗示例要扩展到multi-label case（攻击者需要首先制作具有多目标标签的对抗示例，然后生成综合数据集以训练替代模型。）
3 扩展到其他域。 由于对抗性示例广泛存在于各个领域（例如音频和文本）中，因此所提出的攻击可以轻松地扩展到所有基于DNN的MLaaS平台。
|
1 adversarial attack method ：提出了针对local substitute models的对抗攻击方法FeatureFool. 这个方法采用internal representation[内部表征，通过下文猜测是内部特征]来产生malicious samples的子集。然后用恶意samples来对victim model查询，从而学习到victim model的决策边界与stolen model的距离。
2 black-box model theft attack ：针对大规模DNN模型设计了黑盒模型盗窃攻击。攻击通过对训练好的模型进行对抗主动学习和迁移学习，来加速模型窃取过程。
3 evaluate： 评估了由Microsoft，Face ++，IBM，Google和Clarifai托管的一组流行商业平台上的攻击框架。发现需要查询的量少了很多
|
key idea:
2 迁移学习： 使用有对抗性示例的迁移学习 。用得到的synthetic dataset，对预训练模型进行微调。从而加快模型的生成速率。
一些问题说明：
1. 对抗攻击为了什么？如何窃取模型的参数？
对抗样本定义：Adversarial examples are inputs to machine learning models that an attacker has intentionally designed to cause the model to make a mistake;
1）对抗样本和对应的合法样本应该差距越小越好；
2）对抗样本应该使得模型分类错，且错的那一类的概率越高越好。
使用对抗的方法构造的数据集大约位于分类器的决策边界上
对抗的方法构造的数据集大约位于分类器的决策边界上。更少的train data就能找到分类器的超平面。
2 恶意样例生成的其他算法
3 黑盒模型窃取的其他算法
|
黑盒模型窃取的其他算法 |
|
Stealing ` machine learning models via prediction apis |
|
Copycat cnn: Stealing knowledge by persuading confession with random non-labeled data |
|
Practical black-box attacks against machine learning |
1 F. Tramer attack [6], ` “Stealing ` machine learning models via prediction apis 25th USENIX Security Symposium 2016
攻击类型： 窃取ML模型的黑盒攻击.
针对的云平台： BigML, Amazon Machine Learning
攻击的模型：逻辑回归和决策树这种简单机器学习模型
攻击方法： 1. 基于求解方程式的攻击：针对逻辑回归（二分类与多分类等）。
2. 决策树路径查找攻击：新的寻路攻击。
limitation: 只针对简单ML模型。且攻击方法迁移性不够
2 Correia-Silva attack [14] Copycat cnn: Stealing knowledge by persuading confession with random non-labeled data CoRR, vol. abs/1806.05476, 2018.通过说服CNN模型通过随机的非标签数据来输出它的knowledge
攻击类型： 窃取ML模型的黑盒攻击.
攻击的模型：CNN
攻击方法： 1. 使用随机数据查询（没有生成对抗样例，查询的数据集来自相同问题域的图像组成 or 随机自然图像）
2. 迁移学习
limitation: 实验使用的类别中总共的类的个数很少，针对CNN的，query次数相对多。
3 Papernot attack [21] Practical black-box attacks against machine learning,” in AsiaCCS, 2017
攻击类型： 窃取ML模型的黑盒攻击.
针对的云平台： Amazon, Google。 数据集：MNIST Dataset, GTSRD Dataset
攻击的模型：DNN
攻击方法： 1. 对抗样例生成算法：FGSM , Papernot( 用雅克比矩阵 替代梯度 )
2. 迁移学习
提到的一些Methods
CloudLeak: Large-Scale Deep Learning Models一种黑盒的攻击方法相关推荐
- 【原】Coursera—Andrew Ng机器学习—课程笔记 Lecture 17—Large Scale Machine Learning 大规模机器学习...
Lecture17 Large Scale Machine Learning大规模机器学习 17.1 大型数据集的学习 Learning With Large Datasets 如果有一个低方差的模型 ...
- 【笔记】Comparison of Object Detection and Patch-Based Classification Deep Learning Models on Mid- to La
<Comparison of Object Detection and Patch-Based Classification Deep Learning Models on Mid- to La ...
- 论文笔记：Do We Really Need Deep Learning Models for Time Series Forecasting?
Do We Really Need Deep Learning Models for Time Series Forecasting? Elsayed S, Thyssens D, Rashed A, ...
- ISPRS2020/遥感云检测：Transferring deep learning models for cloud detection between Landsat-8 and Proba-V
ISPRS2020/云检测:Transferring deep learning models for cloud detection between Landsat-8 and Proba-V在La ...
- Towards Deep Learning Models Resistant to Adversarial Attacks(PGD adversarial training)
目录 Introduction 内容简介 An Optimization View on Adversarial Robustness 内容介绍 Towards Universally Robust ...
- PGD_Towards deep learning models resistant to adversarial attacks_CSDN
Towards Deep Learning Models Resistant to Adversarial Attacks Towards Deep Learning Models Resistant ...
- Towards Deep Learning Models Resistant to Adversarial Attacks （PGD）
Towards Deep Learning Models Resistant to Adversarial Attacks 从对抗鲁棒性的角度出发 本文从鲁棒优化的角度研究了神经网络的对抗鲁棒性. 我 ...
- [论文解读] Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey
Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey 文章目录 Adversaria ...
- 【读点论文】Fawkes: Protecting Privacy against Unauthorized Deep Learning Models 添加像素扰动来实现图片的对抗AI识别
Fawkes: Protecting Privacy against Unauthorized Deep Learning Models 当今强大的面部识别系统的激增对个人隐私构成了真正的威胁.正如C ...
最新文章
- 牛客练习赛61 E 相似的子串（二分+哈希）难度⭐⭐⭐
- 贝塞尔曲线与CAShapeLayer的关系以及Stroke动画
- JAVA笔记18-容器之二增强的for循环（不重要）
- BeetleX之Websocket协议分析详解
- MATLAB字符串转换函数
- 如何查看一个网站是否部署了SSL证书?
- python2.7是什么_python2.7是什么
- linux 修改内核源码,Source Insight阅读linux内核源代码——根据其他文章修改
- android 纯c/c++开发（转）
- Server.UrlEncode、HttpUtility.UrlDecode的区别
- android开发图片格式,Android程序开发如何处理图像格式类及图像转换
- 关于微信退款出现错误代码:52的解决方法【转】
- 如何制作音乐界面动效设计
- 直流电机驱动电路整理笔记
- 鸡兔同笼c语言代码while,鸡兔同笼（C语言代码）
- 大数据数据挖掘与云计算-认识大数据
- 配对碱基链（C语言）
- MySQL笔记(一)SQL基础
- alc236黑苹果驱动_黑苹果亮度调节及调节快捷键驱动
- 以太坊测试网络rinkeby交易测试