一、研究背景

这篇文章发布于2018年，发表在Computer Vision and Pattern Recognition上面，当时CNN在图像识别上如日中天，而CNN的应用也极为广泛。一般来说，一个优秀的CNN模型需要大量的人力和物力。不仅需要搭建模型，还需要宝贵的数据集和卓越的算力，才能构建一个CNN模型。

二、主要工作

而作者的研究就是针对以CNN模型的攻击，他们通过向模型查询no-lable的数据，搭建一个数据集，然后再根据这个数据集训练出一个替代模型。

三、创新点

作者提出了一种针对CNN的模型窃取方法copycat，该方法并不需要目标模型的数据集，在高维的输入以及深层的模型上表现的都不错。

四、文章内容

1.introduction

CNN在图像分类和图像识别上面具有很好的表现，一个优秀的CNN模型具有很高的价值，这也使得CNN值得保护。作者提出了一种针对CNN的模型窃取方法copycat，如图一，他们通过向模型查询no-lable的数据，搭建一个数据集，然后再根据这个数据集训练出一个替代模型。

这个方法通过三种问题的解决效果来评估，分别是facial expression, object, and crosswalk classifification。

作者三大贡献：作者提出了一种针对CNN的模型窃取方法copycat，发现可以使用与目标模型训练集不相关的图像复制模型，该方法在不同的问题和大数据集上也适用。

2.RELATED WORKS

研究发现[1,2]，复制一个CNN黑盒模型是可行的，他们可以通过模型查询的方式来构建一个替代模型, 在SVM、决策树和贝叶斯分类器上取得了成功。但是他们没有尝试DNN模型的窃取。在另外的研究中[3,4]，[3]研究了将分类器（DNN，SVM，decision tree, nearest neighbor, and ensembles）迁移到另一个深度学习模型中。

作者与之前研究不同在于，作者提出的是复制目标模型然后生成替代模型，生成替代模型的过程不需要原始数据，选用来源广泛的互联网图像就可以完成复制。

3.COPYCAT CONVOLUTIONAL NEURAL NETWORK

（1）Fake Dataset Generation

为了训练一个网络，需要一个数据集，使用目标模型的数据集固然是好的，但是一般来说攻击者很难得到目标模型的数据集，为此可以用其他方法。

作者搭建Fake Dateset的方法是从互联网上下载一些无标签的图片，这些图片可以与问题相关，也可以与问题无关。然后作者再使用目标模型的查询功能，将模型的输出作为数据的标签。

互联网上下载的数据可以与问题相关，也可以不相关，然后再利用数据增强技术，以便更好地利用目标模型的空间维度。

（2）Copycat Network Training

训练模型的关键是首先要确定目标模型的结构，这个确定的方法，作者没有，只是固定为VGG-16的结构。

然后就是根据构建的数据集训练模型，调整模型的参数然后得到提到模型。

五、reference

[1] F. Tramer, F. Zhang, A. Juels, M. K. Reiter, and T. Ristenpart, “Stealing machine learning models via prediction apis.” in USENIX Security Symposium, 2016, pp. 601–618.

[2] Y. Shi, Y. Sagduyu, and A. Grushin, “How to steal a machine learning classififier with deep learning,” in IEEE International Symposium on Technologies for Homeland Security (HST). IEEE, 2017, pp. 1–5.

[3] N. Papernot, P. D. McDaniel, and I. J. Goodfellow, “Transferability in machine learning: from phenomena to black-box attacks using adversarial samples,” CoRR, vol. abs/1605.07277, 2016

[4]N. Papernot, P. McDaniel, I. Goodfellow, S. Jha, Z. B. Celik, and A. Swami, “Practical Black-Box Attacks Against Machine Learning,” in Proceedings of the 2017 ACM on Asia Conference on Computer and Communications Security. ACM, 2017, pp. 506–519.

Copycat CNN: Stealing Knowledge by Persuading Confession with Random Non-Labeled Data阅读心得相关推荐

CloudLeak: Large-Scale Deep Learning Models一种黑盒的攻击方法
background state of the art(已有的对比项) solution/contribution(系统还是算法贡献) evaluation conclusion/future wor ...
【论文总结】Prototype Rectification for Few-Shot Learning（附翻译）
Prototype Rectification for Few-Shot Learning 小样本学习的原型校正论文地址:https://arxiv.org/pdf/1911.10713v1.pdf ...
论文翻译: Relational Knowledge Distillation
Relational Knowledge Distillation 这是 CVPR 2019年的一篇文章的译文. 文章链接: Relational Knowledge Distillation 附上G ...
【论文翻译】Highlight Every Step: Knowledge Distillation via Collaborative Teaching
Highlight Every Step: Knowledge Distillation via Collaborative Teaching 强调每一步:通过协作教学提炼知识摘要 High sto ...
CNN tflearn处理mnist图像识别代码解说——conv_2d参数解释，整个网络的训练，主要就是为了学那个卷积核啊。...
官方参数解释: Convolution 2D tflearn.layers.conv.conv_2d (incoming, nb_filter, filter_size, strides=1, pad ...
Hinton's Dark Knowledge
On Thursday, October 2, 2014 Geoffrey Hinton gave a talk (slides, video) on what he calls "dark ...
使用GPU在caffe上进行CNN训练
1.配置caffe环境 [请参考此篇博客:http://blog.csdn.net/ws_20100/article/details/48850449] 本篇介绍如何在caffe环境下,实现" ...
深度学习（六）——CNN进化史
https://antkillerfarm.github.io/ CNN进化史计算机视觉 6大关键技术: 图像分类:根据图像的主要内容进行分类.数据集:MNIST, CIFAR, ImageNet ...
CNN训练模型花卉
一.CNN训练模型模型尺寸分析:卷积层全都采用了补0,所以经过卷积层长和宽不变,只有深度加深.池化层全都没有补0,所以经过池化层长和宽均减小,深度不变.http://download.tensorf ...
征稿 | Call for papers on Knowledge Graphs
Knowledge graph是Data Intelligence的核心主题和期刊特色之一.为持续展示这一领域的最新进展和前沿成果,Data Intelligence正在与国际学者一道策划两期Know ...

Copycat CNN: Stealing Knowledge by Persuading Confession with Random Non-Labeled Data阅读心得