Dreaming to distill(Deep Inversion, data free distill)

文章链接：https://arxiv.org/abs/1912.08795

CVPR2020上做data-free蒸馏的。
什么是Data-free=》就是没有数据，只能自己生成数据
一提到生成数据，就想到GAN：
输入噪声，过GAN生成数据，数据过Teacher得到结果，求损失来训练GAN，使得GAN能生成和原数据集分布一致的数据，然后就可以去训student了。

什么样的loss能使得GAN生成和原数据集分布一致的数据呢？经过观察发现：
（图像先验）
1、生成图的方差小
2、生成图的L2范数小

因此把方差和2范数作为损失
不过这样生成的数据虽然可能复合原数据集的分布，但不一定好看

比如从噪声生成右图的样子
为了约束图像使其更好看，在这篇文章中作者加入了对特征的监督
作者认为图像的特征的均值、方差应和原数据集的均值、方差一致，因此用原数据集的均值、方差监督噪声输入特征的均值、方差

原数据集的均值、方差都在BN层里存着的

因此最终的损失为图像先验损失与特征的均值、方差损失：

图像生成任务到这里就可以基本完成了

但是上面的方法存在一个问题，就是依靠均值、方差还原出的数据可能只占原始数据集较为集中的一部分，

其他的数据怎么获得呢？=》使生成数据均匀地分布在超球面上
假设已经用之前生成的数据训好了一个Student网络：

把它fix起来，再同时过Student与Teacher网络，使得两条流的logits分布差异越大越好，用这个loss来优化输入Noise（或者是GAN），就能得到在之前的分布之外的数据

把新生成的数据加入之前生成的数据，就又能训Student；以此类推，不断迭代

最终生成的图像说实话还是不太好看

e是加了student和teacher的loss之后的

而且这样还原的是原数据集中的一部分图片，不能知道还原的是哪张图片，所以也没有gt。如果能知道图片输入得到的梯度就好了，那就是下一篇：
deep leakage from Gradients

Dreaming to distill(Deep Inversion, data free distill)相关推荐

Deep tabular data learning
Contents Why do tree-based models still outperform deep learning on tabular data? Tabular Data (表格数据 ...
Denoising DNA deep sequencing data—high-throughput sequencing errors and their correction
去噪DNA深度测序数据,高通量测序误差及其校正 Abstract 描述常见高通量测序平台产生的错误并从技术人工制品中识别出真正的遗传变异是两个相互依赖的步骤,对许多分析如单核苷酸变异调用.单倍型推断. ...
蒸馏 (distill_Distill-BERT：使用BERT进行更智能的文本生成
蒸馏 (distill The field of natural language processing is now in the age of large scale pretrained mod ...
Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion
Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion 1. 论文信息论文标题 Dreaming to Distill ...
Deep Neural Networks are Easily Fooled High Confidence Predictions for Unrecognizable Images
Layer-Wise Data-Free CNN Compression 我们的无数据网络压缩方法从一个训练好的网络开始,创建一个具有相同体系结构的压缩网络.这种方法在概念上类似于知识蒸馏[23],即 ...
Comparison of Big Data OLAP DB : ClickHouse, Druid, and Pinot
In this post I want to compare ClickHouse, Druid, and Pinot, the three open source data stores that ...
深度学习样本生成data augmentation
在做深度学习图片分类的时候,很多是有些样本不足这个时候我们就会自己生成样本,如opencv对图片旋转,扭曲等等操作.google了一下deep learning data augmentation 发 ...
watch中的immediate、handler和deep属性
vue中的watch监听第一个handler:其值是一个回调函数.即监听到变化时应该执行的函数. 第二个是deep:其值是true或false:确认是否深入监听.(一般监听时是不能监听到对象属性值的 ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（7）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](7) Into the Weeds Other types of grap ...

Dreaming to distill(Deep Inversion, data free distill)

Dreaming to distill(Deep Inversion, data free distill)相关推荐

最新文章

热门文章