Transferring GANs: generating images from limited data 论文学习

Transferring GANs: generating images from limited data
2018ECCV

论文链接：https://arxiv.org/pdf/1805.01677.pdf

Abstract
探究预训练网络对GAN的影响相关的问题

1. Introduction
贡献：

1. 研究了域自适应，评估了几个模型

2. 研究了源域和目标域之间的关系如何影响结果，并讨论选择合适的预训练模型的问题

3. 评估从GANS转移到cGAN的两种常用的方法

2. Related Work
Transfer learning/domain transfer:

巴拉巴拉很多其他的研究，看不懂~

与这些方法相比，作者不关注于传递鉴别特征，而是传递用于图像生成的知识，就是关注生成图像的质量。

GAN cGAN相关

3. Generative Adversarial Networks
3.1 Loss functions

3.2 Evaluation Metrics
作者选用两种评估方法

Fr´echet Inception Distance：

Independent Wasserstein (IW) critic：

4. Transferring GAN representations
4.1 GAN adaptation
作者采用WGAN-GP的结构，说这是被实验证明是唯一稳定并且不遭受模式崩溃的架构~

该生成器由一个全连接的层、四个resnet块和一个卷积层组成，并且鉴别器具有相同的设置。相同的体系结构用于CGAN。

Implementation details：

生成64X64的图片，还介绍了下学习速率设置和批训练

4.2 Generator/discriminator transfer configuration
进行了四个实验

用ImageNet预训练G 和D（也就是转移），用LSUN bedrooms做目标数据

我们可以发现转移训练D效果比转移G更好。然后都转移效果最好，所以后续作者说都采用对G，D都转移

可以发现转移GAN迭代时间短，且质量更好。

4.3 Size of the target dataset
又进行实验

作者使用来自LSUN卧室数据集的1000张图像做目的数据集，并使用IMANET作为源数据集。请注意，一般来说，GAN 要使用全套300万幅LSun卧室来做生成。

好了，看看结果吧~

在这个实验中，我们发现根据预训练模型自适应的GAN需要少于大约两到五倍的图像，就可以获得与从头开始训练的GAN相似的分数

可以发现预训练网络可以在早期迭代中已经生成高质量的图像，特别是具有更清晰和更明确的形状和更逼真的精细细节。

4.4 Source and target domains
作者开始研究原域与目标域的选取对实验的影响，没错，又要开始实验了

原域：ImageNet和Places都覆盖了广阔的领域，对象和场景分别具有很大的多样性，而LSUN卧室和CelebA则覆盖了更窄的领域。

目标域：作者使用了更小的数据集，包括Oxford Flowers、LSUN Kitchens（2M图像中的50K的子集）、Label Faces（LFW）和CityScapes

看看效果图：

可以看出，各有千秋把~

4.5 Selecting the pretrained model
那么怎么选择预训练模型呢？

也许最简单的方法是比较原源和目标域之间的距离，如下

与表4比，大致一致，还是有点差别

然后作者得出结论：

源数据和目标真实数据之间的FID是粗糙的指标，而不是精确度量。实验小王子~~

4.6可视化适应过程

这个过程还是比较有意思，可以看到图片在慢慢的从原域转换到目标域

5.转移到条件GAN
5.1条件GAN适应
作者用AC-GAN的模型

损失函数为：

由甘到cGAN的两种方法：

1. Cond Concat：将条件标签和输入噪声连接作为输入

2. Cond BNorm：将条件标记插入生成器的批归一化层中（纳尼？！）在这种情况下，每个类都有不同的批处理归一化参数。我们通过复制从无条件的甘到所有类的值来初始化这些参数。

5.2结果

可以发现效果更好

还进行了和前面一样的尺寸实验：

6结论
1.从预训练模型中转移GAN效果比从0开始强，迭代的更快，质量更好，cGAN也是

2.结果还表明从窄而密集的数据集中传递知识更有效

（ps好吧，全篇都是实验~~~~这也行）
---------------------
作者：眉间细雪
来源：CSDN
原文： https://blog.csdn.net/weixin_42445501/article/details/82757437
版权声明：本文为博主原创文章，转载请附上博文链接！

Transferring GANs: generating images from limited data 论文学习相关推荐

【论文翻译】Transferring GANs: generating images from limited data
论文下载论文目录 Abstract. 1 Introduction 2 Related Work 3 Generative Adversarial Networks 3.1 Loss functio ...
论文笔记：Limited Data Rolling Bearing Fault Diagnosis With Few Shot Learning
论文:基于少样本学习的小样本滚动轴承故障诊断 Limited Data Rolling Bearing Fault Diagnosis With Few Shot Learning **摘要:**这篇 ...
Training generative adversarial networks with limited data.
Karras, Tero, et al.Training generative adversarial networks with limited data.(2020). 用有限的数据生成对抗式网络 ...
Limited Data Rolling Bearing Fault Diagnosis With Few-Shot Learning(基于小样本学习的有限数据滚动轴承故障诊断)
Limited Data Rolling Bearing Fault Diagnosis With Few-Shot Learning 基于小样本学习的有限数据滚动轴承故障诊断摘要这一篇文章主要研 ...
Removing Backdoor-Based Watermarks in Neural Networks with Limited Data
Removing Backdoor-Based Watermarks in NeuralNetworks with Limited Data 寒假疯玩,新学期回归!! 这篇Removing Backd ...
清华大学高阳：Mastering Atari Games with Limited Data
高阳,博士,清华大学交叉信息研究院助理教授.此前,他在美国加州大学伯克利分校获得博士学位,师从Trevor Darrell教授.他还在伯克利大学与Pieter Abbeel等人合作完成了博士后工作.高 ...
Federated Learning with Non-IID Data 论文笔记
本文提出联邦学习中的由于Non-IID数据分布而精度降低是因为权重分散(weight divergence),而权重散度可以用搬土距离(EMD)量化,最后提出了一种策略:通过创建一个在所有边缘设备 ...
【论文学习笔记】《An Overview of Voice Conversion and Its Challenges》
<An Overview of Voice Conversion and Its Challenges: From Statistical Modeling to Deep Learning&g ...
【论文学习】《A Survey on Neural Speech Synthesis》
<A Survey on Neural Speech Synthesis>论文学习文章目录 <A Survey on Neural Speech Synthesis>论文学习 ...

Transferring GANs: generating images from limited data 论文学习

Transferring GANs: generating images from limited data 论文学习相关推荐

最新文章

热门文章