生死看淡，不服就GAN

Conditional GAN的判别器基本上所有的文献都采用如下的结构，给定输入和条件，由判别器判断图片的真实性或者输入与条件是否匹配，即二选一或全都是。

个别几篇文献采用如下结构，输入X判断图片是真实的还是生成的，同时还能判断输入和条件是否匹配。
[Augustus Odena et al., ICML, 2017]
[Takeru Miyato, et al., ICLR, 2018]
[Han Zhang, et al., arXiv, 2017]

无监督的条件生成unsupervised conditional generation
两种方法，一种是直接生成，另一种是转化到相同的空间

https://arxiv.org/abs/1703.10593
https://junyanz.github.io/CycleGAN/
X域的图片经过生成器生成Y域图片后，由判别器判断是否属于Y域，但是存在一种情况就是生成器直接生成了一张本来就在Y域的图片，可能和原来的X域图片不相关。[Tomer Galanti, et al. ICLR, 2018]

Baseline of DTN [Yaniv Taigman, et al., ICLR, 2017]

[Jun-Yan Zhu, et al., ICCV, 2017]

训练生成器的方式

CycleGAN 可能存在着隐藏信息的问题[Casey Chu, et al., NIPS workshop, 2017] ，比如我们通过人眼不能观测出的灰度差，但是生成器自身可以知道。这样就失去了Cycle Consistency的意义了，本来我们是想输入和输出不要差太多，如果生成器很擅长藏信息，即使我们能解出来，但是输出和输入还是差距很大。
Disco GAN [Taeksoo Kim, et al., ICML, 2017] Dual GAN [Zili Yi, et al., ICCV, 2017]和Cycle GAN [Jun-Yan Zhu, et al., ICCV, 2017] 三个是一样的，没什么不同，基本上同时不同的人投递到不同的期刊上

StarGAN 一个Generator上实现多个domain上相互转换，不用去生成那么多的Generator [Yunjey Choi, arXiv, 2017]

转化到相同的空间的方法：

但是可能存在encoderX和encoderY输出的特征维度不匹配的情况，比如对于X来说第一维是性别，而Y对应的是肤色，那么经过encoderX和decoderY的就可能是一张非常奇怪的不是我们想要的结果。
解决方法就是让encoder的最后几层参数共享，decoder的前几层参数共享，这样可以认为输出的特征在相同的维度上表示相同的信息。
Couple GAN[Ming-Yu Liu, et al., NIPS, 2016]
UNIT[Ming-Yu Liu, et al., NIPS, 2017]

也可以加入Domain Discriminator判断是来自那个域的向量。最后无法分辨出来，就认为在相同的维度上代表同一类信息。最后加上Dx和DY是为了图像更清晰，因为只用VAE的图像是模糊的。[Guillaume Lample, et al., NIPS, 2017]

也可以用cycle consistency的思想

输入经过X的encoder和Y的decoder,再经过Y的encoder和X的decoder，使得生成的图像和输入图像的重构误差越小越好。同时用DiscriminatorX和Y判断是否是真实图像。[Asha Anoosheh, et al., arXiv, 017]
但是这种重构误差的比较多是像素级别上的，也可以是隐藏层语义上的差别
Used in DTN [Yaniv Taigman, et al., ICLR, 2017] and
XGAN [Amélie Royer, et al., arXiv, 2017]

输入图像经过X的encoder和Y的decoder再经过Y的encoder，使得输入图像的code和经过Y的encoder的code越接近越好。
• Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros, Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks, ICCV, 2017
• Zili Yi, Hao Zhang, Ping Tan, Minglun Gong, DualGAN: Unsupervised Dual Learning for Image-to-Image Translation, ICCV, 2017
• Tomer Galanti, Lior Wolf, Sagie Benaim, The Role of Minimal Complexity Functions in Unsupervised Learning of Semantic Mappings, ICLR, 2018
• Yaniv Taigman, Adam Polyak, Lior Wolf, Unsupervised Cross-Domain Image Generation, ICLR, 2017
• Asha Anoosheh, Eirikur Agustsson, Radu Timofte, Luc Van Gool, ComboGAN: Unrestrained Scalability for Image Domain Translation, arXiv, 2017
• Amélie Royer, Konstantinos Bousmalis, Stephan Gouws, Fred Bertsch, Inbar Mosseri, Forrester Cole, Kevin Murphy, XGAN: Unsupervised Image-to-Image Translation for Many-to-Many Mappings, arXiv, 2017
• Guillaume Lample, Neil Zeghidour, Nicolas Usunier, Antoine Bordes, Ludovic Denoyer, Marc’Aurelio Ranzato, Fader Networks: Manipulating Images by Sliding Attributes, NIPS, 2017
• Taeksoo Kim, Moonsu Cha, Hyunsoo Kim, Jung Kwon Lee, Jiwon Kim, Learning to Discover Cross-Domain Relations with Generative Adversarial Networks, ICML, 2017
• Ming-Yu Liu, Oncel Tuzel, “Coupled Generative Adversarial Networks”, NIPS, 2016
• Ming-Yu Liu, Thomas Breuel, Jan Kautz, Unsupervised Image-to-Image Translation Networks, NIPS, 2017
• Yunjey Choi, Minje Choi, Munyoung Kim, Jung-Woo Ha, Sunghun Kim, Jaegul Choo, StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation, arXiv, 2017

两个问题
Mode collapse 生成图片大多数都一样，真实数据概率分布比较分散，生成数据的概率分布比较集中
Mode dropping 每次迭代不一样，不能在最终的迭代结果里出现所有可能。

InfoGAN solve the problem of Mode collapse

VAE GAN
Anders Boesen, Lindbo Larsen, Søren Kaae Sønderby, Hugo Larochelle, Ole Winther, “Autoencoding beyond pixels using a learned similarity metric”, ICML. 2016
Autoencoding beyond pixels using a learned similarity metric (2015) [pdf]
Adversarial Autoencoders (2015) [pdf]

BiGAN

Triple GAN
Chongxuan Li, Kun Xu, Jun Zhu, Bo Zhang, “Triple Generative Adversarial Nets”, arXiv 2017

Domain-adversarial training
Hana Ajakan, Pascal Germain, Hugo Larochelle, François Laviolette, Mario Marchand, Domain-Adversarial Training of Neural Networks, JMLR, 2016

FIT: https://arxiv.org/pdf/1706.08500.pdf
Mario Lucic, Karol Kurach, Marcin Michalski, Sylvain Gelly, Olivier Bousquet, “Are GANs Created Equal? A Large-Scale Study”, arXiv, 2017

生死看淡，不服就GAN相关推荐

友商逼急雷急跳墙：生死看淡不服就干
友商逼急雷急跳墙:生死看淡不服就干短短一个小时的红米Note7手机产品发布会,雷军怼了友商8次:甚至在媒体群访环节,雷军也抑制不住愤怒之情,提到友商面色铁青,以至于有人说,这次发布会的雷军 ...
雷军推红米Redmi独立品牌喊话友商：生死看淡不服就干
雷帝网雷建平 1月10日报道小米今日在北京召开独立品牌红米Redmi发布会,并发布该品牌首款产品Redmi Note 7. 作为首款产品,Redmi Note 7坚持"死磕性价比&quo ...
生死看淡不服就干！雷军这次真的被逼急了
来源 | 网易科技作者 | 崔玉贤短短一个小时的红米Note7手机产品发布会,雷军怼了友商8次:甚至在媒体群访环节,雷军也抑制不住愤怒之情,提到友商面色铁青,以至于有人说,这次发布会的雷军不像&q ...
Redmi K40系列要做旗舰“焊门员”：生死看淡不服就焊
经过了一段时间的密集预热,根据此前官宣的消息,全新的Redmi K40系列旗舰将于2月25日也就是明天正式发布.而随着发布会进入最后的倒计时,Redmi官方的预热行动也进入了最后的冲刺阶段.近日Red ...
生死看淡，不服就GAN(六)----用DCGAN生成马的彩色图片
1. 首先我们需要的一组真实样本集来自cifar10,因此先制作一个读取cifar10的脚本. """ --------------------------------- ...
生死看淡，不服就GAN（五）----用DCGAN生成MNIST手写体
搭建DCGAN网络 #*************************************** 生死看淡,不服就GAN ************************************* ...
生死看淡，不服就GAN(八)----WGAN的改进版本WGAN-GP
WGAN-GP是针对WGAN的存在的问题提出来的,WGAN在真实的实验过程中依旧存在着训练困难.收敛速度慢的问题,相比较传统GAN在实验上提升不是很明显.WGAN-GP在文章中指出了WGAN存在问题 ...
生死看淡，不服就GAN（七）----用更稳定的生成模型WGAN生成cifar
WGAN提出Wasserstein距离取代原始GAN的JS散度衡量两分布之间距离,使模型更加稳定并消除了mode collapse问题.关于WGAN的介绍,建议参考以下博客: 令人拍案叫绝的Wasse ...
生死看淡，不服就GAN（四）---- 用全连层GAN生成MNIST手写体
搭建全连接GAN网络 #*************************************** 生死看淡,不服就GAN ************************************ ...
雷军的100亿计划：不服就干，生死看淡
图片来自小米官网整理 | 琥珀出品 | AI 科技大本营 1 月 10 日,红米品牌正式独立. 11 日,雷军在小米年会上宣布,2019 年,小米将正式启动"手机+AIoT"双 ...

生死看淡，不服就GAN

生死看淡，不服就GAN相关推荐

最新文章

热门文章