前言

原文地址：https://arxiv.org/abs/1703.10593

这是一篇2017年发表在ICCV上的文章，主要是介绍了Cycle-GAN的以及其应用领域，在Cycle-GAN提出之前，作者团队开发了pix2pix的网络模型，如下图左边所示主要是对于像素级别一一配对形式下的图像迁移，但这种配对形的图像迁移有着很大的缺点，在现实中像素级别一一对应的图片太少，为了解决这个问题，如下图右边所示作者团队提出了Cycle-GAN，可以在非配对情况下进行图像风格迁移。

一、应用领域

Cycle-GAN如今最大的应用领域就是风格迁移，下图是论文中作者给出的一些应用案例，可以将油画转成照片，照片转为油画，也可以对固定目标进行风格迁移，将下图中的斑马变为野马，将野马变为斑马等，目前市面上的一些p图软件同样也是使用了Cycle-GAN的技术，比如拍照片可以直接转换为动漫，卡通人物。

二、 正文

1、Cycle-GAN网络模型

如下图是论文作者给出的Cycle-GAN网络模型，也是本文的核心内容。从图（a）中所示可以看出，论文使用了两个传统对抗生成网络，其中G,F都是生成器，Dx，Dy均为判别器，这里可以将X认为是输入的照片，Y可以认为是梵高画风的图片，第一个对抗生成网络，可以看做是将输入的图片传入G生成一个梵高画风的Y，再使用Dy进行判别和打分，第二个生成对抗网络可以看做将梵高画风的图片，传入F生成器，生成一个普通照片，再使用Dx进行判别和打分，
但是对于传统的生成对抗网络而言会产生模式崩溃的问题，就比如可能会输入一个图片，最后输出一个与原图毫无关联的梵高画风的图片，就会造成无论输入多少种X，最终都会生成同一张Y图片。
为了解决模式崩溃问题，作者又提出了cycle-consistency loss来解决这个问题，如(b)图所示相当于是将照片先放入G中生成一个Y再将Y放入F中生成一个x’，最后对于最终生成的x’和原始的x照片进行cycle-consistency loss的限制，通过这种方式，来确保最终的x’和最初的x差距不会太大，以避免模式崩溃的问题。

2、损失函数

如图公式(1)是Adversarial loss，也就是传统对抗生成网络的公式，其中的主要作用的是对于生成器和判别器进行训练和提升，提高生成图片的质量。

如图(2)是本文的作者提出的循环一致性损失函数，从F(G(x))可以看出，G(x)相当于是将x图片生成y，F(y)相当于将y再生成x’，并且对x’与x求L1范数，来进行约束，以保证生成器不会随便生成图片，从而解决了模式崩溃的问题。

如下图是整体使用的损失函数，分别是两个生成对抗损失和一个循环一致性损失函数。

3、案例对比

这是一张将语义标签转换为照片的一个效果对比图，作者通过对比了一下几种生成对抗网络，整体来看CycleGAN和pix2pix效果是最好的，前几种模型不是模式崩溃就是迁移失败。

这是一张将街景图片转为地图，再把地图转为街景图的一个效果对比图，作者也是通过对比了一下几种生成对抗网络，整体来看CycleGAN和pix2pix效果是最好的，前几种模型不是模式崩溃就是迁移失败。

这里是对于这几种对抗生成网络的成功率对比图，分别通过了AMT（图灵测试）的人工打分和FCN-scores（语义分割模型）的自动打分，来分别对下面几种模型进行了打分，整体来看还是Cycle-GAN效果比较好，在自动打分中作者加入了pix2pix模型，可以看出pix2pix是非常好了，对于Cycle-GAN效果提升了很多，这里引入pix2pix主要目标就是想给非配对风格迁移引入一个“上限”，想对比一下在非配对的情况下Cycle-GAN的效果究竟可以达到多少，其实看起来还是差距比较明显的。

作者团队还分别对Cycle-GAN中的每一个损失函数进行了测试，通过测试不同损失函数在进行不同任务时的准确率，综合来看还是Cycle-GAN效果最好。

4、Identity损失函数

下面的图像是将油画转换为风景的操作，但是从图中可以看出，如果不加入identity损失函数，会导致天气效果很差，Cycle-GAN不会去关心天气这种细节，从而导致了这种结果。

下面是文中给出的identity损失函数，就是对生成图片与原始图片进行了L1范数，通过这种方式，可以训练网络识别能力，从而来优化生成器网络，让这个模型了解原图的结构，使其生成的图片和原图更相似。

总结

一、创新点

这篇文章主要有两大创新点：
一、Cycle-GAN在Domain Adaptation领域使用比较广泛，能够在源域和目标域之间，无须建立训练数据间-对一的映射，就可实
现这种迁移。
二、提出了双判别器和双生成器的循环对抗生成模式，并且提出cycle-consistency loss来解决Cycle-GAN中的模式崩溃问题。

二、局限性

这张图是属于Cycle-GAN的失败案例，从图中可以看出，在苹果转换成橘子的时候，理论上橘子是没有那个苹果枝的，但是网络模型是不了解的，从这可以看出他的几点局限性：
1、不能理解高级语义。
2、只擅长处理纹理和颜色的变化。
3、不擅长处理三维信息和几何形状。

下图是普京在骑马，本来理想中是想将马转换成斑马，但是结果错误，人和马都变了颜色，仔细观看可以看到背景的石头和草都附上了斑马的条纹，这也是Cycle-GAN的局限性，可以总结为：
1、训练集分布问题，训练集中不包含人骑马的图片。
2、分不清前景和背景，因为在生成图中背景中的树木和石头改改变了颜色。

论文那些事儿：《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》相关推荐

1. 论文翻译：X2CT-GAN: Reconstructing CT from Biplanar X-Rays with Generative Adversarial Networks

   摘要  计算机断层扫描(CT)可以提供患者内部器官的3D视图,有助于疾病诊断,但它对患者的辐射剂量更大,而且CT扫描仪比x光机更昂贵.传统的CT重建方法需要通过对身体的全面旋转扫描进行数百次x射线投影 ...

2. CycleGAN：Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

   [论文]Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks [主页]https://juny ...

3. SCI论文从入门到精通——IEEE论文那些事儿

   要保研了,但是没有科研成果镀身 评国奖了,但是没有像样的成果加分 要毕业了,但是论文还远远未达标      忧愁!   导师不管,师兄不济,纵有深造之心,却难为无米之炊 天赋异禀,才智超群,然无仙人指 ...

4. Image-to-Image Translation with Conditional Adversarial Networks 论文翻译

   基于条件对抗网络的图像转换 源论文标题:Image-to-Image Translation with Conditional Adversarial Networks 源论文链接:https://p ...

5. pix2pix鼻祖——《Image-to-Image Translation with Conditional Adversarial Networks》论文解析

   今天要说的这篇论文,全名<Image-to-Image Translation with Conditional Adversarial Networks>,来自CVPR2017.这一篇可 ...

6. [论文笔记]：Image-to-Image Translation with Conditional Adversarial Networks

   Image-to-Image Translation with Conditional Adversarial Networks 论文翻译 摘要 1. 介绍 2. 相关工作 3. 方法 3.1 评估 ...

7. 论文解读 《Enhancing Underwater Imagery using Generative Adversarial Networks》ICRA2018

   项目:http://irvlab.cs.umn.edu/enhancing-underwater-imagery-using-gans 论文: https://arxiv.org/pdf/1801.0 ...

8. 论文翻译：2019_Bandwidth Extension On Raw Audio Via Generative Adversarial Networks

   论文地址:原始音频的带宽扩展通过生成对抗网络 博客作者:凌逆战 博客地址:https://www.cnblogs.com/LXP-Never/p/10661950.html 摘要 基于神经网络的方法最 ...

9. 《Image-to-Image Translation with Conditional Adversarial Networks》文章翻译

   图1 在图像处理,计算机图形.视觉中,将一幅图输入转换到另一张图输出的过程中存在很多问题.即使这里面的一些设置总是相同的,都是图像像素的映射,但这些问题通常使用特殊应用的算法.CAN似乎能很好的解决各 ...

最新文章

1. 给CVPR颁“金酸莓奖”，知乎网友热议最差论文，战火烧到Reddit论坛
2. c++ QT学习笔记
3. java自带的resize方法_java对图片进行压缩和resize缩放的方法
4. 静态存储区、堆和栈的区别
5. Leetcode-整数反转 C++
6. Star Schema完全参考手册读书笔记三
7. 用计算机弹奏体面6,抖音能用计算器按出音乐有哪些？计算器乐谱分享
8. 关于java mail 发邮件的问题总结（转）
9. python教材答案字典与集合_Python——集合与字典练习
10. pytorch 可复现性
11. 一道学吧上的题目，python3 - 解决高中的古典概率问题： 有A、B两个袋子。A袋中装有4个白球、2个黑球，B袋中装有3个白球、4个黑球。从A、B两个袋子中
12. uml图中实线箭头和虚线箭头的区别
13. GMT与UTC的区别
14. C51单片机 SIM900A 手机给门禁解锁 智能家居 【C程序代码已开源，更新至Ver4.0】...
15. 服务器文件怎么清理,文件传输服务器怎么清理内存
16. Linux PostgreSQL离线下载与安装
17. 早上空腹喝酸奶好吗?
18. Flask教程(十六)RESTful-API
19. 用C++做一个特小型恶意程序
20. matlab 单边频率谱,频谱图如何把双边谱改成单边谱？

热门文章

1. firefox的XPCOM的COM编程
2. OpenGL导入3DS专题
3. 中国流行歌手普遍缺乏科学的高音。
4. 为什么mac Safari提示:打不开该网页,因为无法与服务器建立安全的链接？
5. python绘制樱花洒落_Python：绘制樱花树
6. Win10如何批量修改文件名，实现向后加固定的数字，001.jpg——999.jpg
7. 毫米和像素怎么换算_图片的像素和毫米之间是怎么换算的有公式吗
8. 又一大佬加盟OpenAI！他还是姚班学霸陈立杰的导师
9. 日记侠：知识付费创富没赶上，看别人赚钱你急不急？
10. client elapsed: 0 ms, server elapsed: 1022 ms, timeout: 1000 ms,