cyclegan:unpaired image-to-image translation using cycle-consistent adversarial network

CycleGAN论文的阅读与翻译，无监督风格迁移 - 知乎2018-10-10 初版，论文不短，请自行选择重要的部分阅读 2018-11-02 与评论区的讨论 2018-11-25 语法错误小修改 2019-08-14 评论区回复，无监督风格迁移的其他进展 2019-08-26 按评论区的建议对论文的翻译进行修改 …https://zhuanlan.zhihu.com/p/45394148cyclegan的核心在unpaired image，如果是pair数据的话，直接用pix2pix即可，但是非成对数据用cyclegan，cyclegan和biggan一样，文章比较好懂。cyclegan的核心在从X到Y，两个域之间的迁移的映射空间是很大的，作者对映射空间用cycle consistent loss做了约束，直观就是对X通过G生成的Y的分布再通过F转回来，用l1 loss进行监督，Y侧的损失也一样，通常cyclegan有四个损失，两个gan的，两个cycle loss。

1.abstract:

提出了一种在没有配对示例的情况下学习将图像从源域X到目标域Y的方法，学习一种映射G：X->Y，来自G(x)的图像分布与分布Y没有区别，因为映射是highly under-constrained，用一个拟映射F：Y->X，并且引入了cycle consistency loss强制F(G(X))==Y。

2.Introduction

我们寻求一种无需配对输入输出示例即可学习域之间进行转换的算法，我们假设域之间存在一些潜在的关系，例如它们是在同一场景下两种不同的渲染，我们试图学习这种关系。理论上，G（x）学到的y的分布是要匹配先验分布Y的，通常这要求G是随机的，然而，这样的转换并不能保证单个输入x和输出以有意义的方式配对，有无限多的映射G将在y上产生相同的分布，因此会产生模式崩溃。这里x从传统Gan的角度出发是相同的分布，从pix2pix的角度出发是成对数据的不同分布。

我们提出了cycle consistent，如果将一个句子从英语翻译成法语，应该也可以从法语返回英语，从数学上，G和F应该互逆，并且两个映射都应该是双射。同时训练G和F，并添加cycle consistency loss确保F(G(x))=x和G(F(y))=y。将这种损失和对框损失相结合，就可以实现未配对图像到图像转换的目标。

2.related work

Gans、image-to-image translation、unpaired image-to-image translation、cycle consistency、neural style transfer

3.formulation

上面这张图是文本的核心，图a是架构，G和F是双射，除了正常的GAN的生成器和判别器之外，此处X同城生成器变成Y的分布，再通过生成器F将Y映射回X，映射回X的分布和原始的输入x通过cycle consistency loss来保持一致，y域的图也是如此，这里注意输入是不成对的两个域的图，cycle consistency loss也是在原有基础上添加的两个损失，应该理论上讲gan有四个损失函数，判别器和生成器各一个，两个域的cycle loss，有些场景还会多两个id loss。这块还是比较精妙的，按照Gan的思路，从X到Y的迁移，X大多是高斯分布或者均匀分布，生成一个Y的分布，但是cyclegan中是一个潜在关系的学习，因此光从X到Y的学习会促使X直接转成Y而不保留X的性质，因此保留了cycle loss这种学习双射的能力。

3.1 Adversarial loss

3.2 cycle consistence loss

从X到Y的的映射空间要进行约束，通过前后向循环一致性来控制映射空间。

3.3 full objective

这块作者还做了个实验，理论上将其实有个前向循环损失应该就够了，但是仅在一个方向进行循环损失，不足以约束这个空间。

其中在application中还提及的idt loss，我看mm官方中把有id loss和不加id loss都计算上了，id loss，防止input和output之间的color composition过多，避免过多迁移。

4.Implementation

后面是作者的实现细节和实验部分，就不再赘述，主要还是要理解Gan的核心思想。

cyclegan:unpaired image-to-image translation using cycle-consistent adversarial network相关推荐

论文笔记：CycleMorph: Cycle Consistent UnsupervisedDeformable Image Registration
CycleMorph: Cycle Consistent Unsupervised Deformable Image Registration 针对本篇论文个人总结: 文章最重要的点在于施加循环一致性 ...
【论文学习】UPHDR-GAN: Generative Adversarial Network forHigh Dynamic Range Imaging with Unpaired Data
UPHDR-GAN:基于非配对数据的高动态范围成像生成对抗网络摘要 introduction 主要贡献 proposed method 网络框图网络详介 1.输入 2.生成器输出 3.生成器 4. ...
【万物皆可 GAN】CycleGAN 原理详解
[万物皆可 GAN]CycleGAN 原理详解概述 CycleGAN 可以做什么图片转换图片修复换脸 CycleGAN 网络结构 CycleGAN 损失函数概述 CycleGAN (Cycl ...
Cycle GAN（复现）---笔记
因为目前的课题了解到了Cycle GAN,所以最近去学习了相关的一些知识. 目前网上绝大多数的代码都是https://github.com/junyanz/pytorch-CycleGAN-and-p ...
【论文学习笔记】《An Overview of Voice Conversion and Its Challenges》
<An Overview of Voice Conversion and Its Challenges: From Statistical Modeling to Deep Learning&g ...
【今日CV 计算机视觉论文速览第115期】Fri, 10 May 2019
今日CS.CV 计算机视觉论文速览 Fri, 10 May 2019 Totally 57 papers ?上期速览✈更多精彩请移步主页 Interesting: ?****手持设备多帧超分辨, 手机 ...
python语言的优缺点论文_GAN 论文大汇总
作者:chen_h 微信号 & QQ:862251340 微信公众号:coderpai 简书地址:https://www.jianshu.com/p/b7f... 关于生成对抗网络(GAN)的 ...
rgb 光谱转换_使用深度学习将RGB图像转换为高光谱
rgb 光谱转换 Finding an applicable cost-effective way to convert and use hyperspectral images. 寻找一种适用的具 ...
CVPR2019领域自适应/语义分割：Adapting Structural Information across Domains for Boosting Sema适应结构信息跨领域促进语义分割
CVPR2019 All about Structure: Adapting Structural Information across Domains for Boosting Semantic S ...

cyclegan:unpaired image-to-image translation using cycle-consistent adversarial network

cyclegan:unpaired image-to-image translation using cycle-consistent adversarial network相关推荐

最新文章

热门文章