GAN学习历程之CycleGAN论文笔记
GAN目前发展的很快，成果也很多，从GAN->Pix2pix->CycleGAN
本来是准备看一篇19年一月份ICLR发表的conference paper INSTAGAN，发现这篇论文是在cycleGAN的基础上的改进，于是先阅读这篇论文。
CycleGAN
论文地址：https://arxiv.org/pdf/1703.10593.pdf
代码地址：https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
**Abstract**
背景介绍：
图片迁移的目标是使用成对的图片训练数据集来学习输入图片和输出图片之间的映射。
问题：
However,对于许多项目没有成对的训练数据集。
本文方法：
我们的目标是学习映射G: X→Y,使用对抗损失无法区分G(X)和Y的分布。所以我们又提出了成对的方向映射F:Y→X，并介绍了cycle consistency 损失来增强使得F(G(X))≈X。
改进：
1.Qualitatiue results
2.Quantitative results
**1.Introduction**
在这篇论文中，我们提出了一种方法，抓住一个数据集的特殊特征，并弄清楚这些特征如何转换到其他的图片数据集中,在成对训练集缺失的情况下。这个问题可以广泛地被称作图片迁移，可以转换图片到一个场景到另一个场景。
不禁思考：和Pix2pix的区别？
问题提出的过程：
**问题提出：**在计算机视觉中，图片处理等应用产生了图片成对出现的图片迁移系统。然而，获取成对的训练数据很困难。因此我们寻找一种在没有成对输入-输出例子的情况下可以在区域之间学习迁移的算法。
**想法提出的思考：**我们可以训练一个映射G: X→Y，因此输出,
。此时发现无法区分
。
**想法可能出现的问题：**
1.想法所提出的转换无法保证输入和输出的配对，许多映射G会产生相同的分布。
2.在实际的应用中，论文的提出者发现很难去优化对抗的目标。
**新的想法：**
一系列的问题要求我们添加更多的结构，因此我们利用转换必须是循环一致的特点。
数学的解释是：如果我们有一个转换器：G: X→Y，那么另一个转换器F:Y→X，并且G和F应该互为逆，并且两个映射应该为双射。注意!双射的概念。
我们同时训练G和F映射，并且添加循环一致损失，鼓励和
**2.Related work**
1.GAN
2.Image-to-Image Translation
3.Unpaired Image-to-Image Translation
4.Cycle Consistency
5.Neural Style Transfer
**3.Formulation**
我们的目标是基于所给训练例子其中
，
其中
,学习区域X和Y之间的映射。我们的模型包括两个映射G: X→Y和F: Y→X,其中有两个判别器
和
。目标主要包括了两部分：1.adversarial loss；2.cycle consistency loss：为避免所学习的映射G和F相互矛盾。
**3.1 Adversarial Loss**
所有的映射函数我们都使用对抗损失，对于映射函数G:X→Y，以及判别器，我们这样表达我们的公式
其中要达到的效果可以用公式表达为还有同样的映射函数F:Y→X
**3.2 Cycle Consistency Loss**
然而，有足够的能力，一个网络可以把同一数据集的输入图片映射为目标去区域的任意排列图片，使得输出分布符合目标分布。因此对抗损失不能保证所学习的函数映射一个输入到想要的输出
。所以我们提出了循环一致损失，数学公式可以表达为：
L1的距离
**3.3 Full Objective**
所有的损失之和表示为：
其中控制两个目标的相对重要性。我们主要解决：
**4. Implementation**
**Network Architecture**
生成网络：这个网络包括步长为2的卷积，Residual blocks？？？，两个步长为1/2的
判别网络：70*70 PatchGAN
**Training details**
我们使用两种技术来稳定我们的模型训练过程。
1.对于用最小二乘法替代负似然估计，这个损失在训练过程中更加稳定并且会产生更高质量的结果。和原公式的一个比较，会产生的结果，
训练G（生成器）使得最小化。并且训练D使得
2.为减少振荡，使用一个什么原则，并且更新判别器的使用历史生成图片，而不是最新生成器生成的。
对所有的实验，我们设置cycle loss的系数为10，我们使用Adam优化器设置batch size为1,所有网络的学习率为0.002。在前100次迭代我们保持同样的学习率，超过的100次迭代线性递减到零。
论文剩下的内容基本上都是关于，测试的过程和CycleCAN的应用。
本论文笔记写的很随意，主要是阅读论文的一个思路梳理。不够严谨，参考下面大神的理解，进一步对论文有了更加深刻的认识。
https://blog.csdn.net/qq_21190081/article/details/78807931
GAN学习历程之CycleGAN论文笔记相关推荐
- GAN学习历程之Semantic Image Synthesis with Spatially-Adaptive Normalizatio论文笔记
Semantic Image Synthesis with Spatially-Adaptive Normalization: 论文地址:https://arxiv.org/pdf/1903.0729 ...
- 深度学习与TensorFlow: VGG论文笔记
六月 北京 | 高性能计算之GPU CUDA培训 6月22-24日三天密集式学习 快速带你入门阅读全文> 正文共3220个字,11张图,预计阅读时间15分钟. 马毅老师曾说过:"如果 ...
- 综述：基于图学习的推荐系统；论文笔记
文章目录 摘要 1. 介绍 1.1 图如何表达推荐任务? 1.2 图学习对推荐系统有效吗? 1.3 基于图学习的推荐系统符号化(Formalization) 2. 数据特征和挑战 2.1 一般交互数据 ...
- 【深度学习】步态识别-论文笔记：（ICCV-2021）用于步态识别的3D局部卷积神经网络
这里写目录标题 论文详情 概述 达摩院视频讲解笔记 挑战 提出3D local CNN 3D local block 数据集 论文 摘要 1 介绍 2 主要贡献 3 方法 3.1 Formulatio ...
- Kite的学习历程之SpringCloud之Rest微服务构建之微服务提供者支付Moudle
Kite学习框架的第二十天 开始之前创建微服务Cloud整体聚合工程Project 步骤: 创建一个新的Maven工程 选择的骨架: 2.在设置中更改字符编码:修改为UTF-8 3.勾选注解生效 4. ...
- html5 webview,HTML5+学习历程之webview经典案例
看了这么多app,其实基本布局使用的最多的无非两种,如下图: 类似微信 类似QQ 在这里小编简单说下这两种布局简单的实现思路,当然如果你还有更好的方法,请在下面留言,让更多人知道你更好的方法! 第一种 ...
- Weakly Supervised Instance Segmentation using the Bounding Box Tightness Prior 论文笔记
Weakly Supervised Instance Segmentation using the Bounding Box Tightness Prior 论文笔记 一.摘要 二.引言 三.相关工作 ...
- GAN for NLP (论文笔记及解读
GAN 自从被提出以来,就广受大家的关注,尤其是在计算机视觉领域引起了很大的反响."深度解读:GAN模型及其在2016年度的进展"［1］一文对过去一年GAN的进展做了详细介绍,十分 ...
- Deep Learning论文笔记之（一）K-means特征学习
Deep Learning论文笔记之(一)K-means特征学习 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感 ...
最新文章
- tcp协议缓冲区溢出_关于TCP 粘包拆包，你了解吗？
- java 线程的几种状态
- 安装、启动、配置zookeeper（window版）
- 大厂面试必问！50w字+的Java技术类校招面试题汇总
- 1.图像作为函数 | 机器视觉介绍_1
- 蔚来、威马抢装的英伟达Orin，正成为高端智能车标配
- unicodedata模块
- 如何修改macOS文件的默认打开方式？
- ansys中使用模态叠加法进行谐响应分析与模态分析的关系
- 神策数据盛永根：微信生态——全数据采集和打通
- 利用Python爬虫爬取斗鱼直播间信息，以及直播的实际人数！
- 玩安卓从 0 到 1 之总体概览
- 【推荐】700套高端简历模板合集
- 无论你英语多差，只要想学，看了此文必有改变
- 机房空调系统集中控制节能降耗方案
- Java消息队列与JMS的诞生
- 算法复习——分治法重点问题
- K22中使用UART的IDLE Line功能
- LeetCode 1 Two Sum
- 京东店铺如何做好关联销售？