基于CycleGAN的图像风格转换

首先，对CycleGAN不了解的可以下载论文《Unpaired Image-to-Image Translation using Cycle-Consistent Adversial Network》，附上下载链接。

这里我们只对CycleGAN的特点以及训练时的感悟进行总结。

先上一张自己画的总体框架。

总体的流程：将图像分成X域和Y域，网络有两个过程，第一个是蓝线标示的前向过程，从X域真图像开始，经过一个生成器转换到Y域，再经过一个生成器回到X域；同理，由红色虚线标示的反向过程是图像从Y域出发，经过一个生成器转换到X域，再经过一个生成器回到Y域。每个生成器后都有一个判别器，来判断当前输入图像的真假。判别器使用PatchGAN。

循环一致性检验是加在X域真图像和X域假图像之间，还要Y域真图像和Y域假图像之间，计算L1 loss 来保证图像内容的不变性。如果不加循环一致性检验，在训练时很容易导致模式坍塌，这也是训练不成对图像的难点所在。

训练时对抗损失使用最小二乘损失，我在训练时，图像上采样过程使用亚像素卷积层代替反卷积，有利于消除棋盘效应。

对于L1 loss 我在训练中尝试使用过L2 loss 但发现loss曲线比较震荡，这里不推荐。

我用CycleGAN做了人脸超分辨还有手势图像转换，有兴趣的可以交流一下。

基于CycleGAN的图像风格转换相关推荐

基于paddlehub的图像风格转换
基于paddlehub的图像风格转换产生背景模型概述安装模型版本代码实现效果展示作为宝可梦迷,先展示一波最爱的皮卡丘玩图片嘛,少不了特朗普换个风格试试? 我们对风景图试试看效果吧~ 个 ...
基于深度学习的图像风格转换
距离上次写博客已经好久好久好久了,真是懈怠的生活节奏,整天混吃等死玩游戏,前些日子做毕业设计时总算又学了点新东西.学了一点深度学习和卷积神经网络的知识,附带着详细学习了一下前段时间我觉得比较有意思的图 ...
CVPR 2021 | 澳洲国立大学提出基于模型的图像风格迁移
©作者|侯云钟学校|澳洲国立大学博士生研究方向|计算机视觉本文从另外一个角度解读,澳洲国立大学郑良老师实验室 CVPR 2021 新工作.一般而言,我们需要同时利用两张图片完成图像的风格迁移(s ...
【图像风格转换】项目参考资料总结
实现图像风格转换.神经风格图像的一些资料和实现. 1.原理篇 A.A Neural Algorithm of Artistic Style,风格迁移开山之作实现,对将固定风格迁移到固定内容上: B.P ...
调用百度API实现图像风格转换
目录 1.作者介绍 2.基本概念 2.1 人工智能云服务与百度智能云 2.2 图像风格转换 3.调用百度API实现图像风格转换 3.1 配置百度智能云平台 3.2 环境配置 3.3 完整代码实现 3. ...
Pix2Pix——基于GAN的图像风格迁移模型
Pix2Pix--基于GAN的图像风格迁移模型写在前面本文是文献Image-to-image translation with conditional adversarial networks的笔 ...
PyTorch 1.0 中文官方教程：使用 PyTorch 进行图像风格转换
译者:bdqfork 作者: Alexis Jacq 简介本教程主要讲解如何实现由Leon A. Gatys,Alexander S. Ecker和Matthias Bethge提出的 Neural ...
(二)快速图像风格转换
快速图像风格迁移是在"原始"图像风格迁移基础上的一种"高效"转换方案. [github传送门]https://github.com/hzy46/fast-neu ...
计算机视觉系列-图像风格转换
计算机视觉系列-图像风格转换目录图像风格转换论文论文链接图像风格转换网络论文复现代码运行结果图像风格转换论文以不同的方式呈现图像的语义内容样式是图像处理中的一个难点.以前方法的限制因素 ...

基于CycleGAN的图像风格转换

基于CycleGAN的图像风格转换相关推荐

最新文章

热门文章