Abstract

最近的研究表明，在无监督图像到图像转换方面取得了显著的成功。然而，由于数据的不平衡，学习各个领域的联合分布仍然具有很大的挑战性。尽管现有模型可以生成逼真的目标图像，但很难保持源图像的结构。另外，在多个领域的大数据上训练生成模型需要大量的时间和计算机资源。为了解决这些限制，我提出了一种新颖的图像到图像转换方法，该方法通过微调 stylegan2 预训练模型来生成目标域的图像。 stylegan2 模型适用于不平衡数据集上的无监督图像到图像翻译；它非常稳定，可以生成逼真的图像，甚至在使用简单的微调技术时可以从有限的数据中正确学习。因此，在这个项目中，我提出了新的方法来保留源图像的结构并在目标域中生成逼真的图像。

背景介绍等

本文通过finetune Stylegan2模型，完成图像到图像的翻译，为了使源图像和目标图像相似，例如制作成对图像，提出了两种方法：

（1）FreezeSG （冻结style向量和generator的初始blocks）。这个很简单，并且可以令目标图像遵循源图像的结构。

（2）Structure Loss（减小源generator和目标generator之间初始block的距离）。在这种loss训练下的模型加入层交换，效果也十分显著。

Method

Baseline : StyleGAN2-ADA + FreezeD

这种结构可以生成逼真的图像，但是它无法保持源域的结构。

Ours : FreezeSG (Freeze Style vector and Generator)

FreezeG 可以有效地保持源图像的结构。（冻结生成器的参数）

通过各种实验的结果，我发现除了生成器的初始层，样式向量的初始层对于保持结构也很重要。因此，我冻结了生成器和样式向量的低分辨率层。

上图是通过相加style vector不同层，得到的实验结果。在Stylegan2中，style vector为n * 18 * 512，上图可以发现保留4层后，源图的结构也能大致留下。所以这也是作者想要冻结style vector低分辨率层的原因。

Freeze Style vector and Generator

with Layer Swapping

应用 LS 时，FreezeSG 生成的图像与源图像的相似度高于使用 FreezeG 或Baseline（FreezeD + ADA）时的相似度。然而，由于固定了生成器的低分辨率层的权重，因此在低分辨率层上进行层交换时很难获得有意义的结果。

关于层交换，作者描述的不多，但是是借鉴于https://arxiv.org/abs/2010.05334这篇文章。原文中的介绍如下：

可以理解为，交换原generator和新generator低分辨率层的权重。（但目前存在的疑问在：如果通过其他pretrained模型进行fintune，冻结了低分辨率层，不也是相当于作了层交换…此处存疑）

Ours : Structure Loss

由于低分辨率层下优先确定图像结构，我将Structure Loss应用于低分辨率层的值，以便生成的图像与源域中的图像相似。 Structure Loss使得源生成器的 RGB 输出在训练期间被微调到与目标生成器的 RGB 输出具有相似的值。

Results

下面来看一看CartoonGAN生成的效果。

作者还描述了一些利用CartoonGAN做一些应用的表现，比如配合StyleCLIP做人脸编辑，又或者在样式混合阶段的表现，此处就不多描述了。

总结

该篇文章更像是作者的实验笔记，在实验过程中验证了记录下来的心得体会。

作者在前人的基础上，加入了冻结style vector的想法，试验效果良好
加入了structure loss，控制新generator生成的图像更贴近源generator生成的图像（更相似）
加入了Layer swap（合并其他的项目）

Cartoon-Stylegan2：快来将你的图片漫画风相关推荐

仿快图系统自带图片浏览器应用源码项目
仿快图系统自带图片浏览器应用源码,最近在做一个微博i动态模块,需要查看他人相册照片或者微博内容图片等.看到QQ空间那个效果不错,尝试了不少方法来实现,均不是怎么理想.最初是想通过自定义GroupVie ...
360快剪辑怎么更换水印图片 360快剪辑更换水印图片教程
2019独角兽企业重金招聘Python工程师标准>>> 360快剪辑是一款非常不错的视频剪辑处理软件,该款软件功能十分强大,不管是视频编辑小白还是老手,都能够轻松驾驭,其中的水印功能 ...
pb数据窗口显示图片_PowerPhotos帮助你再Mac系统上更好，更快的管理自己的图片...
PowerPhotos for Mac,一款专业的图片管理软件.这款软件能够让你直接浏览你的图片素材库,能够检测重复图片,能够让你快速删除多余的图片,从而帮助用户节省iCloud空间.同时,除了删除图 ...
Axure 点图片外区域即隐藏_学英语还可以这么有趣？快陪孩子一起找图片吧！（可打印）...
这是[软实力英语]分享的第931篇原创英语启蒙文章. 儿童学英语和成年人学英语,方法完全不同.儿童是在日常生活玩耍中,通过不断重复,自然掌握听说的.成年人大多是为了某一类考试,进行机械式地刻意训练,逐 ...
Axure 点图片外区域即隐藏_学英语还可以这么有趣？快陪孩子一起找图片吧！（可打印）|英语|英语启蒙|儿歌|图画|闪卡...
这是[软实力英语]分享的第931篇原创英语启蒙文章. 儿童学英语和成年人学英语,方法完全不同.儿童是在日常生活玩耍中,通过不断重复,自然掌握听说的.成年人大多是为了某一类考试,进行机械式地刻意训练,逐 ...
图片如何直接编辑？快来试试这款图片在线处理工具
作为一名新媒体工作者,在日常工作中经常需要做图片处理的工作,比如图片尺寸修改.压缩图片大小.图片编辑美化等等,那么出除了使用图片编辑软件之外,还有没有什么简单的方法可以快速编辑图片呢?今天就来给大家分 ...
电脑音频服务未运行怎么解决_电脑提示音频服务未运行怎么办，快来看看吧，图片描述(最多50字)...
我们使用电脑放歌的时候,会发现音频服务不能正常使用,还会出现音频服务未运行的提示,那这时候我们该怎么解决这个问题呢?小编就来告诉你们怎么解决音频服务未运行的问题. 小伙伴们要耐心的看下去哟~~ 首先, ...
html展示ppt模板效果,PPT大神亲测，PPT这样展示图片效果“perfect”!快来收藏吧
终于等到你了,我是爱踢汪.红米手机发布会,抢眼的不仅仅是最新款手机,还有发布会的PPT.发布会PPT图片展示技巧,文字的处理,配色等都堪称一绝.下面我们就来看一看发布会常用的图片展示技巧. PPT大神 ...
图片链接生成器软件_推荐10个小众但是黑科技十足的Windows软件
推荐10个小众但是黑科技十足的Windows软件,每一个都是十分好用. 1:电脑图像工具箱电脑图像工具箱是一款拥有70多个图片处理编辑功能的精品软件. 它支持图片微处理,动画制作,图像转换,图像浏览 ...

Cartoon-Stylegan2：快来将你的图片漫画风