新智元报道 

来源：arxiv

猫变狗、狗变虎、虎变豹，男人变女人，无缝切换是个什么神奇体验？

最近，一家名为Clova Research的机构的研究团队就像让用户体验一把这种神奇，他们提出的StarGAN v2图像转换模型能够实现这一点。

StarGAN v2：青出于蓝

同时解决多样性和扩展性

优秀的图像-图像转换模型需要学习不同视觉域之间的映射，要同时满足以下属性：1）生成图像的多样性和 2）在多个域上的可扩展性。现有方法一般只能解决这两个问题的其中一个，即要么对于所有域，其呈现的多样性有限，要么需要使用多个模型。

StarGAN v2可以同时解决这两个问题，在CelebAHQ面部和新的动物面部数据集（AFHQ）上进行的实验表明，StarGAN v2在图像质量、多样性和可扩展性方面较基线标准和过去的模型均实现了提升。为了更好地评估模型，还发布了AFHQ数据集，该数据集具有较大域间和域内差异的高质量动物面部图像。

考虑到每个图像域中的不同样式，理想的图像-图像转换应该能够合成图像。但是，设计和学习此类模型是很复杂的，因为数据集中可能涵盖大量图像模式和领域。

Github资源地址：

https://github.com/clovaai/stargan-v2

为了解决图片样式的多样性问题，过去的新方法向生成器加入了低维潜代码，从标准的高斯分布中随机采样。但是，由于这些方法仅考虑了两个域之间的映射，因此无法扩展到越来越多的域。例如，具有N个域，这些方法需要训练N（N-1）个生成器来处理每个域之间的转换，从而限制了它们的实际使用。

为了解决可扩展性问题，有研究提出了统一的框架。StarGAN 是最早的模型之一，它使用一个生成器来学习所有可用域之间的映射。生成器将域标签作为附加输入，并学习将图像转换为相应的域。但是，StarGAN仍然需要学习每个域的确定性映射，这可能无法获取数据分布的多模式性质。在给定源图像的情况下，它不可避免地在每个域中产生相同的输出。

StarGAN v2可以同时解决这两方面的问题，可以跨多个域生成不同的图像。该方法以StarGAN为基础，用特定域的样式代码替换原来的域标签，这些代码可以表示特定域的各种形式。StarGAN v2引入两个模块，一个映射网络和一个样式编码器。前者学习将随机高斯噪声转换为样式代码，后者学习从给定的参考图像中提取样式代码。

最后，利用这些样式代码，生成器会成功地在多个域上学习合成各种图像（图1）。StarGAN v2确实受益于新的样式代码的使用。与目前的SOTA方法相比，我们的方法可扩展到多个域，并且在视觉质量和多样性方面生成了性能更好的结果。

研究人员还提出了质量更高、变化范围更宽的动物面孔（AFHQ）新数据集，更好地评估域间和域内差异较大的图像-图像翻译模型的性能，并公布了数据集。

CelebA-HQ数据集和新收集的动物脸部（AFHQ）数据集上的各种图像合成结果。第一列显示输入图像，其余列是StarGAN v2合成的图像。

StarGAN v2由四个模块组成。

（a）生成器将输入图像转换为反映域特定样式代码的输出图像。

（b）映射网络将潜在代码转换为多个域的样式代码，其中一个是在训练期间随机选择的。

（c）样式编码器提取图像的样式代码，允许生成器执行参考引导的图像合成。

（d）判别器从多个域中区分真实图像和虚假图像。

CelebA-HQ数据集上各种配置的性能。Frechet初始距离（FID）表示真实图像和生成图像的两个分布之间的距离（越低越好），而学习到的感知图像斑块相似度（LPIPS）代表生成图像的多样性（越高越好）。

使用表1中的每种配置生成的图像的视觉比较。请注意，给定源图像，配置（A）-（C）提供单个输出，而（D）-（F）生成多个输出图像

潜在指导合成图片的定量比较。真实图像的FID由训练集和测试集之间计算。注意，由于测试图像的数量不足，它们可能不是最佳值。

CelebA-HQ和AFHQ数据集上潜指导图像合成结果的定性比较。每种方法都使用随机采样的潜在代码将源图像（最左侧列）转换为目标域。（a）前三行对应于后三行中将男性转换为女性，反之亦然。（b）从顶部开始的每两行按以下顺序显示合成图像：猫-狗，狗-野生动物、野生动物-猫。

目前作者只是在上面发布了论文的链接，还没有给出StarGAN v2的实现代码，手痒的小伙伴可以先来回顾一下用TensorFlow实现StarGAN代码，只需要1天时间即可训练完。

TensorFlow模型的实现

要求：

• Tensorflow 1.8

• Python 3.6

> python download.py celebA

下载数据集

> python download.py celebA

训练

• python main.py --phase train

测试

• python main.py --phase test

• celebA 测试图像和你想要的图像同时运行

预训练模型

• 下载 celebA_checkpoint

结果 (128x128, wgan-gp)

女性

男性

预训练权重：

https://drive.google.com/open?id=1ezwtU1O_rxgNXgJaHcAynVX8KjMt0Ua-

训练时间：少于 1 天

硬件：GTX 1080Ti

Github资源：

https://github.com/clovaai/stargan-v2

论文地址：

https://arxiv.org/pdf/1912.01865.pdf