点击上方“机器学习与生成对抗网络”，关注"星标"

获取有趣、好玩的前沿干货！

  新智元报道  

来源：外媒  编辑：Q

【新智元导读】近日，来自 Amazon One 的研究人员提出了一个训练 GAN 的框架，可以对生成的图像进行显式控制。该框架能够通过设置确切的属性（例如年龄，姿势，表情等）来控制生成的图像。

Amazon One团队最近提出了一个可以对生成的图像进行显式属性控制的GAN训练框架，能够通过设置确切的属性来控制生成的图像，如年龄、姿势、表情等。

这篇论文目前已经发布在arxiv上，并且在Google网盘中有相应的补充说明。

目前大多数编辑GAN生成的图像的方法都是通过利用隐空间解构属性来实现部分控制，这些属性是在标准GAN训练后隐式获得的。这种方法能够改变某些属性的相对强度，但不能显式地设置它们的值。

而最近提出的方法，是为显式的准确控制人脸属性而设计的，利用可变形的3D人脸模型来实现GAN中的细粒度控制能力。

与以往方法不同的是，这种控制不受限于可变形的三维人脸模型参数，并且可以扩展到人脸领域之外。

使用对比学习，获得了具有明确分解隐空间的GAN。这种分解被用来训练控制编码器，将人类可解释的输入映射到合适的隐向量，从而允许显式的控制。

在人脸领域，研究人员展示了对身份、年龄、姿势、表情、头发颜色和照明的控制，还演示了我们的框架在画像和狗图像生成领域的控制能力，证明了新的方法在质量和数量上都达到了SOTA。

在第一阶段，构建每一个batch的每个属性都有一对隐向量，共享一个相应的子向量。 除了对抗性损失外，该批图像中的每张图像都会以对比的方式，逐个属性地与其他所有图像进行比较，并考虑到它的子向量是相同还是不同。

在第二阶段，编码器被训练成将可解释的参数映射到合适的隐向量。

在推理阶段，是通过将第k个编码器输入设置为所需值，实现对属性k的显式控制。

对光线、角度和表情的显式控制效果：

研究人员使用了ArcFace提取生成图像的嵌入向量，具体做法是生成10K个共享ID属性的图像对和具有不同的姿势、照明和表情属性的图像。

对发色和年龄的控制效果：

为了验证模型确实对输出有明确的控制，研究人员进行了控制精度的比较。从FFHQ中随机选取10K张图像，并对其属性进行预测，以产生一个在真实图像中出现的可行属性池。

还可以实现在保持其他属性不变的情况下，改变绘画的艺术风格：

对于喜欢养宠物的人来说，也可以显式控制生成的狗狗图像的一些属性：

同时，不只可以改变一个属性，还可以同时控制多个属性值：

通过测试Amazon One的可控GAN模型，本以为现在的美颜工具已经十分好用了，看来未来还会有更加惊艳的功能可以期待。

参考链接：

https://alonshoshan10.github.io/gan_control/

论文地址：

https://arxiv.org/pdf/2101.02477.pdf

公众号近期荐读：

• GAN整整6年了！是时候要来捋捋了！

• 语义金字塔式-图像生成：一种使用分类模型特征的方法

• 【无中生有的AI】关于deepfake的种类、危害、基础实现技术和挑战

• 新手指南综述 | GAN模型太多，不知道选哪儿个？

• 数百篇GAN论文已下载好！配一份生成对抗网络最新综述！

• 图卷积网络GCN的理解与介绍

• 【CapsulesNet的解析】了解一下胶囊网络？

• 【综述笔记】一些弱监督语义分割论文

• 人脸生成新SOTA？它还是GAN。

• 结合GAN的零次学习（zero-shot learning）

• GAN的图像修复：多样化补全

• CVPR2020之MSG-GAN：简单有效的SOTA

• CVPR2020之姿势变换GAN：图像里谁都会劈叉？

• CVPR2020之多码先验GAN：预训练模型如何使用？

• 两幅图像！这样能训练好GAN做图像转换吗？

• 单图训GAN！如何改进SinGAN？

• 有点夸张、有点扭曲！速览这些GAN如何夸张漫画化人脸！

• 见微知细之超分辨率GAN！附70多篇论文下载！

• 天降斯雨，于我却无！GAN用于去雨如何？

• 脸部转正！GAN能否让侧颜杀手、小猪佩奇真容无处遁形？

• 容颜渐失！GAN来预测？

• 强数据所难！SSL（半监督学习）结合GAN如何？

• 弱水三千，只取你标！AL（主动学习）结合GAN如何？

• 异常检测，GAN如何gan ?

• 虚拟换衣！速览这几篇最新论文咋做的！

• 脸部妆容迁移！速览几篇用GAN来做的论文

• 【1】GAN在医学图像上的生成，今如何？

• 01-GAN公式简明原理之铁甲小宝篇

GAN&CV交流群，无论小白还是大佬，诚挚邀您加入！

一起讨论交流！长按备注【进群】加入：

更多分享、长按关注本公众号：