卡成PPT不开心？GAN也能生成流畅的连续表情了 |ECCV Oral

鬼畜栗发自凹非寺
量子位出品 | 公众号 QbitAI
用生成对抗网络 (GAN) 制造表情，本不是什么新玩法。

△PPT表情包举栗
不过，从前的GAN只会生成一些互无关联的表情。这样，即便做成动图，也拥有浓厚的PPT风韵。

它们的表情包技能，是不完整的。

GANimation可不一样，能给图像里的人类，生成连续变化的表情，让他们身不由己地动起来。

听名字也能感受到，新选手的动画属性。于是，在下把这一串进行中的围笑，做成了动图。

△ 笑一秒
生动的假笑，是在完全无监督的环境里炼成的，不需要变化前与变化后这样成对的数据来训练。

GANimation入选了ECCV 2018的Oral环节。评审里面，肯定有一小撮心系Gif事业的人类。

表情的渐变
那么，来看一下GANimation是如何让面部表情，发生连续变化的。

首先，观察神经网络结构，这里当然要包含一个生成模型 (G) 和一个判别模型 (D) 。

生成模块是双向工作的，既可以给输入的图像，做出想要的表情，也可以从做好的表情出发，回到输入的样子。

所以，把动图做成双向播放，不只是为了顺滑的效果哟。

△ 机智的我
然后，重点来了。

能让表情发生变化的，是一些名为动作单元 (Action Unit, AU) 的东西。它来自前人发明的面部动作编码系统(FACS)。

△ 不同的AU，负责不同的肌群
每个AU各司其职，比如AU25 (右二) 可以让人开口闭口，AU45 (右一) 决定睁眼闭眼。

如此一来，不同情感的表达，动用的AU也不同。比如，一个面无表情的少女变得恐惧，调动的是AU1、2、4、5、7、20和26这七个。

如果要连续变化呢？有个参数叫α，负责调节AU的激活程度，只要一点一点激活，表情就会不知不觉地改变了。

所有AU，都可以从0开始逐渐激活到1，0表示不变，1表示变动最大。

还以恐惧的少女为栗，从有点吓到慢慢变成吓得不轻，就是那七个AU的激活程度在慢慢变化。

单独调vs同时调
再来看一次这张图，这是每个AU单独调节的效果。

而上文出现过 (除喵之外) 的动图，还有即将出现的两幅动图，都是同时调节多个AU，生成的动态表情。

两种操作相比，后者难度更大，按照论文作者的说法，是“挑战模型的极限”。

不过，团队依然对GANimation的训练成果表示满意。毕竟，用人类照片喂养的AI，连阿凡达都不怕。

与人类脸部相异只是其一。除此之外，改变面部表情的操作，对阴影渲染的要求很高，而阿凡达又处在非自然的光照条件之下，难度升级。

考验叠加的情形之下，GANimation依然表现稳定，实属不易。

△ 被夸到害羞
研究人员说，复杂情况下不乱阵脚，依靠的是注意力机制 (Attention Mechanism) ，即每个AU有不同的职责。

以上就是连续表情的生成。那么，为动图而生的AI，在不连续的任务里表现如何？

其实，上文出镜的恐惧少女，是GANimation同许多对手比赛的一个片段，比赛内容便是生成互不相干的表情。

它最强的对手，是一路璀璨的StarGAN。不过……

StarGAN生成的表情，跟原图相比，清晰度的损失比较大。

而GANimation生成的少女，大多是相对清晰的少女。

可能StarGAN的作品，与原图更像同一个人，但在相似度和分辨率之间，GANimation也算找到了一种比较理想的取舍。不分胜负。

△ 已为您生成：离散的夜王
其他选手，不论看分辨率还是相似度，都基本属于陪练了。

颜艺是百年大计
当然，GANimation也是有局限性的。

比如，输入图像的表情比较极端的时候，注意力机制的权重分配会出现一些问题，然后发生上图的惨状。

不过，路还长。再说，极端表情本身已经是表情包了嘛。

最后介绍一下，论文作者来自加泰罗尼亚理工大学，以及俄亥俄州立大学哥伦布分校。

ECCV Oral论文传送门：
https://arxiv.org/pdf/1807.09251.pdf

开源代码：
https://github.com/albertpumarola/GANimation

△大家来找茬

— 完 —

加入社群

量子位AI社群18群开始招募啦，欢迎对AI感兴趣的同学，加小助手微信qbitbot8入群；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进群请加小助手微信号qbitbot8，并务必备注相应群的关键词~通过审核后我们将邀请进群。（专业群审核较严，敬请谅解）

实习生招聘

量子位正在招募活动运营实习生，策划执行AI明星公司CEO、高管等参与的线上/线下活动，有机会与AI行业大牛直接交流。工作地点在北京中关村。简历欢迎投递到quxin@qbitai.com
---------------------
作者：量子位
来源：CSDN
原文：https://blog.csdn.net/yH0VLDe8VG8ep9VGe/article/details/81277581
版权声明：本文为博主原创文章，转载请附上博文链接！

卡成PPT不开心？GAN也能生成流畅的连续表情了 |ECCV Oral · 代码相关推荐

高通CVPR神研究：视频处理计算量降低78%，教卷积层自己“挑像素”，卡成PPT的视频纵享丝滑...
萧箫发自凹非寺量子位报道 | 公众号 QbitAI 图像领域,已经限制不住AI算法大牛们的身手了. 现在,随着视频产业火热发展,相关算法也正成为计算机视觉研究的新潮流. 毕竟日常生活中,无论是 ...
Excel卡顿滞后，卡成PPT
答主用Excel打开的表格文件都很卡顿,而其他页面均无卡顿,简直就是播放PPT,非常影响工作.在不断探索中发现,是Excel开启了硬件图形加速,而本人使用的联想小新Pro16有独立显卡,因此推断是显卡 ...
强化学习（二）--让你轻松玩转生成对抗网络（GAN）与生成对抗模仿学习（GAIL）
GAN的基本结构 GAN的主要结构包括一个生成器G(Generator)和一个判别器D(Discriminator) GAN 充分利用"对抗过程"训练两个神经网络,这两个网络会互相 ...
详细解读Ian Goodfellow ICCV2017演讲PPT《解读GAN的原理与应用》
详细解读Ian Goodfellow ICCV2017演讲PPT<解读GAN的原理与应用> 转自: @TOChttps://blog.csdn.net/qq_40667584/articl ...
苹果a10处理器_iPhone运行安卓系统卡成翔，苹果A系处理器彻底跌落神坛！
使用iPhone的很多果粉都是有一种莫名的优越感,认为iPhone就是比安卓手机要牛X得多,这种牛X并不光光是品牌价值上的,更多则是在体验方面的,iPhone在日常流畅度,运行大型游戏的帧率和稳定性上 ...
如何在线将pdf转换成ppt格式
我们知道pdf文件非常的安全,但它不易编辑的安全性也给大家带来了一定的困扰,想要更方便的使用pdf文件,转换pdf文件的技能你一定需要掌握,当我们遇到了pdf转换成ppt格式的时候我们该怎么办呢? 今 ...
linux df -h卡成狗
今天遇到一个很奇怪的问题,在一台linux执行df -h查看磁盘使用情况,发现卡成狗,于是着手去解决: 1.通过strace df -h追踪是卡在什么位置 [root@new_web ~]# stra ...
android开发将h5转换成pdf_一键将PDF转换成PPT，秒懂！
PDF因能良好的兼容各操作系统和软件版本的差异性,使得PDF文档在查阅播放的时候不影响排版变化,很多时候,我们因为工作上的需要,经常需要再次将PDF转换成PPT,那么怎样将PDF转换成PPT呢?需要下 ...
a12处理器怎么样_iPhone运行安卓系统卡成翔，苹果A系处理器彻底跌落神坛！
使用iPhone的很多果粉都是有一种莫名的优越感,认为iPhone就是比安卓手机要牛X得多,这种牛X并不光光是品牌价值上的,更多则是在体验方面的,iPhone在日常流畅度,运行大型游戏的帧率和稳定性上 ...

卡成PPT不开心？GAN也能生成流畅的连续表情了 |ECCV Oral · 代码

卡成PPT不开心？GAN也能生成流畅的连续表情了 |ECCV Oral · 代码相关推荐

最新文章

热门文章