微信语音技术原理_干货 | 2 分钟论文：语音生成表情包背后的技术原理

雷锋网AI 科技评论出品系列短视频《 2 分钟论文》，带大家用碎片时间阅览前沿技术，了解 AI 领域的最新研究成果。

来源 / Two Minute Papers

翻译 / 郭维

校对 / 凡江

整理 / 雷锋字幕组

【本期论文】

AI Creates Facial Animation From Audio

由语音生成实时面部表情动画

雷锋网本期论文探讨的话题是 —— 由语音生成实时面部表情动画，也就是说，在对我们说的话进行语音记录后，通过某种学习算法，生成数字形象在说话的高质量动画。听起来是不是很酷呢？

实际上，这种学习算法是一种卷积神经网络。每个角色只需要进行三到五分钟的训练，便可以对真实世界的各种表达方式及语言形成某种概念。如果你认为，这没什么大不了的，实际上，这个算法在不断地优化过程中，变得越来越好。

接下来我们会聊到，背后主要有两个原因支撑这个算法的不断优化。

第一个原因就是，它不仅将音频作为输入，我们发现在说出这些话的时候，角色所处的情绪状态也得到了表达，从而变得栩栩如生，非常生动。

第二个原因，也是最棒的一部分，我们可以将此与 DeepMind WaveNet 相结合，通过文字输入合成音频。因此，它基本可以合成一个真人语音，并且将我们写下的任何东西，毫无障碍地讲出来。听起来似乎我们可以同时应用剪辑与这项技术，使得数字形象说出我们写下的内容。

那么通过 WaveNet 我们是否可以将文字转化成语言，并将语音加到真实角色上去呢？这样一来，我们找到了一种通过学习，为我们方便地提供服务，甚至不再需要任何画外音演员，也不再需要为动画进行动作捕捉，实在是太棒了。

雷锋网(公众号：雷锋网)提醒在该篇论文中，尤其需要注意的是，作者提到的用于确保结果长期正确运行的三向损失函数。当然了，在研究中我们必须证明成绩是在不断提高的。在补充视频中，我们做了很多对比来完成此项内容，但是我们需要的，不仅仅是这些。

由于这些结果无法归结为我们需要证明的数学定理，我们不得不采取其他方式来完成这件事。最终的目标是，普通人认为这些视频是真实视频的几率，要比用原先技术生成的视频的大。这是该篇论文中提出的用户学习的核心理念。

我们找来一群人，在他们不知情的情况下，给他们观看新老技术所生成的视频，然后问他们觉得哪个更加自然，结果相去甚远。新技术不仅整体上有优势，在某个单项中，不论是场景还是语言上无不胜出，这在研究中是很罕见的。

一般来说，在一个成熟领域，新技术只是进行了不同的取舍。一个经典的例子就是——执行时间的减少伴随着内存消耗成本的提高。然而在本篇论文中，它在各方面都体现了出了优势，让人惊叹。

雷锋网原创文章，未经授权禁止转载。详情见转载须知。

微信语音技术原理_干货 | 2 分钟论文：语音生成表情包背后的技术原理相关推荐

微信表情包储服务器,微信新功能！不用存图就能发出海量表情包
原标题:微信新功能!不用存图就能发出海量表情包不知道大家有没有注意到,就在前几天,微信突然更新了版本,然而在版本更新之后,似乎并没有什么重大的功能增加,但是通过狂丸仔细的寻找还是发现了,更新后的微信 ...
asr语音转写_语音识别（ASR）--语音转文字
语音识别(Automatic Speech Recognition)是以语音为研究对象,通过语音信号处理和模式识别让机器自动识别和理解人类口述的语.语音识别技术就是让机器通过识别和理解过程把语音信号转 ...
java秃头表情包_最怕空气突然的安静表情包 - 最怕空气突然的安静微信表情包 - 最怕空气突然的安静QQ表情包 - 发表情 fabiaoqing.com...
最怕空气突然安静最怕大乔突然关心_最怕_大乔_突然_安静_关心表情突然登场 - 最怕空气突然的安静 _突然表情突然抱紧 - 最怕空气突然的安静 _突然表情突然兴奋 - 最怕空气突然的安静 ...
matlab语音去除白噪声_基于的MATLAB的语音加噪去噪处理
龙源期刊网 http://www.qikan.com.cn 基于的 MATLAB 的语音加噪去噪处理作者:张大林何威李瑶瑶来源:<中国科技博览> 2019 年第 01 期 [ 摘 ...
java斗图表情_程序员之间的斗图表情包, java真的输惨了!
表情包成了人与人聊天中不可少的分量,陌生人聊天表情包丢出去妥妥的拉近关系变熟络啊(¬_¬) 而且可以用表情包化解尴尬.缓解气氛,可以没话找话.忙的时候也可以当做结束语,显得比较有礼貌! 对于沉默寡言. ...
【Midjourney教程】设计麻瓜也能10分钟上架一套表情包
前言- 一天一个AI应用小妙招,今天只需要10分钟,就算你是设计麻瓜,也能用midjourney快速做出一套微信表情包,上架使用- 话不多说,下方成果图,小编先干为敬! Part 1 微信表情包的要求 ...
微信iOS7.0.9更新！除了朋友圈可以评论表情包，还有这些你可能不知道的功能！
微信又㕛叒叕更新了~这次是iOS更新~ 本次更新版本号为7.0.9,官方更新日志只是简单提及"发消息时,可引用之前的内容",并未说明其他的更新! 接下来,我们一起看看有哪些重大更新 ...
python你已经是个成熟的软件了_支付宝改自己还花呗表情包_你已经是个成熟的软件系列表情包大全_游戏吧...
最近很多你已经是个成熟的什么,该学会自己什么非常的火,很多玩家都想要这些表情包.下面游戏吧小编就为各位玩家带来了你已经是个成熟的软件系列表情包大全,快来看看吧. 你已经是个成熟的软件系列表情包大全保 ...
python做动态表情包下载_用 Python 开发一个【GIF表情包制作神器】
之前小帅b写过这样一篇教程然后,好多人表示:虽然存了很多表情包但似乎还不是很过瘾因为它不可以自己来定制我们可不可以根据一些表情素材然后自己制作专属表情包呢像这样本来小帅b想自己实现一个表情包制作器后 ...

微信语音技术原理_干货 | 2 分钟论文：语音生成表情包背后的技术原理

微信语音技术原理_干货 | 2 分钟论文：语音生成表情包背后的技术原理相关推荐

最新文章

热门文章