Face2Face: Real-time Face Capture and Reenactment of RGB Videos 论文翻译

Face2Face：RGB视频的实时人脸捕获和重现

源论文标题：Face2Face: Real-time Face Capture and Reenactment of RGB Videos

源论文地址：http://www.graphics.stanford.edu/~niessner/papers/2016/1facetoface/thies2016face.pdf

[摘要]

我们提出了一种用于单目标视频序列（例如，Youtube视频）的实时面部重建的新颖方法。源序列也是单目视频流，用摄像头捕获。我们的目标是通过源角色为目标视频的面部表情动画化，并以逼真的方式重新渲染被操纵的输出视频。为此，我们首先通过“非刚性模型的捆绑”的方法，来解决视频中面部特征恢复的受限制问题。在软件运行时，我们使用密集的光度一致性度量（Dense Photometric Consistency measure）来跟踪源视频和目标视频的面部表情，然后通过源和目标之间的快速有效的形变传递实现表情复制。从目标视频中检索到最适合重塑的口腔位置，并弯曲它以产生准确的拟合。最后，我们成功地将合成的目标面部图像重新渲染在相应的视频流之上，使其无缝融合。我们在现场演示我们的方法，其中Youtube视频会实时重播。

1、介绍

近年来，基于传感器的实时无标记面部表情捕获，已经取得了令人印象深刻的成果。无论是基于RGB [8,6]还是RGB-D数据[31，10，21，4，16]。这些技术在视频游戏和电影中的虚拟CG头像变得越来越流行。现在可以在家里，通过许多VR设备和AR应用程序，运行这些面部捕获和跟踪算法。

在本文中，我们采用一种基于单目标RGB数据的密集无标记面部表情捕获方法，是目前最先进的方法。然而，我们不是将面部表情转移到虚拟CG角色，而是实时的面部重现。与以前的离线方法相比[5,11,13]，我们的目标是将一个RGB传感器捕获的源角色的面部表情，实时传输到目标演员上。目标序列可以是任何单目标视频；例如，从Youtube下载的具有面部表演的视频片段。我们的目标是以照片级别的逼真方式修改目标视频，让它几乎不会被注意到修改过。照片级别的逼真面部重塑是各种应用的基础。例如，在视频会议中，视频流可以被调整成翻译者的脸部动作，或者脸部视频可以匹配上外语的发音。

在我们的方法中，我们首先使用一种“全局非刚性模型的捆绑方法（global non-rigid modelbased bundling approach）”重建目标角色的外形特征，该模型基于处理的训练序列。由于该预处理在一组训练帧上执行，因此我们可以解决单目标重现的几何模糊问题。在运行时，我们基于之前统计的面部数据，采用分析方法，来跟踪源视频和目标视频中的人物。即使是依靠深度数据的实时跟踪方法，跟踪精度也能与现有技术的水平相当。为了将表情实时地从源传递给目标，我们提出了一种新颖的传递函数，可以直接在二维表达空间中有效地传递变形[27]。对于最终的图像合成，我们用转移的表情系数重新渲染目标的脸部，并将其与目标视频的背景进行合成，同时考虑了光照的情况。最后，我们介绍一种新的基于图像的口腔合成方法，通过从离线样本中检索和弯曲最佳匹配口形，来产生逼真的口腔图像。重要的是，我们保持了目标人物的嘴巴，而其它现有的方法，都是通过拷贝源人物的嘴巴区域或是牙齿到目标人物上[14,29]。那些方法都会导致不一致，图1显示了我们的方法。

我们提出了一种从源到目标视频的实时的高度逼真的面部表情传输。我们在现场设备中显示了结果，其中源视频由摄像头捕获，用于操纵目标的Youtube视频。另外，我们比较了最先进的方法，我们产生的视频质量和运行时方面都表现优异（我们是第一个实时RGB重现方法）。总之，我们的主要贡献是：

*全局非刚性模型的捆绑方法（dense, global non-rigid model-based bundling）

*在无约束的实时RGB视频中，精确跟踪，高精度的外观及照明估算。

*子空间形变的人脸表情传输方法。

*一种新颖的口腔合成方法。

2、相关工作

离线RGB视频的动作捕获

最近的离线动作捕获技术，通过将混合形状[15]或多线性面部[26]模型拟合到输入视频中，来逼近单目标重现问题。甚至通过反阴影的图像，提取几何精细尺度的表面细节。Ichim等[17]仅仅从输入去构建一个个性化的面部装置。他们从专门捕获的视频中执行头部的结构化运动重建，它们适合于身份和表达模型。从训练序列中学习特定于人的特征。Suwajanakorn等[28]从图像集合中学习特征模型，并基于模型到图像的流场（flow field）来跟踪面部动作。 Shi et al [26]基于一组选择的关键帧的全局能量优化实现令人印象深刻的结果。我们基于模型的捆绑方法来恢复人物特征与他们的方法相似。但是我们使用了强大和密集的全局光照对齐，并且我们执行了GPU上的高效数据并行优化策略。

Face2Face: Real-time Face Capture and Reenactment of RGB Videos 论文翻译相关推荐

2019.08_【FSGAN】_Subject Agnostic Face Swapping and Reenactment 论文翻译
原文链接:https://blog.csdn.net/mzj15101229871/article/details/109442181 论文原文: FSGAN: Subject Agnostic Fa ...
CVPR 2016 有什么值得关注的亮点？
孔巴巴 ,聚焦目标检测,神经网络周若凡等 108 人赞同更新2 CNN遍地开花,传统方法很冷清 CNN RNN结合的文章越来多,但如何联合训练仍然有待进一步解决有人在致力于挖新坑,老坑越来越难 ...
【每周CV论文推荐】换脸算法都有哪些经典的思路？
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 人脸伪造/换脸算法目前在一定程度上已经达到了 ...
机器学习--详解人脸对齐算法SDM-LBF
https://www.cnblogs.com/Anita9002/p/7095380.html 引自:http://blog.csdn.net/taily_duan/article/details/ ...
人脸对齐之SDM / 人脸对齐之LBF / 人脸实时替换
人脸对齐之SDM(Supervised Descent Method) 人脸对齐之LBF(Local Binary Features) 人脸识别技术大总结(1):Face Detection & ...
论文阅读：CVPR2016 Paper list
原文地址:http://blog.csdn.net/xizero00/article/details/51386667 在过几天CVPR2016就要召开了,先放个list. ORAL SESSION ...
CVPR 2016 摘要阅读
为了说明看过CVPR2016全部文章的摘要,总结一下,摘要只保留了创新点部分. ORAL SESSION Image Captioning and Question Answering Monday, ...
【认知计算】Deepfake/Anti-deepfake综述探究
本篇是认知计算课程的作业,关于人脸欺骗和人脸欺骗防御的综述. 完整文档参见:https://gitee.com/zstar1003/xdu-homework/tree/master/%E8%AE%A4 ...
CVPR2016 论文快讯：人脸专题
原创作者汤旭转自深度学习大讲堂前言人脸识别,作为深度学习应用一个比较具有难度的方向,近几年一直得到工业界和学术界的广泛关注.目前大部分人了解到的人脸识别的性能都是从LFW数据库说起,大家一谈起 ...
CVPR 2016 全部文章摘要阅读
为了说明看过CVPR2016全部文章的摘要,总结一下,摘要只保留了创新点部分. ORAL SESSION Image Captioning and Question Answering Monday, ...

Face2Face: Real-time Face Capture and Reenactment of RGB Videos 论文翻译

Face2Face: Real-time Face Capture and Reenactment of RGB Videos 论文翻译相关推荐

最新文章

热门文章