Monocular Total Capture: Posing Face, Body, and Hands in the Wild ∗

论文地址：http://openaccess.thecvf.com/content_CVPR_2019/papers/Xiang_Monocular_Total_Capture_Posing_Face_Body_and_Hands_in_the_CVPR_2019_paper.pdf

项目地址：https://github.com/CMU-Perceptual-Computing-Lab/MonocularTotalCapture

摘要

我们展示第一方法能够捕捉3D所有动作，一个目标人从单目相机。给定一张图像或者一段单目视频，我们的方法重建动作从身体上，脸，以及手指展示，通过一个3D可变形的mesh模型。我们使用一个有效的展示叫做3D部分方向域（POFs），来编码3D方向，所有身体部分在常见的2D图像空间中。POFs被预测通过一个全卷积网络，我们收集一个新的3D人体动作数据集，拍摄各种所有人体动作，40个参数者在一个多视角系统下。我们利用一个3D形变人体模型来重建所有人位姿从CNN输出，使用帮助位姿和形变在模型中。我们也展示了一个基于纹理的跟踪方法来获得时间一致性动作相机输出。我们展示通过大量的评估包括比较存在的特定身体和特定手的方法，以及性能分析在摄像头视点和人的位姿改变。最后，我们证明这个结果我们的所有人体动作捕获在多张调整在广泛的视频中。

效果展示

系统流程

讨论

在这篇文章，我们展示一个方法重建3D所有动作，在一个单人从一张图像或者一个单目视频。我们通过评估稳健型关于我们的方法，在各种基准上以及证明单目3D所有动作捕获结果在各种视频。

存在一些限制在我们的方法中。首先，我们观察失败情况，当一个重要部分在目标人上是不可见的（超出图像的框或者遮挡被其它目标），由于错误网络预测。第二，我们的手位姿检测失败在无效的像素，严重的运动模糊或者遮挡被目操作。第三，我们使用一个简单的方法去评估脚和脸表达，统一2D关键点信息。

了解更多关于《计算机视觉与图形学》相关知识，请关注公众号：

下载我们视频中代码和相关讲义，请在公众号回复：计算机视觉课程资料

Monocular Total Capture: Posing Face, Body, and Hands in the Wild ∗相关推荐

论文项目复现笔记----Emotion Driven Monocular Face Capture and Animation
一.项目相关项目代码网址:GitHub - radekd91/emoca: Official repository accompanying a CVPR 2022 paper EMOCA: Emo ...
Total capture: A 3D Deformation Model for tracking faces, hands and bodies
公式(1), 介绍input和output 公式(2), (3)说明总体的参数分成body, face, hands几个部分公式(4), 如果从不同的部分融合成一个整体公式(5), SMPL 模 ...
3D Human相关研究总结：人体、姿态估计、人体重建等
©PaperWeekly 原创 · 作者|张莹单位|腾讯本文简要介绍与 3D 数字人相关的研究,包括常用 3D 表示.常用 3D 人体模型.3D 人体姿态估计,带衣服 3D 人体重建,3D 衣服建 ...
【CVPR2019】完整论文列表二
CVPR 2019 Paper list No.1001-1294 ?CVPR2019 完整列表一论文题目与链接 Semantic Component Decomposition for Face ...
【今日CV 视觉论文速览】05 Dec 2018
今日CS.CV计算机视觉论文速览 Wed, 5 Dec 2018 Totally 58 papers Interesting: 基于单张图片预测完整点云 (from 阿姆斯特丹大学CV Lab) 模型 ...
CVPR 2019 论文大盘点—人体姿态篇
点击我爱计算机视觉标星,更快获取CVML新技术 CV君盘点了CVPR 2019 中有关人体姿态的论文,其中研究 3D人体姿态估计的论文最多,有 11 篇,研究 2D 姿态估计的 7 篇,姿态迁移 2 ...
CVPR 2019 论文大盘点-人脸技术篇
点击我爱计算机视觉标星,更快获取CVML新技术 CV君今天盘点了 CVPR 2019 所有人脸相关论文,总计51篇,其中研究人脸重建与识别的论文最多,人脸识别中新Loss的设计有好几篇,人脸表情分析也 ...
CVPR学习（五）：CVPR2019-人体姿态
待补充论文解读 3D 姿态估计 3D人体姿态的自监督学习,使用多视几何的方法土耳其中东技术大学 Self-Supervised Learning of 3D Human Pose Using Mul ...
CVPR学习（一）：CVPR2019－人脸方向
一.官网 CVPR 官方提供了2019年的论文搜索和下载的网站:http://openaccess.thecvf.com/CVPR2019.py 二.人脸相关人脸反欺诈.人脸识别对抗攻击大规模人脸 ...

Monocular Total Capture: Posing Face, Body, and Hands in the Wild ∗

Monocular Total Capture: Posing Face, Body, and Hands in the Wild ∗相关推荐

最新文章

热门文章