3D人体姿态估计--Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose

Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose

Project and Code: https://www.seas.upenn.edu/~pavlakos/projects/volumetric/

输入一张彩色图像，输出人体 3D姿态信息，采用 CNN网络端对端训练，技术创新点：1）对三维空间进行网格划分，2）Coarse-to-Fine 渐进优化
流程示意图：

3.1. Volumetric representation for 3D human pose
对于3D 人体姿态估计问题，问题的一般定义是人体N个关节，每个关节有一个 3D 坐标（x,y,z）

上面公式是计算预测坐标和真值坐标的欧式距离。尽管这样描述问题很简单明了，但是这个问题是 highly non-linear problem，很难学习。

这里我们对3D 空间进行网格划分， For each joint we create a volume of size w×h×d，对每个关节我们定义一个 w×h×d 的 volume（容积器），将该volume 划分为 w×h×d，假设 p（i,j,k）表示一个关节落入容积器的（i,j,k） voxel（三维坐标点）。
同时定义一个关节真值坐标（x,y,x）落入容积器的（i,j,k） voxel 的概率如下：

误差函数定义如下：

上述问题的定义方式能够简化问题的求解。同时也为后面的Coarse-to-fine 提供了好的基础

A major advantage of the volumetric representation is that it casts the highly non-linear problem of direct 3D coordinate regression to a more manageable form of prediction in a discretized space

3.2. Coarse-to-fine prediction

注意这里的 Coarse-to-Fine 主要是针对第三维度深度 z 而言的，深度信息是最难的，2D 已经做的比较成熟了。

In particular, the first steps are supervised with lower resolution targets for the (most challenging and technically unobserved) z-dimension. Precisely, we use targets of size 64 × 64 × d per joint, where d typically takes values from the set {1,2,4,8,16,32,64}

d 的取值为 {1,2,4,8,16,32,64}

3.3. Decoupled architecture with volumetric target
在某些情况下因为关节的 3D 真值数据无法获取导致不能进行端对端训练，例如我们使用 in-the-wild images。这里我们参考 3D Interpreter Network 【35】，进行2步训练。
predicting 2D keypoint heatmaps, followed by an inference step of the 3D joint positions with our volumetric representation
首先预测 2D 关节点heatmaps，然后在3D 网格空间坐标上进行 3D 关节点坐标推理

The first step can be trained with 2D labeled in-the-wild imagery, while the second step requires only 3D data (e.g., MoCap)
Independently, each of these sources are abundantly available

Empirical evaluation

3D人体姿态估计--Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose相关推荐

3D人体姿态估计（介绍及论文归纳）
推荐镜子大佬的知乎 2D 多人姿态估计论文汇总.分类与简介 2D多人姿态估计指南:热图回归与坐标回归流程指南 openmmlab微信公众号里的3DHPE综述 opemmlab框架下的MMPose库,有 ...
ECCV 2020 论文大盘点-3D人体姿态估计篇
本文盘点ECCV 2020 中所有与3D姿态估计(3D Human Pose Estimation)相关的论文,总计 14 篇,其中一篇Oral 论文,7 篇已经或者将开源代码. 下载包含这些论文的 ...
2D/3D人体姿态估计（2D/3D Human Pose Estimation）
1. 基本概念算法改进入口网络设计特征流损失函数数据集的重要性:只要有一个好的.针对性的数据集,问题都可以解决过集成新一代AutoML技术,可降低算法试错成本人体姿态估计(Human P ...
3D人体姿态估计论文汇总（CVPR/ECCV/ACCV/AAAI）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者:Vegetabird | 来源:知乎 https://zhuanlan.zhihu.com/p/ ...
姿态估计之3D 人体姿态估计 - 总结（1）【转】
参考 3D 人体姿态估计简述 - 知乎 3D人体姿态估计(介绍及论文归纳) [2021-CVPR]Graph Stacked Hourglass Networks for 3D Human Pose ...
3D 人体姿态估计简述[转]
[转自]3D 人体姿态估计简述 - 知乎 0 前言 3D Human Pose Estimation(以下简称 3D HPE )的目标是在三维空间中估计人体关键点的位置.3D HPE 的应用非常广泛, ...
网络摄像头+net_今日 Paper | 神经网络结构搜索；视觉目标；人物识别；视频3D人体姿态估计等...
目录基于进化算法和权值共享的神经网络结构搜索检测视频中关注的视觉目标包含状态信息的弱监督学习方法进行人物识别基于解剖学感知的视频3D人体姿态估计 RandLA-Net:一种新型的大规模点云语义 ...
PoseFormer：首个纯基于Transformer的 3D 人体姿态估计网络，性能达到 SOTA
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达本文分享一篇 52CV 粉丝的论文『3D Human Pose Estimation with Spa ...
视频中的3D人体姿态估计(3D human pose estimation in vide)--------Facebook research: VideoPose3D
视频中的3D人体姿态估计(3D human pose estimation in video) 解读Facebook AI Research in CVPR2019: <3D human pos ...

3D人体姿态估计--Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose

3D人体姿态估计--Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose相关推荐

最新文章

热门文章