3D Human Motion Estimation via Motion Compression and Refinement

3D Human Motion Estimation via Motion Compression and Refinement[1]

一个两阶段的基于视频的3d人体motion estimation。
本文是在VIBE[2]的基础上做的,文章指出之前所提出的方法的衡量指标是MPJPE，只是强调空间上的准确性，忽略了temporal smoothness，所以VIBE在进行可视化的时候会发现“jitter”的存在。下图用加速度误差这个指标衡量了temporal smoothness，可见本文的方更平滑，同时最后论文结果MPJPE也更低。

2. Acceleration error,加速度误差:用来衡量3d joints的平滑性，计算代码如下，来源于[3]

3. story

本文指出，由于people share相同的人体结构（就是都使用了SMPL人体模型），所以it is possible to learn a generalized kinematic model that can be matched against the image to infer the general motion of a person. However, since generalized models of motion can also fail to model person-specific motions, it may also be necessary to ‘add back in’ or refine the general motion estimates using image evidence。（这就是介绍为啥本文要设计成两个阶段，而不是一个阶段）。第一阶段得到一个coarse kinematic sequences of a person in a video，第二阶段是一个残差结构，把第一段的结果和原始特征concat到一起，迭代refine得到一个精细的结果，这样最后结果就能有准确，又smooth。这里准确容易理解，smooth的话下面详细的说一下。
smooth:文章先说了一下以前是怎么解决smooth问题的如下图原文

最后也指出了仅仅把smooth的先验用到loss function是很难找到准确性和smooth的balance。本文使用了Variational Autoencoder (VAE不熟悉VAE的可以自行补课）。就是先在AMAAS上训练VAE，VAE的作用是什么呢就是学到AMAAS上包含的人体motion的准确性和smooth，就是训练好的VAE能encode到smooth这个信息。但是AMAAS数据中包含的动作有限，所以会遇到其他动作，这就需要第二部refine的操作得到最终又准确又smooth的结果。

。

参考

^https://arxiv.org/abs/2008.03789
^https://arxiv.org/pdf/1912.05656.pdf
^https://github.com/akanazawa/human_dynamics/blob/master/src/evaluation/eval_util.py

3D Human Motion Estimation via Motion Compression and Refinement相关推荐

Towards 3D Human Pose Estimation in the Wild: a Weakly-supervised Approach论文翻译
论文地址:https://arxiv.org/abs/1704.02447 code:https://github.com/xingyizhou/pytorch-pose-hg-3d Towards ...
2D/3D人体姿态估计（2D/3D Human Pose Estimation）
1. 基本概念算法改进入口网络设计特征流损失函数数据集的重要性:只要有一个好的.针对性的数据集,问题都可以解决过集成新一代AutoML技术,可降低算法试错成本人体姿态估计(Human P ...
论文笔记--3D human pose estimation in video with temporal convolutions and semi-supervised training
3D human pose estimation in video with temporal convolutions and semi-supervised training(利用时间卷积和半监督 ...
论文阅读 [TPAMI-2022] Locally Connected Network for Monocular 3D Human Pose Estimation
论文阅读 [TPAMI-2022] Locally Connected Network for Monocular 3D Human Pose Estimation 论文搜索(studyai.com) ...
论文阅读: 3D Human Pose Estimation in the Wild by Adversarial Learning
论文地址:https://arxiv.org/abs/1803.09722 出自港中文,CUHK-SenseTime Joint Lab 一.总体框架描述 1.本篇论文主体思路是提出了一个对抗性的学习 ...
视频中的3D人体姿态估计(3D human pose estimation in vide)--------Facebook research: VideoPose3D
视频中的3D人体姿态估计(3D human pose estimation in video) 解读Facebook AI Research in CVPR2019: <3D human pos ...
【论文笔记】3D Human Pose Estimation with Spatial and Temporal Transformers
论文链接:https://arxiv.org/pdf/2103.10455.pdf github地址:https://github.com/zczcwh/PoseFormer 1. 方法归类 3d h ...
3D Human Pose Estimation with 2D Marginal Heatmaps
3D Human Pose Estimation with 2D Marginal Heatmaps 一. 论文简介主要做的贡献如下(可能之前有人已提出): 使用2Dheatmap代替3Dheatm ...
3D人体姿态估计综述 - 《3D Human pose estimation: A review of the literature and analysis of covariates》
<3D Human pose estimation: A review of the literature and analysis of covariates> CVIU 2016 论文 ...

3D Human Motion Estimation via Motion Compression and Refinement

参考

3D Human Motion Estimation via Motion Compression and Refinement相关推荐

最新文章

热门文章