3D Human Pose Estimation with 2D Marginal Heatmaps

一. 论文简介

主要做的贡献如下(可能之前有人已提出)：

使用2Dheatmap代替3Dheatmap

排列 \(x,y,z\) 的读取顺序

使用JSLoss规范heatmap的分布

二. 模块详解

2.1 2Dheatmap替代3Dheatmap

刚开始读论文的时候感觉作者想象力提丰富的，后面自己开发姿态估计小网络，压缩模型立马就想到此方法了(实测效果并不理想，可能是小网络的关系，按作者描述大网络效果好)

正常3DHeatmap操作大家都懂不懂的点击，这样做精度是很好，但是所花费的计算量非常庞大。

作者使用3个二维heatmap去替代一个3DHeatmap，按理说使用两张2D图即可表示3D，作者使用\([X，Y]\) 直接计算X和Y的结果， \([X，Z\)求\(Z_1\)， \([Y，Z]\)求\(Z_2\) ，\(Z=(Z_1+Z_2)/2\) 具有一定的鲁棒性。

那么为什么不相应的使用 \(X=(X_1+X_2)/2\)、\(Y=(Y_1+Y_2)/2\) ?

个人猜测如下：

二维本身就没有三维的Heatmap拟合能力强，强行加上那么多限制会使得模型复杂度加大，训练难收敛
Z轴本身就很难估计，Z和XY的尺度不一样，Z的标注精度差别很大
这种做法降低了计算量，实际上效果要差的(对比论文给出的数据和Integral Human Pose Regression论文给出的数据)

2.2 排列 \(x,y,z\) 的读取顺序

这部分思想有问题，不论是从思想还是最终结果(Ablation Study)

首先，如果顺序真的对网络那么重要，那么我们数据增强为什么要shuffle？为什么存在shufflenetV2网络？为什么现在的Non-local结构？

其次，从结果看增加0.3%个点，这种偶然性太多了，感觉是作者凑insight

2.3 使用JSLoss规范heatmap的分布

这部分想法挺好的，随着论文读的多了，这种思想随处可见

不懂分布的点击

原始Heatmap就是一种单一分布(Delta分布)到学习一种分布关系(二维Gaussian分布)
3DHeatmap是从二维Gaussian分布转换到3D的任意分布
这篇论文是将3D的任意分布转换到三维Gaussian分布

2.4 总结

优点总结
- 关于3DHeatmap转2DHeatmap，关于Z的取平均是个好想法(想必作者实际操作遇到了Z的回归难度明显大于X和Y)
- 主要贡献还是在于分布上面，这点现在看来很正常，在之前能想到确实挺不错
缺点总结
- 实际测试在小模型上2DHeatmap明显弱于3DHeatmap
- 关于2.2的排序没有意义
- JS散度真的好难训练
- 先考最新检测论文，可以在分布上做改进，实际测试小模型有效果[论文

3D Human Pose Estimation with 2D Marginal Heatmaps相关推荐

2D/3D人体姿态估计（2D/3D Human Pose Estimation）
1. 基本概念算法改进入口网络设计特征流损失函数数据集的重要性:只要有一个好的.针对性的数据集,问题都可以解决过集成新一代AutoML技术,可降低算法试错成本人体姿态估计(Human P ...
论文阅读: 3D Human Pose Estimation in the Wild by Adversarial Learning
论文地址:https://arxiv.org/abs/1803.09722 出自港中文,CUHK-SenseTime Joint Lab 一.总体框架描述 1.本篇论文主体思路是提出了一个对抗性的学习 ...
论文笔记--3D human pose estimation in video with temporal convolutions and semi-supervised training
3D human pose estimation in video with temporal convolutions and semi-supervised training(利用时间卷积和半监督 ...
论文阅读 [TPAMI-2022] Locally Connected Network for Monocular 3D Human Pose Estimation
论文阅读 [TPAMI-2022] Locally Connected Network for Monocular 3D Human Pose Estimation 论文搜索(studyai.com) ...
视频中的3D人体姿态估计(3D human pose estimation in vide)--------Facebook research: VideoPose3D
视频中的3D人体姿态估计(3D human pose estimation in video) 解读Facebook AI Research in CVPR2019: <3D human pos ...
Towards 3D Human Pose Estimation in the Wild: a Weakly-supervised Approach论文翻译
论文地址:https://arxiv.org/abs/1704.02447 code:https://github.com/xingyizhou/pytorch-pose-hg-3d Towards ...
3D人体姿态估计综述 - 《3D Human pose estimation: A review of the literature and analysis of covariates》
<3D Human pose estimation: A review of the literature and analysis of covariates> CVIU 2016 论文 ...
论文阅读 A simple yet effective baseline for 3d human pose estimation
A simple yet effective baseline for 3d human pose estimation 一个简单有效的3d人体姿态估计基准 Abstract 继深层卷积网络的成功之后 ...
【2020-CVPR-3D人体姿态估计】Deep Kinematics Analysis for Monocular 3D Human Pose Estimation
Deep Kinematics Analysis for Monocular 3D Human Pose Estimation 题目:<单目三维人体姿态估计的深度运动学分析> 作者:Jin ...

3D Human Pose Estimation with 2D Marginal Heatmaps

3D Human Pose Estimation with 2D Marginal Heatmaps

一. 论文简介

二. 模块详解

2.1 2Dheatmap替代3Dheatmap

2.2 排列 \(x,y,z\) 的读取顺序

2.3 使用JSLoss规范heatmap的分布

2.4 总结

3D Human Pose Estimation with 2D Marginal Heatmaps相关推荐

最新文章

热门文章