一、动机

多人姿态估计一直以来都遵循top-down和bottom-up两种范式，不管哪一种，实际上都是两阶段方法：top-down是先检测人体，然后估计关节点；bottom-up是先估计出关节点，在通过Grouping之类的操作分成一个个人体实例。这就导致整个过程的效率不高。因此，本文提出了一种紧凑高效的多人姿态估计pipline：将人体表示为一个中心点和7个人体部位自适应点，以这种更为精细的人体模型去编码更多不同的姿态，并在一次推理（单阶段）中建模人体实例和关节点的对应关系。

二、相关工作

主要看图1就行：

（a）：传统人体表示方法，直接就是用各个关节点，多见于两阶段方法和一些bottom-up方法；

（b）：Center-to-joint表示方法，是CentNet（Zhou, etc）提出的方法，从中心点回归各个关节点的偏移；

（c）：层级结构的表示方法，SPM (Nie et al. 2019)；

（d）：本文的方法，自适应点集表示人体部位；

作者认为，（a）类方法是两阶段，无疑不够高效；（b）类方法过不够精细，难以从中心点回归到准确的offset；（c）类方法又太复杂了，容易产生累计误差；自然只有（d）类方法是最合适的。

三、方法

提出的人体表示方法如图2所示：

其将人体分为七个部位：脸部、肩部、左臂、右臂、臀部、左腿、右腿，每个人体部位又包含了对应的人体关节点。

基于这种人体表示方法，可以先从中心点回归七个自适应的人体部位点，然后从人体部位点回归到具体的人体关节点。

为了达到这个效果，作者提出了一个网络结构，可以one-stage推理完成多人姿态估计，如图3所示：

整个架构简单描述如下：

输入图片经过backbone得到语义feature map, 然后送入三个模块：
- Enhanced Center-aware Branch：增强的中心点感知分支，用于感知各种姿态和尺度的人体；
- Part Perception Module：部位感知模块，对每个人体实例，回归对应的七个自适应人体部位点；
- Two-hop Regression Branch：二跳回归分支，用于从人体不问点回归具体的关节点；注意，这里是以人体部位为一跳节点，回归的不是从人体部位到关节点的offset，而是从中心点到关键点的offset，也即实现了间接的center-to-joint（相比之下，CenterNet是直接的center-to-joint）；

所以整体上，作者实现了介于图1中（b）、（c）之间的一种方式，先检测到人体中心点，然后回归到人体部位，最后回归到具体的关节点。

四、效果

五、写在后面

这篇文章算是提出了一种不同以往的人体表示方法，并提出了一个center-to-part-to-joint的范式来进行多人姿态估计，并通过网络设计可以one-stage推理。

个人感觉其有创新，但还是介于前期工作范畴之内，不是颠覆性创新，但这种方式证明有效仍值得学习。

AdaptivePose: 人体姿态估计新思路，将人体部位表示为自适应点相关推荐

姿态估计之2D人体姿态估计（1）（仅供个人参考）
参考自顶向下的 2D 人体姿态估计 - 知乎人体姿态估计(Human Pose Estimation)经典方法整理 - 知乎 2D人体姿态估计浅析 - 知乎人体姿态估计中回归出了heatmap如 ...
深度学习-人体姿态估计
个人微信公众号:AI研习图书馆 ID:(Art-Intelligence) 欢迎关注,交流学习,共同进步~ 1.人体姿态估计简介人体姿态估计(Human Posture Estimation),是通 ...
简阅人体姿态估计深度学习方法-simpread-Human Pose Estimation Deep Learning Approach
What is Human Pose Estimation? Human Pose Estimation (HPE) is a way of identifying and classifying t ...
2019深度学习人体姿态估计指南
本文素材来源于nanonets技术博客网站,经本人编辑首发于CSDN,仅供技术分享所用,不作商用. 原文地址:https://blog.nanonets.com/human-pose-estimati ...
融合人体姿态估计和目标检测的学生课堂行为识别
融合人体姿态估计和目标检测的学生课堂行为识别_参考网摘要: 在課堂教学中 , 人工智能技术可以帮助实现学生行为分析自动化 , 让教师能够高效且直观地掌握学生学习行为投入的情况 , 为后续优化教学设计 ...
深度学习之人体姿态估计在医疗领域的作用
深度学习之人体姿态估计在医疗中的应用摘要目前基于深度学习的人体姿态估计的方法在一定的训练集上都取得不错的效果,将人体姿态估计应用于医疗当中有利于目前医疗体系的进步和医疗手段的改进.本文将介绍人体姿 ...
CVPR 2020 论文大盘点-人体姿态估计与动作捕捉篇
本文盘点CVPR 2020 所有人体姿态估计(Human Pose Estimation).手势识别(Gesture Recognition).人体形状与姿态估计(Human Shape and Po ...
Python+OpenCV+OpenPose实现人体姿态估计（人体关键点检测）
目录 1.人体姿态估计简介 2.人体姿态估计数据集 3.OpenPose库 4.实现原理 5.实现神经网络 6.实现代码 1.人体姿态估计简介人体姿态估计(Human Posture Estimat ...
Openpose+Tensorflow 这样实现人体姿态估计 | 代码干货
作者 | 李秋键出品 | AI科技大本营(ID:rgznai100) 人体姿态估计指从单个 RGB 图像中精确地估计出人体的位置以及检测骨骼关键点的位置.人体姿态估计是计算机视觉领域的研究热点,是诸 ...

AdaptivePose: 人体姿态估计新思路，将人体部位表示为自适应点