alphapose系统是以RMPE区域多人姿态估计为框架的多人姿态估计系统。复杂环境中的多人姿态检测是非常具有挑战性的，现在最好的人体检测算法虽然已经得到了很好的效果，但是依然存在一些错误，这些错误会导致单人检测任务（SPPE）失败，尤其是那些十分依赖人体框检测结果的。

背景

当前姿态估计主流为两种方法，第一种是两步法，先检测人体边界盒，再单独估计一个盒子内部的姿态，另一种是基于部分的框架，单独估计人体的各个部分，再将这些部分分给各个人，这种方法失去了全局意识。RMPE采用了自顶向下的方法，在两步法的基础上进行了改进来解决问题，最大化SPPE的作用。

框架

RMPE框架主要包含三个部分——SSTN，PGPG，NMS。SSTN主要是解决生成的姿态不够精确的问题。SSTN能够自动调节输入SPPE的图像，再将估计的姿态输出回原空间。主要任务就是在不怎么准确的bounding box中提取高质量的单人姿态。PGPG是由姿态引导的样本生成器，学习不同姿态下人体检测器的输出分布，模拟人体边界盒的生成，用来增强训练数据。NMS是一个非极大值抑制器，用来消除冗余姿态。

RMPE应用实验中将人体边界框在长宽方向上延长30%，确保将整个人完整的框起来。经过STN网络将延伸过的图像进行仿射变换，生成一个比较精确的、适合SPPE的输入，把SPPE的输出经过SDTN进行反向变换，把坐标变换回原来的坐标系中，完成识别过程。最终再经过NMS进行改进，消除冗余，得到最终姿态。

SSTN：STN接受一个由定位网络生成的参数θ，通过2D仿射运算生成一个更适合输入SPPE的区域，SPPE输出的姿态形成于STN输入的图像中，再通过SDTN返回原图坐标中，SDTN所需要的参数γ由STN传送过来的θ得到。

Parallel SPPE：在训练阶段添加一个Parallel SPPE分支，在测试阶段会去除。通常SDTN的补偿会使网络产生更少的错误，从而产生局部最小值，而这些错误是训练STN所必须的。Parallel SPPE相当于一个正则化器，避免局部最小值的出现。正则化防止过拟合，过拟合是指学习的太彻底，将误差也学习进去了。

PGPG：为了使SSTN+SPPE能够适应检测出来形状奇怪的检测结果，我们已经有了每一个人的真实位置和检测出来的定位框，我们可以通过他们一致的样本生成一个大样本的训练集。通过这种技术，我们可以进一步提高系统的性能。

Parametric Pose NMS：在定位过程中不可避免会出现冗余现象，一个人体检测出多个姿态。对一个人的姿态P，有m个关节点，其中k和c表示坐标位置和置信度分数。将有最高置信度的姿态作为参考，也就是估计值和总体参数在允许大误差范围内概率大的。靠近它的姿态通过消除标准消除，重复执行直至只剩一个姿态。

实验

实验：将以RMPE为框架的人体姿态识别系统在MPII数据集上进行实验，将3844张图片进行训练，将1758张进行测试，存在遮挡和重叠现象。

结果：在MPII数据集中，在识别困难的关节比如手腕、手肘、脚踝和膝盖的平均精度实现了72 mAP，比之前的最先进的结果高3.3 mAP。通过使用更强的人体探测器和姿态估计器，我们可以进一步实现82.1 mAP，其中比之前的最佳结果高4.6 mAP。

RMPE: Regional Multi-person Pose Estimation相关推荐

重新思考人体姿态估计 Rethinking Human Pose Estimation
Newly updated by 2019-11-19 ----------------------------------------------------- 浅谈:2D人体姿态估计基本任务.研究 ...
Survey on Human pose estimation
关于姿态估计的一些总结,GitHub上搬的 Papers 2D Pose estimation Learning Human Pose Estimation Features with Convolu ...
Paper：《Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields ∗》翻译并解读
Paper:<Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields ∗>翻译并解读目录 Abstract ...
姿态估计之2D人体姿态估计 - （OpenPose） Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
参见论文翻译 || openpose _magic_ll的博客-CSDN博客 OpenPose论文解读-- 知乎 Openpose论文阅读 _jmucvm的博客-CSDN博客 openpose论文总 ...
人体姿态估计--RMPE: Regional Multi-Person Pose Estimation
RMPE: Regional Multi-Person Pose Estimation ICCV2017 Code is based Caffe and Torch! https://github.c ...
《RMPE: Regional Multi-Person Pose Estimation》论文阅读之AlphaPose
首先附上论文地址:https://arxiv.org/pdf/1612.00137.pdf 作者:上海交大卢策吾老师组 AlphaPose项目地址:https://github.com/MVIG-SJ ...
CV之PoseEstimation：Pose Estimation人体姿态估计(AI识人,OpenPose+DeepCut+RMPE+Mask RCNN)的简介、案例应用之详细攻略
CV之PoseEstimation:Pose Estimation人体姿态估计(AI识人,OpenPose+DeepCut+RMPE+Mask RCNN)的简介.案例应用之详细攻略目录 Pose E ...
Human Pose Estimation人体姿态估计综述调研
给定一幅图像或一段视频,人体姿态估计就是去恢复其中人体关节点位置的过程. 数据集 LSP 地址:http://sam.johnson.io/research/lsp.htm 样本数:2K 关节点个数: ...
Human Pose Estimation姿态估计调研
介绍姿态估计的目标是在RGB图像或视频中描绘出人体的形状,这是一种多方面任务,其中包含了目标检测.姿态估计.分割等等.有些需要在非水平表面进行定位的应用可能也会用到姿态估计,例如图形.增强现实或者人 ...
简阅人体姿态估计深度学习方法-simpread-Human Pose Estimation Deep Learning Approach
What is Human Pose Estimation? Human Pose Estimation (HPE) is a way of identifying and classifying t ...

RMPE: Regional Multi-person Pose Estimation

背景

框架

实验

RMPE: Regional Multi-person Pose Estimation相关推荐

最新文章

热门文章