人体姿态估计——PBN

2024-06-03 06:31:41

论文：《Does Learning Speciﬁc Features for Related Parts Help Human Pose Estimation?》

CVPR2019, Wei Tang and Ying Wu

1.主要思想：

论点： 人体姿态估计（HPE）本质上是一个同质的多任务学习问题，每个身体部位的定位都是一个不同的任务。
目前HPE方法普遍采用的是利用CNN来学习所有身体部位的完全共享特征，从中以空间坐标或热图的形式对关节点位置进行线性回归。

作者通过分析表明并不是所有的关节部分都是相互关联的，不相关的任务不再共享高维特征表示，希望避免负迁移所带来的不利影响。

2.Related body parts

相关身体部位
（1）识别相关部位最直接的方法是利用人体结构
(1)head top, upper neck and thorax, (2) left wrist, left elbow and left shoulder, (3) right wrist, right elbow and right shoulder, (4) left knee and left ankle, (5) right knee and right ankle, (6) left hip, right hip and pelvis.
（2）利用关节点间的互信息计算获取（本文采用）
统计结果：

（a)不同joint之间的相关性！图(b)关节点的分组。

3.Part-based branching network (PBN)

基于特点关节点的分支网络设计

其中，灰色和蓝色矩形分别表示输入图像和预测的热图。黄色和绿色矩形分别表示共享和特定的特征。通道号包含在每个彩色矩形中。利用MSE损失将预测的热图与真实热图进行损失计算。

作者又设计了mutli stage的版本，作为一种refine机制。

4.实验结果

5.结论

通过大量的基准实验和消融研究，作者得出结论：学习相关身体部位的特定特征可以显著提高被遮挡部位的定位能力，从而有利于人体姿态估计。

人体姿态估计——PBN相关推荐

论文阅读笔记--Monocular Human Pose Estimation: A Survey of Deep Learning-based Methods 人体姿态估计综述
趁着寒假有时间,把之前的论文补完,另外做了一点点笔记,也算是对论文的翻译,尝试探索一条适合自己的论文阅读方法. 这篇笔记基本按照原文的格式来,但是有些地方翻译成中文读起来不太顺,因此添加了一些自己的理 ...
一文概览2D人体姿态估计
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达来自 | 知乎作者 | 谢一宾链接 | https:// ...
快速人体姿态估计：CVPR2019论文阅读
快速人体姿态估计:CVPR2019论文阅读 Fast Human Pose Estimation 论文链接: http://openaccess.thecvf.com/content_CVPR_201 ...
Python+OpenCV+OpenPose实现人体姿态估计（人体关键点检测）
目录 1.人体姿态估计简介 2.人体姿态估计数据集 3.OpenPose库 4.实现原理 5.实现神经网络 6.实现代码 1.人体姿态估计简介人体姿态估计(Human Posture Estimat ...
Openpose+Tensorflow 这样实现人体姿态估计 | 代码干货
作者 | 李秋键出品 | AI科技大本营(ID:rgznai100) 人体姿态估计指从单个 RGB 图像中精确地估计出人体的位置以及检测骨骼关键点的位置.人体姿态估计是计算机视觉领域的研究热点,是诸 ...
基于深度学习和传统算法的人体姿态估计，技术细节都讲清楚了
作者 | 站长 pursueYfuture 来源 | AI专栏(ID: pursue-Y-future) 计算机视觉的一大研究热点是人体姿态估计,还有很多问题急需解决,比如遮挡,交互等等.在最近的CV ...
刷新记录，算法开源！字节跳动获人体姿态估计竞赛双冠 | CVPR 2019
整理 | Jane 出品 | AI科技大本营(id:rgznai100) [导读]6 月 16--20 日,计算机视觉与模式识别领域顶会 CVPR 2019 在美国长滩举行.每年的 CVPR 盛会除了 ...
公开课 | 让机器读懂你的意图——人体姿态估计入门
机器视觉的主要任务是让机器看懂世界,而世界的主要组成是人类社会.我们一直在围绕物和人的识别展开研究:物品检测识别.行人检测与跟踪.人脸识别. 事实上,行人检测是人的整体粗粒度识别,人脸识别是人的局部特 ...
基于3D深度视觉的人体姿态估计算法
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|新机器视觉人体姿态估计是当前计算机视觉领域的热点研究问 ...

最新文章

热门文章