Human Pose Estimation with Spatial Contextual Information（CVPR2019）

2024-05-15 02:47:17

问题：姿态估计关节点遮挡问题

思路：捕获关节点之间的空间相关性，进行关节点信息的传播，来预测以及纠正其他关节点

方法：级联预测融合（CPF）和姿态图神经网络（PGNN）

1 摘要

本文讨论了空间上下文信息在人体姿态估计中的重要性。本文提出了两个模块级联预测融合（CPF）和姿态图神经网络（PGNN），利用潜在的上下文信息。级联预测融合（CPF）累计来自前一个阶段的预测映射，已提取信息，得到的特征作为先验来知道后序阶段的一簇额。姿态图神经网络（PGNN）促进关节点之间的空间关系传播。

2 引言

姿态估计中挑战包括外表的巨大变化，不常见身体姿势和遮挡。

本文认为用多阶段的学习过程是有效的，不同阶段的预测具有不同的性质。具体来说，来自较低层次的预测具有更精确的定位信息，而来自较高层次的预测具有更强的语义信息。

本文还设计了一种姿态图神经网络，灵活而高效的学习身体关节的结构化表示。PGNN建立在一个可以继承的各种姿态估计网络的图上。图中的每个关节点登与相邻的身体部位相关联。因此，通过边缘构造来捕捉空间关系，实现不同关节点之间的直接消息传播。

下图为多阶段预测通道，生成一组辅助预测。在第一阶段，容易识别易变形的关节点，而其他关节点位置不清楚。第二阶段，关节点之间的相对位置有助于解决起义。第三阶段，所有关节点都收敛到最终的预测

贡献：

提出了Cascade Prediction Fusion网络用来预测关键点
提出了Pose Graph Neural Network, 用来对1预测的关键点进行修正

方法

3.1. Cascade Prediction Fusion (CPF)

图框架图所示，CPF网络仍然是multi-stage的形式, 但对pred heatmap做了不一样的处理. stage t 得到的heatmap不再是直接作为 stage t+1 的输入, 而是先经过 1x1 conv 增加 channel 数, 再和 stage t+1 的featuremap element-wise add之后, 再得到 stage t+1 的heatmap 输出. 文章说这么做可以最大程度的保留前面层网络提取到的位置信息, 用来辅助后面高层语义层提取的语义信息, 使得最终提取出来的heatmap的点更准确

3.2. Graph Neural Network (GNN)

GNN以图G={K,E}输入，K为点，E为边。k中隐藏状态向量会周期更新，为时间步t的隐藏状态，它通过时间步t的邻接节点信息更新，是选择邻接节点信息函数，为更新隐藏状态方法

Graph Construction

其中为backbone，是参数，I是样本

Information Propagation

是卷积权重，是偏置项，是边集合

本文还在图神经网络上加了门控，以下是门控GRU的公式

Output and Learning

最终预测结果：

loss函数

4 实验

在MPII上结果

在LSP上结果

可以看出，确实本文的两个模块对四肢节点预测更好，而四肢是最容易被遮挡的关节点。

Human Pose Estimation with Spatial Contextual Information（CVPR2019）相关推荐

【论文笔记】3D Human Pose Estimation with Spatial and Temporal Transformers
论文链接:https://arxiv.org/pdf/2103.10455.pdf github地址:https://github.com/zczcwh/PoseFormer 1. 方法归类 3d h ...
论文笔记--3D Human Pose Estimation with Spatial and Temporal Transformers（用空间和时间变换器进行三维人体姿势估计）
用空间和时间变换器进行三维人体姿势估计摘要 Transformer架构已经成为自然语言处理中的首选模型,现在正被引入计算机视觉任务中,如图像分类.物体检测和语义分割.然而,在人类姿势估计领域,卷 ...
3D Human Pose Estimation with Spatial and Temporal Transformers论文笔记
一.概述 3D人体姿态估计的方法主要分为两类:直接估计(Direct estimation)和 2D 到 3D (2D to 3D lifting) . 其中 2D 到 3D 的方法先利用 SOTA ...
PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes—2017（笔记）
PoseCNN:用卷积神经网络估计杂乱场景中目标6D姿态-2017(笔记) 文章提出了新的PoseCNN姿态估计网络,通过CNN提取图像特征,然后分三路进行目标分割标签标注.平移估计和姿态估计得到目标 ...
multi-view human pose estimation相关项目配置经验
本博客包含的项目包括以下文章(均已开源,可上github查找相应代码) <Cross View Fusion for 3D Human Pose Estimation>(ICCV2019) ...
2D/3D人体姿态估计（2D/3D Human Pose Estimation）
1. 基本概念算法改进入口网络设计特征流损失函数数据集的重要性:只要有一个好的.针对性的数据集,问题都可以解决过集成新一代AutoML技术,可降低算法试错成本人体姿态估计(Human P ...
（Stacked Hourglass Networks for Human Pose Estimation）用于人体姿势估计的堆叠沙漏网络
摘要 This work introduces( 提出) a novel(新奇的) convolutional network architecture for the task of human p ...
基于人体姿势估计的舞蹈检测（AI Dance based on Human Pose Estimation）
人体姿势骨架以图形格式表示人的方向.本质上,它是一组坐标,可以连接起来描述人的姿势.骨架中的每个坐标都被称为一个部分(或一个关节,或一个关键点).两个部分之间的有效连接称为一对(或分支).下面是一个人 ...
2020人体姿态估计综述（Part4：3D Human Pose Estimation from Image）
承接之前的博文: A 2020 Human Pose Estimation Review (Part1:2D Single Person) A 2020 Human Pose Estimation R ...

最新文章

热门文章