【转】《Cascaded Pyramid Network for Multi-Person Pose Estimation》--旷世2017COCO keypoints冠军论文解读
转自:https://blog.csdn.net/zhangboshen/article/details/78836704
简介
《Cascaded Pyramid Network for Multi-Person Pose Estimation》,这是Face++旷世科技2017年取得COCO Keypoints Challenge冠军的文章,主要目的是解决 in the wild 场景下多人的姿态估计,即关键点回归。
这里对这篇文章做一个简单的总结,如有理解不对的地方,欢迎指正!!
文章的主要贡献是:重点内容
1 提出了一种金字塔型的串接模型,即CPN(cascaded pyramid network),这个模型能够同时兼顾人体关节点的局部信息以及全局信息,结果取得了不错的效果;
2 使用了在线难例挖掘(online hard keypoints mining)的技术,这对于人体姿态估计任务中一些存在遮挡的“hard”的关键点的预测有所帮助;
3 测试阶段考量了soft-NMS和传统的hard-NMS(非极大值抑制)在human detection阶段产生的影响,结论是soft-NMS对于最后的结果是有所帮助的。
方法
pipeline
首先,整体的方法仍然是一个传统的top-down的pipeline,即现在图片中检测到人体,再做一个单人的human pose estimation。
motivation
下面这张图阐述了作者的网络设计思路,即一些比较容易识别出来的人体关键点,直接利用一个CNN模型就可以回归得到;而对于一些遮挡比较严重的关节点,则需要增大局部区域感受野以及结合上下文信息才能够进一步refine得到。
网络结构
Figure1给出的就是作者提出的CPN模型网络结构。
可以看到,整个模型由两部分构成,GlobalNet和RefineNet。
GlobalNet的作用就是简单的前向CNN组成的回归模型,目的是回归得到一些易于识别的人体关键点位置,这里作者是使用的ResNet的网络架构回归heatmap。
RefineNet的目的则是利用GlobalNet产生的金字塔模型的特征图,融合多个感受野信息,最后concatenate所有的同一尺寸特征图进一步回归一些有歧义的关键点位置。注意,这里作者使用的是concatenate的策略,而并不是像Stacked Hourglass Networks那样的简单的upsampling。
实验
针对上面所提到的三个贡献,作者通过下面几个实验进行了证明:
首先针对human detection阶段NMS的策略,结论毫无疑问的是Soft-NMS(关于soft-NMS,这是目标检测领域提出来的一个策略,具体可以参考原文)更好,下面的表是几个不同阈值的NMS和Soft-NMS的结果比较。
对于在线难例挖掘策略的使用,主要体现在RefineNet究竟需要对多少个关键点进行Refine,根据COCO keypoints人体标注的关键点数量(17个)作者做了下面的一个实验:
可以看到,对于“Hard”的关键点的定义,在M=8的时候是比较好的,这可以理解为当M增大时一些之前GlobalNet已经预测得到非常好的关键点反而被RefineNet加上了人工干扰。
接下来,对于两个子网络的训练,是否使用在线难例挖掘,作者也做了实验:
可以看到当RefineNet加上在线难例挖掘之后取得的效果是最好的,这也证明了这个措施的有效性,至于为什么最后两行GlobalNet加上在线难例挖掘之后结果反而下降了,大概是这个阶段的网络效果受限于感受野尺寸,即预测不准的点loss加大惩罚之后还是预测不准,也就没有什么用处了。
最后,当然就是这个方法在COCO关键点挑战赛上面的表现了:
72.1的准确率,比第二名高了0.7个点。
总的说来,这篇文章的设计思路是比较巧妙的,用人体关键点中存在的一些遮挡严重的情况作为切入点,设计了拥有两个子网络构成的CPN模型,这对于其他的一些CV任务也有一定的参考意义。
【转】《Cascaded Pyramid Network for Multi-Person Pose Estimation》--旷世2017COCO keypoints冠军论文解读相关推荐
- 论文笔记(三):PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes
PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes 文章概括 摘要 1. ...
- PoseCNN(A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes)复现记录
PoseCNN: A Cbjonvolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes 挖个坑,希望研究 ...
- 笔记:PoseCNN:A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes
PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes (Robotics: ...
- 6D Pose Estimation各方法对应的经典论文
单目RGB.传统方法 (1) D. G. Lowe. Object recognition from local scale-invariant features. In ICCV, 1999. (2 ...
- 【6Dof位姿估计】DPVL:6DoF Object Pose Estimation via Differentiable Proxy Voting Loss论文理解
6DoF Object Pose Estimation via Differentiable Proxy Voting Loss论文理解 解决什么问题 本文创新点\贡献 本文IDEA来源 方法 方向向 ...
- Hourglass Network 沙漏网络 (pose estimation姿态估计)
在ECCV2016<Stacked Hourglass Networks for Human Pose Estimation>这篇paper中提出 是一个姿态估计(pose estimat ...
- 论文阅读笔记《PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes》
核心思想 本文提出一种基于卷积神经网络的物体分割与位姿估计的方法(PoseCNN).如下图所示,输入图像经过卷积层特征提取之后,分成三个任务分支:语义分割.平移矩阵预测和旋转矩阵(四元数)预测.最 ...
- PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes—2017(笔记)
PoseCNN:用卷积神经网络估计杂乱场景中目标6D姿态-2017(笔记) 文章提出了新的PoseCNN姿态估计网络,通过CNN提取图像特征,然后分三路进行目标分割标签标注.平移估计和姿态估计得到目标 ...
- 论文笔记01——PoseCNN:A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes
参考链接: https://blog.csdn.net/nwu_NBL/article/details/83176353 论文标题:<PoseCNN:杂乱场景中物体6D姿态估计的卷积神经网络&g ...
最新文章
- Alibaba笔试题:根据关键字求最短摘要字串
- 任务栏网速监控工具NetSpeedMonitor
- 经典编程问题之:选择排序、冒泡排序、汉诺塔游戏,均用js代码实现
- java setundecorated_java JFrame中与setUndecorated()相关的几个特效
- python将excel文件变成txt文件
- 想成为架构师,你必须掌握的CAP细节
- Tellico-经管你的收藏品
- 3.手动搭建Maven项目
- Java高并发实战,锁的优化
- 虚拟机怎么给c盘分配磁盘空间_虚拟机VMware V15.5详细图文安装教程
- vscode生成vue模板快捷键_VSCode 初次写vue项目并一键生成.vue模版
- 安装net framework3.5提示需要.net framework3.5,错误代码0x800f081f
- Python在数学建模中的简单运用
- 大数据GIS系列(2)——空间大数据处理与分析案例
- EasyDarwin开源摄像机访问EasyCamera中海康摄像头语音对讲和云台控制转发实现
- SQL 分组排序group by
- 马云:我是信念坚定的人
- 自定义jsx解析工厂函数
- redis源码阅读—hyperloglog(基数统计)
- 微信公众平台消息接口开发(8)小黄鸡(小贱鸡)机器人