文献：周文俊,郑新波,卿粼波,熊文诗,吴晓红.基于光流的快速人体姿态估计.计算机系统应用,2018,27(12):109–115. http://www.c-s-a.org.cn/1003-3254/6665.html

来源：知网

一、研究目的及意义

二、研究方法

1、方法概述

2、视频帧姿态相关性分析

3、基于光流的快速人体姿态估计框架

4、算法改进

（1）自适应关键帧检测算法

（2）关键点局部融合优化

三、实验

1、实验设置

2、实验结果

（1）定性比较

（2）定量比较

四、总结

一、研究目的及意义

针对视频对象，提出一种基于光流的快速人体姿态估计算法，利用视频帧之间的时间相关性（相邻帧之间的人体姿态表现出的运动连续性），实现人体姿态估计的加速，解决现有人体姿态估计算法计算复杂度高的问题，提升检测速度，且在一定程度上提升了对视频序列的检测性能（尤其是背景复杂、部件遮挡等问题）

二、研究方法

1、方法概述

在一个视频帧组内，首先根据人体姿态估计算法对关键帧进行人体姿态检测，而对于其他的非关键帧，计算它与前向关键帧之间的光流场信息 (时间相关性)，然后根据光流场将关键帧的检测结果传播到非关键帧上，避免了在每一帧上运行人体姿态估计算法。

2、视频帧姿态相关性分析

视频帧间相关性及人体姿态相关性效果图：

Frame——原始视频帧；

Pose——原始视频帧对应的真实姿态信息；

Flow——第 i 帧（i = 2,...,5）图像与第一帧图像之间的真实光流场，光流是在图像灰度模式下，图像间的亚像素级运动矢量，广泛用于估计连续帧之间的像素点运动；

Dsp——第 i 帧（i = 2,...,5）图像中人体关键点与第一帧图像人体关键点之间的运动矢量场，也就是视频帧之间对应相似块的运动信息。

需要注意，随着时间的推移, 当前帧 Framei（i = 2, …, 5)）与 Frame1 的人体姿态信息变化越来越大, 相关性也越来越低.

3、基于光流的快速人体姿态估计框架

方法

首先将视频帧分割成多个视频帧组确定关键帧（每个视频帧组的第一帧为该视频帧组的关键帧，其余视频帧为非关键帧）;

然后采用PAFs算法确定关键帧人体姿态信息；

最后利用轻量级光流算法Flownet2-c计算关键帧与非关键帧之间的光流信息，将关键帧的检测结果与光流场融合后，传播到非关键帧。

相关定义

$Flow_i$ ——第 i 帧图像与对应关键帧 $Frame_I$ 之间的光流信息；

$Pose_i^'$ ——将关键帧的真实人体姿态信息 $Pose_I$ 通过第 i 帧图像与关键帧之间的光流场融合后的人体姿态信息.

存在问题

（1）关键帧的选取：视频帧间相关性随着时间推移而降低，因此应思考如何选取关键帧；

（2）融合效果直接影响非关键帧的估计精度，且融合中光流计算算法对噪声过于敏感，应优化.

4、算法改进

（1）自适应关键帧检测算法

通过已有的光流场，判断两视频帧之间是否出现剧烈位移运动，从而划分关键帧与非关键帧。

算法步骤

1）第 i 帧与前向关键帧 $P_K$ 之间的光流信息 $f_i(x,y)$ ，计算局部光流信息模的累加和 Local_sum(f) 和局部光流信息的最大值 Local_max(x,y)， mask为图像中每个人的矩形掩模框并集 (如图所示, 恰好覆盖所有人的关节点)，s为关键帧所有关节点处像素点的集合.

2）确定判断阈值

将mask_sum*m(m 为掩模系数，mask_sum是关键帧中每个人的矩形掩模框并集的总面积) 作为 Local_sum(f) 的阈值。当模小于
等于10 个像素时，光流场可以有效的预测关节点的位移，所以 Local_max的阈值为10.

3）比较确定第 i 帧是否为关键帧

式 (6) 成立时第 i 帧为非关键帧，否则结束该视频帧组，第 i 帧为下一视频帧组的关键帧.

（2）关键点局部融合优化

运动物体周围的光流信息分布十分不均匀. 因此若在融合关键帧姿态信息和光流信息时, 只使用关键帧关节处的光流信息作为非关键帧关节点的运动信息, 则会因光流信息计算不准确导致关节点信息预测失败，如图所示：

采用关节点处 5x5 邻域的光流信息代替关节点的运动信息, 以提高融合预测的准确率。

$Df(x_i,y_i)$ ：关键帧关节点处5×5邻域的光流信息的均值；

$P^{'}(x_i,y_i)$ ：非关键帧关节点坐标， $P(x_k,y_k)$ 是关键帧关节点坐标.

三、实验

1、实验设置

框架：caffe

硬件：Intel i5，8G内存，单张GTX 1070的机器上测试

数据集：OutdoorPose 数据集和HumanEvaI 数据集

评价指标：帧率评估算法检测速度，PCP评价标准评估算法对人体各部件估计准确度

2、实验结果

（1）定性比较

与PAFs比较，可以看到在复杂环境下本文算法较原算法PAFs在一定程度上可增加人体姿态检测的检测性能.

（2）定量比较

OutdoorPose 数据集上，本文算法较PAFs算法在检测准确度上提升1.3%，检测帧率提升87.5%；

HumanEvaI 数据集上，本文算法较PAFs算法在检测准确度下降1%的情况下，检测帧率提升 91.8%.

四、总结

本文以视频为对象，利用视频帧之间的时间相关性，提出基于光流的快速人体姿态估计算法，将视频分为视频帧组，然后每一个视频帧组中，分为关键帧和非关键帧，首先对关键帧进行人体姿态估计，然后将关键帧与非关键帧计算得到两者间的光流信息，最后将关键帧人体姿态估计结果和光流信息融合，得到非关键帧的人体姿态估计结果，这样有利于减轻计算复杂度，且一定程度改善复杂背景、遮挡等问题，同时从关键帧检测和融合算法两方面对算法进行了优化。

【论文阅读】基于光流的快速人体姿态估计相关推荐

快速人体姿态估计：CVPR2019论文阅读
快速人体姿态估计:CVPR2019论文阅读 Fast Human Pose Estimation 论文链接: http://openaccess.thecvf.com/content_CVPR_201 ...
PoseFormer：首个纯基于Transformer的 3D 人体姿态估计网络，性能达到 SOTA
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达本文分享一篇 52CV 粉丝的论文『3D Human Pose Estimation with Spa ...
电子科大提出“姿态蒸馏”算法-实现快速人体姿态估计
关注我爱计算机视觉,一个有价值有深度的公众号前几天52CV曾经报道过一篇文章:17毫秒每帧!实时语义分割与深度估计其中用到知识蒸馏方法,实现了超快速的同时语义分割与深度估计,该文引起极大关注,未经 ...
Tensorflow Lite人体姿势跟踪功能上线：基于PosNet的实时人体姿态估计
点击我爱计算机视觉标星,更快获取CVML新技术本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载. 选自medium 作者:TensorFlow 机器之心编译参与: ...
快速人体姿态估计--Pose Proposal Networks
Pose Proposal Networks ECCV2018 本文使用 YOLO + bottom-up greedy parsing 进行人体姿态估计 its total runtime usin ...
基于单目的3D人体姿态估计
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者:彡枫| 来源:知乎 https://zhuanlan.zhihu.com/p/148251873 ...
论文阅读—基于采样的快速区域优化
kRRT* Kinodynamic B-RRT* 选取吸引点实验 [前端]双向运动,缩短时间,通过采样方向划定有偏采样,实现轨迹的区域优化(A*产生吸引点),减少迭代次数 [后端区域优化]5阶多项式 ...
3D人体姿态估计（介绍及论文归纳）
推荐镜子大佬的知乎 2D 多人姿态估计论文汇总.分类与简介 2D多人姿态估计指南:热图回归与坐标回归流程指南 openmmlab微信公众号里的3DHPE综述 opemmlab框架下的MMPose库,有 ...
基于深度学习和传统算法的人体姿态估计，技术细节都讲清楚了
作者 | 站长 pursueYfuture 来源 | AI专栏(ID: pursue-Y-future) 计算机视觉的一大研究热点是人体姿态估计,还有很多问题急需解决,比如遮挡,交互等等.在最近的CV ...
ICCV 2019 | 基于无标签单目视频序列的单帧三维人体姿态估计算法
作者丨王璇学校丨西安交通大学研究方向丨人体姿态估计我们都知道,要训练一个准确的三维人体姿态估计深度神经网络,需要大量有三维标签的数据,越多越好.而在现实生活中,我们很难得到很多有标签数据,而无标 ...

【论文阅读】基于光流的快速人体姿态估计

一、研究目的及意义

二、研究方法

1、方法概述

2、视频帧姿态相关性分析

3、基于光流的快速人体姿态估计框架

4、算法改进

（1）自适应关键帧检测算法

（2）关键点局部融合优化

三、实验

1、实验设置

2、实验结果

（1）定性比较

（2）定量比较

四、总结

【论文阅读】基于光流的快速人体姿态估计相关推荐

最新文章

热门文章