BlazePose: On-device Real-time Body Pose tracking
（吐槽：标题为啥最后一个单词是tracking而不是Tracking）
谷歌研究院提出的用于边缘设备上运行的单人人体姿态估计算法，思路很清奇，和之前的做法有很大的不同。
- 使用face detector检测人体而不是body detector。作者发现，使用body detector的话受场景中密集人群遮挡的影响，而且遮挡严重状态下，body detector的confidence值不会很高。而人的头部一是不容易被遮挡，二是在神经网络中该出的响应值往往是最高的。因为，文章使用了一个face detect，并额外输出当前人的middle hips point，size of the circle circumscribing the whole person, incline(根据后文的意思来看，这个incline就是 middle hips point 和 middle shoulder point 的连线和y轴的夹角)。这样，首先就有了一个轻量化的person detector。
- 网络是有两个部分组成，分别是keypoints detection部分和keypoints regression部分。这个网络新颖的地方在于，在训练阶段，keypoints detection和regression一起训练，但两者之间仅有feature的连接，gradient不传播。在测试的时候，砍掉detection部分，仅保留regression部分，这样可以加快运行速度。文章通过实验证明这种方法在大幅加速的同时也没有损失精度，网络结构如下图所示：
- 另外在训练阶段，文章针对模型的应用场景，针对性的对数据增强部分做了限制，这样降低了模型学习复杂场景的能力，但能让模型更快的去学习真实场景下的数据。
- 除了pose detect部分，整体模型还包含了一个pose tracker用来做跟踪。按照文章的意思来说，如果在当前帧pose tracker部分能够预测到下一帧中pose的位置的时候，pose detector就不会运行，会一直使用pose tracker的结果，否则就会运行pose detector重新初始化pose tracker。这一块应该就是tracking-by-detection部分的具体逻辑，不必要每次都运行pose detector，而仅仅在tracker失败的时候再运行pose detector。
- 文章最后在自己创建的数据集上，将自己的模型和openpose的做了比较，当然是速度远超openpose精度略差（openpose在这数据集上没有预训练，用来比较是否有点不妥）
- 所以最终是BlazeFace + BlazePose + BlazePalm，blaze家族大集合。下面是一些结果，还是很不错的
BlazePose: On-device Real-time Body Pose tracking相关推荐
- 【BlazePose】《BlazePose: On-device Real-time Body Pose tracking》
arXiv-2020 文章目录 1 Background and Motivation 2 Advantages / Contributions 3 Method 4 Experiments 5 Co ...
- 人体姿态跟踪--Pose Flow: Efficient Online Pose Tracking
Pose Flow: Efficient Online Pose Tracking https://github.com/MVIG-SJTU/AlphaPose 本文主要是关于人体姿态跟踪方面的内容. ...
- se(3)-TrackNet: Data-driven 6D Pose Tracking by Calibrating Image Residuals in Synthetic Domains
转载请注明作者和出处: http://blog.csdn.net/john_bh/ Arxiv 地址:se(3)-TrackNet: Data-driven 6D Pose Tracking by C ...
- 论文笔记（一）：se(3)-TrackNet: Data-driven 6D Pose Tracking by ...... in Synthetic Domains
se(3)- TrackNet:Data-driven 6D Pose Tracking by Calibrating Image Residuals in Synthetic Domains 文章概 ...
- 论文笔记（十四）：PoseRBPF: A Rao–Blackwellized Particle Filter for 6-D Object Pose Tracking
PoseRBPF: A Rao–Blackwellized Particle Filter for 6-D Object Pose Tracking 文章概括 摘要 1. 介绍 2. 相关工作 3. ...
- 论文笔记（三十）：Counter-Hypothetical Particle Filters for Single Object Pose Tracking
Counter-Hypothetical Particle Filters for Single Object Pose Tracking 文章概括 摘要 I. 简介 II. 相关工作 A. 机器人的 ...
- 《Pose Flow: Efficient Online Pose Tracking》论文解读之PoseFlow
工作组:上交卢老师团队 发表处:BMVC 开源代码:https://github.com/YuliangXiu/PoseFlow 独立版本 GitHub实现:https://github.com/MV ...
- 【人体姿态追踪】Pose Flow: Efficient Online Pose Tracking 【解读】
工作组:上交卢老师团队 发表处:BMVC 开源代码:https://github.com/YuliangXiu/PoseFlow 参考博客:https://blog.csdn.net/m0_37644 ...
- 【Simple Baselines】《Simple Baselines for Human Pose Estimation and Tracking》
ECCV-2018 文章目录 1 Background and Motivation 2 Advantages / Contributions 3 Method 3.1 Pose Estimation ...
最新文章
- LeetCode Paint House II
- python语言入门n-Python基础语法学习笔记
- Python基本数据类型 set(）
- 【Redis学习】Redis持久化
- CVS 客户端使用手册
- netcore开源框架_Mono和.NET Core 从比翼双飞到合体
- 字节软件测试岗二面：APP测试问题被虐哭了，直到看到这些知识点
- 拓端tecdat|R语言马尔可夫MCMC中的Metropolis Hastings，MH算法抽样（采样）法可视化实例
- 被封杀4年的看片神器终于解禁了，要跟百度网盘抢生意？
- Python简单数据清洗
- 流程图制作软件绘图技巧：快速学会怎么画流程图
- The Fifty-eighth Of Word-Day
- 【Microsoft Office】免密破解Microsoft Word文档(.docx)的文档保护
- 单页Web设计优秀案例
- html多个背景音乐自动播放,多个背景音乐同时自动播放?
- 计算机学院考研动员大会,计算机科学学院召开考研动员大会暨经验分享会
- C# thread和delegate lambda函数结合的一段code
- 安卓的NFC开发，简单入门
- 第四方汇聚支付接口对接Php
- 微信可以改彩色昵称了