人体姿态估计是机器视觉的一个重要分支,在行为识别、人机交互、游戏、动画等领域有着很广阔的应用前景,是计算机视觉领域中一个既具有研究价值、同时又极具挑战性的热门课题。

本篇主要对http://pose.mpi-inf.mpg.de/#deepcut,即MPII数据集中benchmark比较高的模型进行实验。主要是DeeperCut这篇文章。

从上面网站上的前几行文字可以看出deepcut的基本思路:

Starting from a single monocular image of multiple individuals, a sparse set of body part detection candidates is computed (I). In order to incorporate various types of interactions between body parts within and across human bodies, a densely connected graph is constructed (II). The problem of multi-person pose estimation is then treated as integer linear program (ILP). Solution results into simultaneous partitioning of part detection candidates into person clusters and labeling each detection by one of the part classes (III), thus computing joint pose estimation of multiple people (IV).

其具体思路即:提出人体部件的候选区域,每个候选区域作为一个节点,所有的节点组成一个密集连接图,节点之间的关联性作为图节点之间的权重,将其作为一个优化问题,将属于同一个人的部件(节点)归为一类,每个人作为一个单独类。

其具体的示意图如下:


本文的思路具有以下几个优势: 
1)可以解决未知个数人的图像,通过归类得到有多少个人 
2)通过图论节点的聚类,有效的进行了非极大值抑制 
3)优化问题表示为 Integer Linear Program (ILP),可以有效求解

不过同样地,因为使用了自适应的Fast R-CNN来进行人体部分的检测,又使用ILP来进行多人的人体姿态估计,导致DeepCut的计算复杂度比较高。

因此才出现另一篇文章的出现:DeeperCut.

DeeperCut improves over DeepCut on three fronts:

  • deeper ResNet architectures to enhance body part detectors to generate effective bottom-up proposals for body parts
  • novel image-conditioned pairwise terms allow to assemble the proposals into a variable number of consistent body part configurations
  • an incremental optimization strategy explores the search space more efficiently thus leading both to better performance and significant speed-upfactors

可知其改进之处为:

(1)采用了Resnet来提高body part的检测,更加的有效,精度更高;

(2)使用了image-conditioned pairwise terms可以将得到足够丰富的候选区域节点压缩到一定数量的节点,而这也是整个论文的核心部分,也是stronger & faster的主要原因。如下图所示,即通过候选区域节点之间的距离来判断是否为不同的重要关节点。

测试结果:

(1)单个人的识别

(2) 多个人的人体姿态估计结果

看着效果还不错,而且运行速度算比较快的。

版权声明:本文为博主原创文章,未经博主允许不得转载。

DeepCut及DeeperCut:基于Tensorflow的人体姿态估计相关推荐

  1. 基于深度学习和传统算法的人体姿态估计,技术细节都讲清楚了

    作者 | 站长 pursueYfuture 来源 | AI专栏(ID: pursue-Y-future) 计算机视觉的一大研究热点是人体姿态估计,还有很多问题急需解决,比如遮挡,交互等等.在最近的CV ...

  2. 基于深度学习的三维人体姿态估计

    目录 ​​​​​一.技术背景 1.1 人体姿态估计 1.2 三维人体重建 1.4 构建多人场景研究情况 二. 技术方法 2.1 基础架构 2.2 重叠loss 2.3 深度顺序感知loss 四.存在的 ...

  3. 看完这篇AI算法和笔记,跟面试官扯皮没问题了 | 基于深度学习和传统算法的人体姿态估计

    点击蓝色"AI专栏"关注我哟 重磅干货,第一时间送达 这是站长的第 41 篇原创优质长文 前几天站长写的一篇的文章[基于深度学习算法和传统立体匹配算法的双目立体视觉]大受好评.这次 ...

  4. 看完这篇AI算法和笔记,跟面试官扯皮没问题了 | 基于深度学习和传统算法的人体姿态估计...

    点击蓝色"AI专栏"关注我哟 重磅干货,第一时间送达 这是站长的第 41 篇原创优质长文 前几天站长写的一篇的文章[基于深度学习算法和传统立体匹配算法的双目立体视觉]大受好评.这次 ...

  5. 看完这篇AI算法和笔记,让面试官刮目相看没问题了 | 基于深度学习和传统算法的人体姿态估计...

    点击蓝色"AI专栏"关注我哟 重磅干货,第一时间送达 这是站长的第 41 篇原创优质长文 前几天站长写的一篇的文章[基于深度学习算法和传统立体匹配算法的双目立体视觉]大受好评.这次 ...

  6. 人体姿态估计-Human Pose Estimation (2021)

    人体姿态估计 (2021) 1. 基于RGB的人体姿态估计 1.1 关键的姿态识别方法总结 1.2 Top-Down步骤 1.3 MobiPose 1.3.1 检测人 1.3.2 位姿估计 1.3.3 ...

  7. 用OpenPose进行单个或多个人体姿态估计

    在计算机视觉中,人体姿态估计(关键点检测)是一个很常见的问题,在体育健身.动作采集.3D试衣.舆情监测等领域具有广阔的应用前景,本文要使用的检测方法就是基于OpenPose的人体姿态估计方法. 一.O ...

  8. 人体姿态估计openpose学习与应用

    前言 2021年时,就有做人体姿态估计的想法,具体应用场景是想去把这个姿态估计与工厂操作工的动作结合起来,搭建一套能够监控和规范产线操作工装配动作的基于视觉的人体姿态估计系统.因为一系列的各种原因就搁 ...

  9. Tensorflow Lite人体姿势跟踪功能上线:基于PosNet的实时人体姿态估计

    点击我爱计算机视觉标星,更快获取CVML新技术 本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载. 选自medium 作者:TensorFlow 机器之心编译 参与: ...

最新文章

  1. 一起学nRF51xx 20 -  移植SDK蓝牙例程
  2. NRF24L01模块配置
  3. Gateway网关-快速入门
  4. 基于.net standard 的动态编译实现
  5. magenta内核与linux,谷歌将推出新操作系统Fuchsia:Magenta语言为内核
  6. spring容器管理对象和new对象
  7. Java BigDecimal类
  8. Python 访问限制 private public
  9. 一个远程线程注入的类
  10. 3.sf2 核心目录及文件结构
  11. php mysql过滤特殊字符_php特殊字符过滤,html标签处理
  12. (10)二进制文件方式部署Kubernetes高可用集群----------部署node节点
  13. 挠场的科学丨二、无线电力传送与特斯拉遗失的文件
  14. hibernate整合openGauss
  15. linux系统鼠标主题下载,Ubuntu Linux鼠标主题:AlkanoMB
  16. Windows下Mirth连接Sybase数据库
  17. 独立站运营到底要做什么!
  18. 【Shiro权限管理】22.Shiro之记住我
  19. IDM下载器下载百度网盘文件
  20. 读书有益——》今日简史

热门文章

  1. mysql远程主机强迫关闭了一个现有连接_asp.net连接mysql出现了远程主机强迫关闭了一个现有的连接。!!!...
  2. js sdk 一键分享 微信_微信jssdk实现分享到微信
  3. android 自定义图片容器,Android应用开发中自定义ViewGroup视图容器的教程
  4. 为什么tcp不采用停等协议_为什么TCP建立连接协议是三次握手,而关闭连接却是四次握手呢?...
  5. python网络编程--socket简单实现
  6. sosoApi 环境搭建
  7. 开源ceph管理平台inkscope部署手册
  8. QCon上海2015 架构实战热点前瞻
  9. 基于实体模型开发主题管理简析
  10. 经典密码学——行置换加密法