CVPR2019 | 微软、中科大开源基于深度高分辨表示学习的姿态估计算法
点击我爱计算机视觉标星,更快获取CVML新技术
昨天arXiv出现了好几篇被CVPR 2019 接收的论文。
其中来自微软和中国科技大学研究学者的论文《Deep High-Resolution Representation Learning for Human Pose Estimation》和相应代码甫一公布,立刻引起大家的关注,不到一天之内,github上已有将近50颗星。
今天就跟大家一起来品读此文妙处。
该文作者信息:
该文为第一作者Ke Sun在微软亚洲研究院实习期间发明的算法。
基本思想
作者观察到,现有姿态估计算法中往往网络会有先降低分辨率再恢复高分辨率的过程,比如下面的几种典型网络。
为便于表达,在下面的a、b、c、d四幅图中,同一水平线上的特征图为相同分辨率,越向下分辨率越小,在最终的高分辨率特征图heatmap中计算姿态估计的关键点。
Hourglass
Cascaded pyramid networks
Simple baseline
Combined with dilated convolutions
其中的网络结构说明如下:
作者希望不要有这个分辨率恢复的过程,在网络各个阶段都存在高分辨率特征图。
下图简洁明了地表达作者的思想。
在上图中网络向右侧方向,深度不断加深,网络向下方向,特征图被下采样分辨率越小,相同深度高分辨率和低分辨率特征图在中间有互相融合的过程。
作者描述这种结构为不同分辨率子网络并行前进。
关键点的heatmap是在最后的高分辨率特征图上计算的。
网络中不同分辨率子网络特征图融合过程如下:
主要是使用strided 3*3的卷积来下采样和up sample 1*1卷积上采样。
这么做有什么好处?
作者认为:
1)一直维护了高分辨率特征图,不需要恢复分辨率。
2)多次重复融合特征的多分辨率表示。
实验结果
该算法在COCO姿态估计数据集的验证集上测试结果:
与目前的state-of-the-art比较,取得了各个指标的最高值。相同分辨率的输入图像,与之前的最好算法相比增长了3个百分点!
在COCO test-dev数据集上,同样一骑绝尘!
在MPII test 数据集上,同样取得了最好的结果!
作者进一步与之前最好模型比较了参数量、计算量,该文发明的HRNet-W32在精度最高的同时,计算量最低!
如下图:
在PoseTrack2017姿态跟踪数据集上的结果比较:
同样取得了最好的结果。
下图是算法姿态估计的结果示例:
(请点击查看大图)
不仅仅是姿态估计
作者在官网指出,深度高分辨率网络不仅对姿态估计有效,也可以应用到计算机视觉的其他任务,诸如语义分割、人脸对齐、目标检测、图像分类中,期待更多具有说服力的结果公布。
论文代码地址
论文地址:
http://cn.arxiv.org/pdf/1902.09212.pdf
项目主页:
https://jingdongwang2017.github.io/Projects/HRNet/PoseEstimation.html
代码地址:
https://github.com/leoxiaobin/deep-high-resolution-net.pytorch
加群交流
关注姿态估计动作识别技术,欢迎加入52CV-姿态估计专业交流群,扫码添加CV君拉你入群,
(请务必注明:姿态估计)
喜欢在QQ交流的童鞋,可以加52CV官方QQ群:702781905。
(不会时时在线,如果没能及时通过验证还请见谅)
更多CV技术干货请浏览:
"我爱计算机视觉"干货集锦分类汇总(2019年1月20日)
最后推荐一个“L3自动驾驶感知决策讲习班”,3月2日在北京中科院自动化所举行,请扫码关注。
长按关注我爱计算机视觉
CVPR2019 | 微软、中科大开源基于深度高分辨表示学习的姿态估计算法相关推荐
- CVPR2019|微软、中科大开源基于深度高分辨表示学习的姿态估计算法
作者 | 周强(CV君) 来源 | 我爱计算机视觉(公众号id:aicvml) 如何挑战百万年薪的人工智能! https://edu.csdn.net/topic/ai30?utm_source=cs ...
- 深度学习人体姿态估计算法综述
https://www.infoq.cn/article/6Btg0-1crfmb7svRGa6H 人体骨架是以图形形式对一个人的方位所进行的描述.本质上,骨架是一组坐标点,可以连接起来以描述该人的位 ...
- 人工智能 信道估计 深度学习_深度学习人体姿态估计算法综述
作者 | Bharath Raj 译者 | 李志 编辑 | Vincent AI 前线导读:人体姿态估计的任务是从包含人体的图片中检测出人体关键点,并恢复人体位姿.随着深度学习的发展,越来越多的深度学 ...
- 最新综述:基于深度学习方式的单目物体姿态估计与跟踪
原文:Deep Learning on Monocular Object Pose Detection and Tracking: A Comprehensive Overview 作者:中国人民大学 ...
- matlab稀疏贝叶斯,基于变分稀疏贝叶斯学习的DOA估计
作为阵列信号处理技术的重要研究方向之一,信号到达角(DOA)估计被广泛应用到雷达.声呐等领域.以MUSIC[和ESPRIT[为代表的传统空间谱估计算法,实现简单,且空间分辨率高,但要求高信噪比以及多快 ...
- WACV2020:开源基于深度学习方法DeOccNet用来去除透视光场中的前景遮挡
作者信息 最近,国防科技大学的一个研究小组提出了一种利用阵列相机去除前景遮挡成像的新方法 作为国内外第一个基于深度学习的去遮挡成像工作,作者提出了掩模嵌入的方法来解决训练数据不足的问题,并建立了仿真和 ...
- 聚类技术---复杂网络社团检测_基于Plato高性能图计算框架的社团发现算法
近年来,图作为一种表示和分析大数据的有效方法,因为特别适合用作 社交网络.推荐系统.网络安全.文本检索和生物医疗等领域至关重要的 数据分析和挖掘工具, 而受到广泛关注. 这里的"图" ...
- 姿态估计算法汇总|基于RGB、RGB-D以及点云数据
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨Tom Hardy@知乎 来源丨https://zhuanlan.zhihu.com/p/305 ...
- 深度学习-人体姿态估计
个人微信公众号:AI研习图书馆 ID:(Art-Intelligence) 欢迎关注,交流学习,共同进步~ 1.人体姿态估计简介 人体姿态估计(Human Posture Estimation),是通 ...
最新文章
- ASP .NET Core Web Razor Pages系列教程五:更新Razor Pages页面
- php 进程 线程,php进程还是线程
- IPV6 ripng互联
- 网易有毛病,我的账号被锁了,去解锁时候又几把提示不成功,浪费劳资感情啊
- JAVA虚拟机关闭钩子(Shutdown Hook)
- vbmsgbox引用变量_vba中MsgBox的参数及用法
- oracle 最近的sql语句,oracle最近执行的sql语句
- Java8基础之super关键字
- AndroidStudio 3.4更新了啥?(转载)
- 关于Kubernetes的常见问题
- 基于redis实现分布式锁思考
- 解决ubuntu未安装无线网卡驱动的问题
- 部署全局ajax处理
- loadrunner——关联
- Java面试题:热情盛夏,分享Java大厂面试百题
- openstack学习之路-python运维(network)
- 蒙特卡洛模型之神奇的布丰投针实验
- Android使用Activity用作弹出式对话框Dialog
- CJT长江连接器公司的A2541系列线对板连接器PCB封装库
- 第1章 高瞻远瞩一一游戏开发面面观
热门文章
- STM32 - 定时器基础应用说明 - 03 - Application: timer clocking using external clock-source on ETR timer input
- 【小程序】【Tips】【实践】Json 的对象 和 Json字符串 的区别和转换
- 【架构师】【数据库基础】【笔记 01】快速了解数据库系统的重要概念02
- 大数据建设意义_大数据一体化平台打造政府智能数据库,助力智慧政务建设
- db2有主键时默认hash分区_不允许设置db2主键问题的解决
- php json decode 遍历,php json_decode 解析中文
- iphone双卡_满屏的iPhone12评测来了,看哪个不重要,买哪个才重要|iphone|国行|iphone12...
- kali安装docker和portainer
- Strust2用户注册,使用token防止刷新重复提交
- c语言api函数写病毒,C语言病毒代码,及写病毒简单介绍