无限想象空间,用Python玩转3D人体姿态估计
前言
姿态估计,一直是近几年的研究热点。
它就是根据画面,捕捉人体的运动姿态,比如 2D 姿态估计:
再比如 3D 姿态估计:
看着好玩,那这玩应有啥用呢?
自动驾驶,大家应该都不陌生,很多公司研究这个方向。
自动驾驶里,就用到了人体行为识别。
通过摄像头捕捉追踪人体的动作变化,根据肢体动作或变化角度判断人体动作行为,可用于无人车、机器人、视频监控等行为分析需求场景。
而这些的基础,就是人体的姿态估计。
再比如,虚拟形象。
通过真人驱动,让虚拟形象具备类比真人的肢体动作,并支持与3D人脸特效、手势识别等功能结合应用,让虚拟形象更加灵活生动,可用于虚拟IP驱动、肢体驱动类游戏、远程授课或播报等场景。
姿态估计,无疑有着巨大的应用价值。
但今天,咱们说的这个算法,比上文提到的,还要酷炫一些!
它就是 FrankMocap。
FrankMocap
FrankMocap 是港中文联合 Facebook AI 研究院提出的3D 人体姿态和形状估计算法。
不仅仅是估计人体的运动姿态,甚至连身体的形状,手部的动作都可以一起计算出来。
算法很强大,能够从单目视频同时估计出 3D 人体和手部运动,在一块 GeForce RTX 2080 GPU 上能够达到 9.5 FPS。
缺点就是,速度有点慢,计算量较大,达到实时性有一定难度。
不过随着硬件的快速发展,这都不是问题,「老黄刀法」很给力。
FrankMocap 算法就在这几天,刚刚开源,有 Python 和深度学习基础的朋友,不容错过。
项目地址:
https://github.com/facebookresearch/frankmocap
算法使用 SMPL-X 人体模型。
给定一张彩色图片,通过两个网络模块分别预测手部姿态和人体姿态。
然后再通过整合模块将手和身体组合在一起,得到最终的3D全身模型,整个流程如下图所示:
在具体的各个模块的实现,那就涉及具体的数学公式了。
本文就不多做扩展了,感兴趣的小伙伴,可以直接看论文。
论文地址:
https://arxiv.org/pdf/2008.08324.pdf
论文对每个模块的公式,记录的很详细。
FrankMocap 算法怎么玩?
这里有详细的安装教程:
https://github.com/facebookresearch/frankmocap/blob/master/docs/INSTALL.md
除了常规的第三方库,还需要 Detectron2 用于手部动作捕捉,以及 Pytorch3D 做姿态渲染。
推荐使用 Anaconda 配置,环境配置完毕,就可以开始体验了。
使用方法很简单:
如果只做身体姿态捕捉,可以运行如下命令:
# using a machine with a monitor to show output on screenpython -m demo.demo_bodymocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output
# screenless mode (e.g., a remote server)xvfb-run -a python -m demo.demo_bodymocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output
运行效果:
如果只做手部姿态捕捉,可以运行如下命令:
# using a machine with a monitor to show outputs on screenpython -m demo.demo_handmocap --input_path ./sample_data/han_hand_short.mp4 --out_dir ./mocap_output
# screenless mode (e.g., a remote server)xvfb-run -a python -m demo.demo_handmocap --input_path ./sample_data/han_hand_short.mp4 --out_dir ./mocap_output
运行效果:
全身的姿态估计,使用如下指令:
# using a machine with a monitor to show outputs on screenpython -m demo.demo_frankmocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output
# screenless mode (e.g., a remote server)python -m demo.demo_frankmocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output
运行效果:
总结
3D 人体全身运动姿态捕捉,可以做很多有意思的事情。
看到这项技术,你最先想到的,是能做个什么好玩的应用呢?
更多精彩推荐
打通语言理论和统计NLP,Transformers/GNNs架构能做到吗?
自拍卡通化,拯救动画师,StyleGAN再次玩出新花样
干货!高频手撕算法合集来了
放弃 Windows 后 ,开源操作系统能成为主流桌面系统吗?
起底 ARM:留给中国队的时间不多了
无限想象空间,用Python玩转3D人体姿态估计相关推荐
- 无限想象空间,用Python就能玩的3D人体姿态估计
击上方"Python爬虫与数据挖掘",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 四月南风大麦黄,枣花未落桐叶长. 1 ...
- ubuntu20.04配置FrankMocap实现3D人体姿态估计
一.初始环境配置 1.ubuntu20.04配置显卡驱动 以我的这篇文章为例子,显卡RTX2060及以下的都可以使用我的方法快速完成配置,RTX2060以上的我尚未进行尝试,请自行斟酌尝试. 联想拯救 ...
- 网络摄像头+net_今日 Paper | 神经网络结构搜索;视觉目标;人物识别;视频3D人体姿态估计等...
目录 基于进化算法和权值共享的神经网络结构搜索 检测视频中关注的视觉目标 包含状态信息的弱监督学习方法进行人物识别 基于解剖学感知的视频3D人体姿态估计 RandLA-Net:一种新型的大规模点云语义 ...
- PoseFormer:首个纯基于Transformer的 3D 人体姿态估计网络,性能达到 SOTA
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 本文分享一篇 52CV 粉丝的论文『3D Human Pose Estimation with Spa ...
- 3D人体姿态估计--Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose
Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose Project and Code: https://www.se ...
- ECCV 2020 论文大盘点-3D人体姿态估计篇
本文盘点ECCV 2020 中所有与3D姿态估计(3D Human Pose Estimation)相关的论文,总计 14 篇,其中一篇Oral 论文,7 篇已经或者将开源代码. 下载包含这些论文的 ...
- 3D人体姿态估计论文汇总(CVPR/ECCV/ACCV/AAAI)
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者:Vegetabird | 来源:知乎 https://zhuanlan.zhihu.com/p/ ...
- 视频中的3D人体姿态估计(3D human pose estimation in vide)--------Facebook research: VideoPose3D
视频中的3D人体姿态估计(3D human pose estimation in video) 解读Facebook AI Research in CVPR2019: <3D human pos ...
- 姿态估计之3D 人体姿态估计 - 总结(1)【转】
参考 3D 人体姿态估计简述 - 知乎 3D人体姿态估计(介绍及论文归纳) [2021-CVPR]Graph Stacked Hourglass Networks for 3D Human Pose ...
最新文章
- linux 虚拟环境
- 广义互相关计算TDOA
- Spring MVC中的二三事
- VMware虚拟机Ubuntu系统与物理机Windows 7系统共享文件夹
- Jenkins配置与使用
- react学习(31)----react父传子
- 完全弄懂C++中的构造与析构函数
- UIScrollView相关问题(计算分页)
- django 使用requests请求相关接口
- [python] ZZ 随机数生成
- 了解计算机中的信息编码教案,《信息编码》教学设计
- MATLAB符号函数的求导
- Excel表格将多个单元格内容合并到一个单元格中_工作中使用记录_2021-03-29
- sqli-labs第十三关--十五关
- 硬盘 SMART 检测参数详解[转]
- 直接跳转到app store指定应用页面或评论页面
- 荧光量子产率计算机模拟,如何提高荧光染料的量子产率,或许可以从这里找到答案...
- 误传了数千年的几个名句
- seism matlab,去噪方法是什么意思
- 《大数据》第1期“专题”——大数据与智慧城市
热门文章
- 再谈session共享
- 5.1 python的缩进
- 一个查看全部用户的磁盘空间使用情况的脚本
- Hash函数的安全性
- 经理人必须抛弃的十个习惯思维
- windows上安装zipMongoDB安装包
- github 视觉测量_教你如何提高双目立体视觉系统的精度
- php require_once 不起作用,关于php:require_once()或die()无法正常工作
- 链接2: excel中的截取文子串的功能------left,mid以及right函数使用
- python_day10