清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚
梦晨 发自 凹非寺
量子位 报道 | 公众号 QbitAI
来自清华的研究团队发布了一段视频:
两人打球的动作精准又流畅地被右下角的笔记本电脑捕捉到。
但是房间里没看到摄像头,两人身上也好像没穿戴什么装备?
印象中的全身3D动捕的一套装备和场地布置,可是这样的:
△光学动捕,《最后生还者》拍摄现场
或是这样的:
△惯性动捕
最轻便的也得有5、6斤,价格便宜的就更重了能达到10几斤。穿在身上影响动作的灵活性,而且很快就会累了,基本无法日常使用。
视频中的装备,后面标记出来才看到,两人身上各自只戴了6个小型惯性传感器,还是无线的。
现在市面上的VR设备主要用的是光学动作捕捉。
要知道VR刚出来那会不管有线无线,最大的障碍是要在房间周围摆上3到6个柱子。
后来简化成了头戴设备上的摄像头向外扫描周围的环境实现定位,加上两个手柄上的惯性传感器,如PSVR。
但动作捕捉的范围就只能是以头部和手部为主,腿部动作一直是难题。移动只能在画面里前进,并不能将腿部的具体动作在游戏中表现出来。
△VR游戏《半条命:Alyx》中的移动方式之一
或者健身环,简单地检测到你在抬腿,再模拟成游戏中固定的腿部动画,或借用游戏中的交通工具。
而现在,清华大学的新方法,可以实时捕捉跳跃和蹲爬,帧数都是90fps:
跨越障碍,甚至是躺下打滚都没问题:
除了能跟踪人体的全身动作,还能实现在空间上的定位。由于不需要固定的传感器,长距离移动也没问题。
与光学动捕相比,惯性动捕还有两个好处。一个是不怕环境障碍物遮挡。
第二个是对照明环境没有要求,夜间也可以。
除了个人VR游戏外,新的惯性动捕技术还可能降低商业动作捕捉的成本,让小规模的制作团队也有机会用上。
在游戏和动画电影中,动作捕捉摄影棚是这样的:
这恐怕只有大公司才承担得起了。
除了娱乐外,动作捕捉技术在医疗领域也有应用,可以用数据指导伤者更好地进行康复训练。
双向循环神经网络
这么好的方法是怎么实现的呢?原来是靠深度学习。
研究团队分阶段将动作捕捉拆成3个子任务。先从惯性数据算出5个主要节点头部和四肢的位置,再细化成全部23个节点的位置,最后通过反向动力学 (IK)求解。
由于预测连续的动作不仅要依赖前面的计算结果,还要参考后面一层的结果。所以在这一步用到的是双向循环神经网络 (biRNN)。
在空间定位问题也是拆成两部分。一个是脚与地面接触的概率分布,再结合根结点的速度,算出在世界坐标的速度,同样用到RNN与biRNN。
对于不同的任务使用不同的公开数据集进行训练,包含300名受试者超过40小时的姿势和空间位置参数。
与之前的研究相比,任务拆解的方法有助于用更少资源获得更高帧数,可以胜任高速运动的捕捉。
并且实现了动作捕捉的同时进行空间定位。
不过,还是有两点不足。一个是动作捕捉的效果依赖于训练数据集,对训练集中没有的动作效果就一般。
还有在计算脚与地面的接触概率分布时,假定了接触时脚是固定不动的,不能适用于滑板等运动。
作者团队
本项目论文已被计算机图形顶会SIGGRAPH 2021接受。
研究团队来自清华大学北京信息科学与技术国家研究中心和软件学院。
徐枫团队副教授团队,第一作者伊昕宇。
项目地址:
https://xinyu-yi.github.io/TransPose/
论文地址:
https://arxiv.org/abs/2105.04605
清华大学用6个无线传感器搞定全身动作捕捉,可跑可跳可打滚相关推荐
- UE5全身动作捕捉和VR技术即将上架
哈喽,大家好,我叫人宅,很高兴和大家一起分享一下我们即将上架的课程: 全身动作捕捉 + VR技术 课程具体有哪些内容呢? 1.全身动作捕捉研发 全身动作捕捉数字人技术 这快我们将会采用自研的方式来. ...
- js最小化浏览器_Handtrack.js 开源:3行JS代码搞定手部动作跟踪
作者|Victor Dibia 译者|薛命灯 近日,GitHub 上开源了一个名为 Handtrack.js 的项目,有了它,你只需要 3 行代码就能用来检测图片中手的动作. 演示地址:https:/ ...
- 甘肃非税收缴实现“一网通办”:随时随地扫码“搞定”
图为兰州车管所综合业务大厅科员李宝宁办理业务. 魏建军 摄 图为兰州车管所综合业务大厅科员李宝宁办理业务. 魏建军 摄 中新网兰州1月18日电 (记者 魏建军)"每笔业务生成以后,缴款人凭缴 ...
- 清华大学计算机博士,带你搞定大厂面试题
这是我的一个粉丝向我求助的一个大厂面试问题.很多人看到这道题第一个想到的一定是二分法,但其实不一定是往这个方向解题的.还有一部分学过数值计算的同学,能想到用牛顿迭代法,但其实这两个方法都不是最好的解法 ...
- 京东DNN Lab首席科学家:用深度学习搞定80%的客服工作
京东DNN Lab首席科学家:用深度学习搞定80%的客服工作 发表于2014-12-30 18:05| 6968次阅读| 来源CSDN| 8 条评论| 作者周建丁 深度学习京东dnn自然语言处理 ...
- 10分钟搞定miniconda-python环境安装
windows配置python环境 每次到一个新电脑就要安装环境,很多包安装起来很麻烦,下面对安装地址和常规使用包做了总结,一键安装所有包不用再一个一个找了!所有问题10分钟搞定! 1. 安装Mini ...
- linux可以怎么玩(以阿里云Ubuntu服务器为例)(三)——Python零代码搞定个人云盘
笔者之前只搭建FTP服务器,用来传文件当"网盘",有点儿low,可是别的不会呀,今儿逛github看到这个updog库,几行代码搞定个人云盘,心动不如行动,走起!当然,你也可以在学 ...
- 17天搞定GRE词汇--留留学论坛
昨天经同学推荐今天上网找了一篇关于17天搞定GRE词汇的方法总结,来自流露学论坛,原文地址如下:http://bbs.66xue.com/thread-118553-1-2.html -------- ...
- 杨鹏《十七天搞定GRE单词》
杨鹏<十七天搞定GRE单词> 作者:杨鹏 孔子曰:"豫则立,不豫则废",意思是凡事如果不做好计划,必将失败.老祖宗的话今天已经成为了工商管理界的金科玉律.能否成功地使用 ...
最新文章
- GPT3后可考虑的方向-知识推理与决策任务及多模态的信息处理
- 亚1纳米制程晶体管,一个碳原子栅极厚度:清华重大突破登上Nature
- 全球机器学习领域顶尖的16家公司
- 2015年第六届蓝桥杯C/C++ A组国赛 —— 第三题:显示二叉树
- 操作系统的中断,陷阱,异常
- 关于eclipse解压安装的问题
- 树莓派外设开发基础(wiringPi库)
- 95-872-055-源码-CEP-Pattern API
- OAuth2.0_授权服务配置_授权码模式_Spring Security OAuth2.0认证授权---springcloud工作笔记144
- 关于Java里try/catch/finally/有return时执行过程
- JavaScript 进阶问题列表
- marathon传参一
- 【优化算法】多目标水母搜索优化算法 (MOJS) 【含Matlab源码 248期】
- java检索账号和密码_如何从数据库中检索密码
- python二级题库(百分之九十原题) 刷题软件推荐
- C语言改变运行界面的颜色以及清屏功能
- 多媒体(流媒体)技术领域及开源系统,媒体库数据如音乐、图片问题等-(图像,音视频)
- 解决Google-Chrome浏览器无法打开Kubernetes-K8S-Dashboard页面
- java两张图片拼接
- 计算机网络教程第五版|微课版 - 第五章 运输层 - 习题【补充】
热门文章
- .net微信扫码支付
- 智慧能源发展方向、应用趋势
- php img本地图片路径,php 替换文章中的图片路径,下载图片到本地服务器的方法
- LFO 低频振荡器简介及其 C/C++ 实现
- 前端——使用JavaScript(jQuery)通过身份证号获取籍贯、生日、年龄、性别
- 在cmd运行java_用cmd运行java时的问题
- [python爬虫]爬取微信公众号
- Windows Server 2008 域操作(创建域、加入域、创建普通用户、组策略管理设置)
- Day04 关键字、标识符、变量及运算符
- 《游戏引擎浅入浅出》