把苹果全家桶用于VR全身追踪是什么体验
此前,青亭网曾报道了一项无需摄像头的VR全身追踪方案:Standable: Full Body Estimation(简称SFBE),这套方案就是利用了头显+双手柄数据来模拟预测全身动作数据,效果还算不错。
近期在CHI2023活动上,卡内基梅隆大学Future Interfaces Group科研团队公布了一项类似的研究:IMUPoser,这是一个基于IMU定位的全身姿态预测方案,特点是利用iPhone、Apple Watch、Airpods等常用的电子产品来为VR提供全身追踪数据。相比于此前研发的摄像头全身追踪方案,IMUPoser方案更容易使用,而且成本更低,无需额外的硬件。
在VR中追踪全身难?
为了让VR更容易上手,Meta已经停产了PC VR产品,开始主推VR一体机,并获得了市场广泛欢迎,引发了VR硬件潮流。VR一体机的好处是开箱即用,戴上就能玩,但在功能、硬件性能上依然有局限。
比如为了避免额外的设置和成本,Quest一体机并没有官方的全身追踪配件,在VR中操控全身Avatar时,只能靠头手三点定位和IK算法来预测下半身动作。
此前,FIG曾探索在Quest手柄上加入广角相机来追踪下半身,这样的方案虽然可行,但需要复杂的计算,而且增加了成本。相比之下,如果用几乎人人都有的手机来定位全身姿态,似乎更容易上手。与用手机摄像头追踪姿态不同,IMUPoser使用IMU来定位,这也是VR追踪模块常用的技术,区别是人们更常使用手机、耳机、智能手表,使用IMUPoser意味着无需穿戴特殊的硬件,就能预测全身姿态。
实际上,苹果此前已经为类似的方案申请专利,考虑到苹果拥有比较完整的软硬件生态,而且其穿戴设备通常都具备加速度计、陀螺仪等运动检测传感器,可以很好的定位。未来也许可以让AR/VR头显、手机、智能手表、耳机等设备联动,从而实现全身动作追踪。
算法预测全身姿态
IMUPoser方案的一大重点,是将从手机、智能手表等设备收集(本文用苹果生态,结合 iPhone、以及可选搭配Airpods、Apple Watch,并用MacBook进行数据回流)的数据整合,并计算出用户的全身姿态。其使用的算法基于定制的双向LSTM模型(长短记忆模型),输出SMPL动捕模型。
而手机、手表、耳机可为全身姿态追踪提供足够数据,包括四肢的位置,以及站立、蹲坐等状态。另外,可通过距离传感器识别手机在口袋内部还是外部。还能根据智能手表和手机之间的距离(基于UWB定位),来识别手机在哪个口袋、哪只手上。
当然,IMUPoser定位不仅限于手持手机的场景,当你将手机放在裤兜时,也可以分别追踪左右腿。耳机也是如此,可以放在口袋中。因此可能会出现24种最有可能的搭配,比如智能手表和手机在同一侧手臂上,或是耳机和手机在同一个口袋中。在一些场景中,甚至只能通过一个设备(耳机、手机或手表)来定位IE,全身定位数据不完整。
由于缺少四肢的绝对位置数据,该方案并不是完全准确,经测试手机的实时定位准确性约90.8%,智能手表和耳机的定位准确性接近100%。但当追踪数据小于最低标准时,则需要用预测算法来补偿。比如在预测姿态时可能需要插入预设动作。当IMUPoser识别到用户在行走时,便会假设没用手机、手表定位的一侧手臂、腿也在移动,只是和另一侧不同步(基于人的自然步行姿态)
应用前景
科研人员指出,全身追踪可用于多种场景,比如健身、移动游戏、情景感知、虚拟助手、康复训练等等。
那么IMUPoser能取代更专业的全身动捕工具吗?在准确性上,它还不够,但它可以用来完善、补充已有的运动追踪设备,比如AR/VR头显。
除了数据量不稳定外,IMUPoser的其他限制还包括IMU定位的噪声等等。而且在追踪上半身动作时,如果缺少一只手臂的位置数据,IMUPoser则会复制追踪到的另一只手动作。比如,当你举起一只手打招呼,系统预测的结果却是举双手。
经过验证,科研人员发现下半身追踪最准确的情景,需要用到双腿IMU数据(两个裤兜分别放了手机、耳机)。在缺少部分腿部数据时,则可根据双腿运动的相关规律,来预测出比较合理的动作。参考:acm
把苹果全家桶用于VR全身追踪是什么体验相关推荐
- 手撸一个Flutter插件实现跨苹果全家桶云同步持久化Key Value数据
前言 作为一个客户端开发者,后端开发一直是我的弱项.虽然GPT的横空出世,让我对后端的开发有一点眉目.但是现实是,能不触碰就不触碰,因为人的精力是有限,如何在有限的时间里发挥最大的作用一直是我的一个追 ...
- 苹果手机软件升级密码_拥有苹果全家桶以后那些事
iPhone手机用的人不少,有人说好用也有人说功能不如安卓多:iPad多数情况是买前生产力,买后爱奇艺:Apple Watch一块电子表,高端商务人群看不上,安卓用户用不了:Mac电脑,价格贵.硬件没 ...
- 【宇麦科技】苹果全家桶如何联动群晖NAS,让你的“苹果”更香
使用群晖 NAS 的同学 不少也是 iPhone 的用户 这一期准备了一份小攻略 让您的设备更有价值! iPhone 使用手机,换新机是必然的,同时肯定避免不了迁移文件.每次迁移最怕的就是新手机变成了 ...
- 程序员真的可以轻松来一套苹果全家桶吗
本周发文章的时候突发奇想,于是起了个题目,如何快速来一套苹果全家桶,发完了以后就在想一套苹果全家桶到底想要多少钱? 那我们就来算一算,看是不是真的能通过跳槽快速来一套苹果全家桶. 在这里我们只统计程序 ...
- 苹果全家桶“变态”升级:史上最便宜产品全来了
本文转载自硅星人 让你对苹果的爱始于颜值,忠于性能. -- 文|Lianzi 编辑|Vicky Xiao 如果说你对过去很多场苹果发布会都能平静如水的对待,那今天这场为时一小时的发布会绝对能让你 ...
- Vue全家桶 + webpack 构建单页应用初体验
文章指南 主题 承接这上一篇Vue + Webpack 构建模块化开发框架详解,我们知道了如何使用webpack对vue进行打包,从而开始我们的前端模块化开发之路,这一篇在上一篇的基础上讲解 Vu ...
- 苹果全家桶,十四块屏幕间的爱情
所有动画片段事先制作好并存储在各个设备上,然后同步启动.按序播放,于是有了这个在14部苹果终端穿梭际遇的爱情故事. 苹果这个创意视频,难道是告诉我们:爱情坎坷,多买苹果? 查看视频链接
- 如何快速来一套苹果全家桶
答案很简单,那就是赶紧刷好LeetCode跳个槽加个薪,电子产品什么的不在话下,哈哈. 好了,让我们继续刷LeetCode吧. 如果给你一个找规律的题目1,2,3,5,? 下一个是多少? 大家在读书时 ...
- 在Windows系统删除苹果全家桶软件的顺序
移除和重新安装适用于 Windows 7 及更高版本的 iTunes 及相关软件组件 - Apple 支持 (中国) 移除和重新安装适用于 Windows 7 及更高版本的 iTunes 及相关软件组 ...
最新文章
- 第24讲 | 比特币专题(一)历史与货币
- AngularJs中的directives(指令part1)
- 解决ngnix服务器上的Discuz!x2.5 Upload Error:413错误
- Java调用百度OCR文字识别的接口
- 4-3利用神经网络解决分类和回归问题(1)
- 利用win10自带的工具测硬盘读写速度
- linux硬盘速率测试,【Linux】测试硬盘读写速度
- 初学者使用HTML简单做一个自我介绍
- GIS的下个十年(Cary Mann, vice president, Bentley)
- JavaScript 进阶知识 - 特效篇(一)
- Unity拼图小游戏
- 那些年,我追过的经典电视剧
- css中reset属性详解,css中如何使用counter-reset属性
- echarts多线图表 提示框自定义
- MakeItTalk: 让图像开口说话!
- Axure 8.1 正式版 下载地址+密钥
- surface go升级win11
- ZigBee的发展也有“碎片化”
- GCT的考试成绩终于出来了!
- 【原创】基于WinForm的水晶报表开发