Reality Labs首次向媒体开放，空间音频、EMG腕带体验大公开

今年6月，Tested带大家参观了Reality Labs的光学显示部门，让我们看到了Meta正在研发的4款VR头显原型。而在近期举行的Connect期间，Meta再次将Reality Labs向外界开放，并展示了EMG腕带、Codec Avatar等研发项目的最新进展和上手体验效果。

据了解，Meta这是首次向媒体开放Reality Labs，除了技术讲解外，参观者也可以体验部分技术，这也许是我们离Meta前沿技术最近的一次。以下是外媒CNet参观Reality Labs后的体验感：

一，EMG腕带

EMG腕带是和现有技术完全不同的输入语言，前期可能与手机、VR手柄的操作界面有相似之处，但随着时间的推移人和EMG腕带会互相适应。互相适应指的是人和机器一起学习，将神经接口和运动接口融合，寻找一种符合人体运动规律的及其输入方式。这不是一种新的语言，而更像是在现有的人机交互基础上的升级。扎克伯格表示：物理键盘不支持共同适应，但是智能输入法可以学习你的习惯，而EMG腕带将可以做更多。

目前，EMG腕带的准确率还不够高，无法识别快速的打字动作，但最终它将作为AR眼镜等设备的输入方式。当前，Reality Labs主要在验证EMG手环的实际效果和简易的使用方法。比如通过互相适应原理，使用者只需要细微的动作就能控制EMG手环，肉眼看起来好像手没有活动。

除了控制AR界面外，EMG手环也可以辅助行动不便的人进行输入。实际上，这项技术与一些仿生义肢所采用的技术差别不大。

扎克伯格表示：腕带是AR眼镜的关键，因为我们不想随身携带控制器，而且语音和手部跟踪还不够好。但最终他计划让这些类型的控件完全适用于AR/VR等任何设备。

在Reality Lab，Meta展示了一种连接电脑的EMG腕带，佩戴者移动手指，就可以控制卡通人物在游戏中来回滑动。在经过一段时间适应后，体验者的手似乎停止了移动，但仍然可以玩游戏。这是因为，EMG腕带可使用肌电图来测量微小的肌肉冲动。Reality Labs神经运动接口总监兼CTRL-Labs前首席执行官Thomas Reardon表示，基于反馈的训练过程逐渐允许佩戴者开始缩小他们的动作，最终只使用一个运动神经元。

这项演示看起来很神奇，有点像读心术，但短时间内可能不会实际应用。Reality Labs首席科学家Michael Abrash表示：长期来看，我们希望拥有一个与处理物理世界一样自然和直观的界面，这就是EMG腕带和神经输入方案的目标。未来，Meta希望EMG腕带可以支持更多控制，大约经过5-6年可能才会广泛应用。猜测也许和Meta的AR眼镜进度一致。

此外，使用Meta腕带的人似乎很容易做出动作，但这些都是基本的滑动游戏控制，未来如何在日常AR眼镜中用于更关键的日常使用呢？根据扎克伯格的说法，目前的目标是让技术发挥作用，并通过自适应学习来最终缩小反应动作。

二，空间音频

Meta希望将空间音频技术用于AR眼镜，比如将3D音频放置在房间中，为用户带来身临其境的听觉感受，此外空间音频可以作为AR图像的补充，让AR像是存在/固定在空间中，更令人信服。

值得注意的是，这项技术不仅会识别声音来源，还可以识别回音的方向。实际上，Meta试图做的不仅仅是让音频看起来像是来自不同方向，而是投射音频，让它看起来像是真的来自你的物理房间空间。而未来还会使用手机摄像头来调试个人3D音频，就像是AirPods新推出的个性化空间音频功能那样，但多了逼真的空间映射效果。

据了解，Meta为了研发空间音频，曾斥资数百万美元打造消音室，这个消音室由泡沫墙做成，其中配备了数十个扬声器，来营造空间音频的声音场景，供麦克风识别。体验者表示：在部分情况下，Meta 3D音频的效果足够逼真，当我闭上眼睛时，仿佛可以通过声音感受到有人在周围走动，在我耳边说悄悄话，或是站在我身后。值得注意的是，体验者听3D音频时需要坐在固定的位置，不能移动。

另外一个体验，则是让人分辨声音来自周围的4个音响，还是来自空间音频耳机，结果体验者没能成功分辨，耳机的音效听起来就像是空间中的音响。这个耳机原型并非包耳式设计，而是与人耳有几厘米距离，就像是Index等VR头显采用的耳机设计。

空间音频的一个潜在应用场景，就是AR/全息通话，可以让你更加相信虚拟的通话者和你在同一空间中。外媒CNet表示：通过Reality Labs提供的几种音频体验，我发现该公司的空间音频比我之前体验过的其他技术要好很多，不过短时间内该技术可能还不会实际应用。

三，3D扫描

Reality Labs的研究方案不同之处在于未使用LiDAR传感器。Meta的目标是通过神经辐射场来优化移动摄像头3D扫描的结果，以适合更多种手机型号。Reality Labs的扫描过程大约几分钟，扫描结果的质量不错，可能比非专业人士用手机LiDAR扫描的3D图像效果更好，不过还是有一些肉眼可见的瑕疵。

Reality Labs还演示了一个基于VR的辐射场体验，简单来讲就是通过图像中光的图案来生成细致、逼真的3D模型，然后在Quest Pro头显中以VR形式显示并交互。体验者表示，Meta扫描了多刺的仙人掌和毛茸茸的小熊，在VR中查看这些物体的模型时，可以看到很多逼真的细节（如毛发、刺等等）。此外，这些3D模型还可以模拟实时的光影变化，与虚拟场景产生互动（比如台灯）。

简单来讲，Reality Labs希望通过移动端3D扫描来生成支持物理交互的3D模型，并将这些3D模型引入VR内容开发中。不过，目前这项技术还需要数小时计算才能生成3D模型，还不能实际应用。体验者表示，尽管3D扫描质量和3D模型融合效果还不够理想，但Reality Labs展示的技术让我们看到了更好的虚实融合的可能。

不过考虑到目前市面上已经有不少可用于AR/VR的优质3D扫描和渲染方案，由于还不清楚Meta的3D扫描方案有多快、多容易使用，因此很难判断它是否在日常使用中足够有效。总之，尽管手机已经可以实现3D扫描，但其实际效果还不够理想，还没到任何人都能使用的水平。

四，Codec Avatar

在Reality Labs，外媒还体验了Meta第二代Codec Avatar，体验过程是通过逼真的虚拟化身在VR中与其他人远程交流。Meta在演示Codec Avatar时采用了一种特殊的面部追踪原型，而并非使用Quest Pro，面部追踪原型的效果似乎会更好，可捕捉到快速变化的面部表情。

体验者表示：我在VR中看到了讲话人上半身虚拟化身，但画面较暗，仿佛在暗房用蜡烛打光。据悉，体验中使用了基于可调光源容积捕捉制作的3D虚拟化身，展示虚拟化身的光影对比度是重点，可能因此才将通话场景设置的较暗，这样虚拟化身的细节可以看得更清楚。另外，也可能是受到VR硬件渲染能力的限制。

图像质量方面，体验者表示：Codec Avatar看起来很逼真，我可以在很近的距离查看Avatar的嘴唇动作，以及眼神、微笑、皱眉等面部表情，我感觉自己就像是在跟超逼真的PS 5游戏角色交谈。而且这种通话体验有点面对面对话的感觉，对面的人可以实时做出动态表情。

不过，Meta不认为Codec Avatar会很快在VR一体机中快速应用，一方面是因为VR一体机的算力有限，另一方面就是目前所使用的动捕技术还不适合所有人。

除了Codec Avatar二代外，还展示了精简版的逼真头像方案：Instant Codec Avatars，可通过手机摄像头来进行面部建模。移动端扫描方案需要30秒扫描，90分钟捕捉表情动作，接着还需要几小时去生成3D头像，可应用于移动设备或VR。体验者表示：Meta演示的3D Avatar看起来比我自己用手机扫描的效果还好。不过，这个精简的版本看起来比较僵硬，头部的运动不多，看起来有点像是某种半身人像动画，有点不自然，而且效果甚至还不如Meta Avatars流畅。

另外，Reality Labs还展示了全身Codec Avatar和更换虚拟服装的效果。体验者表示：Reality Labs演示的虚拟服装效果和Codec Avatar虚拟化身一样好，服装材料的褶皱、变形看起来很自然。通过Codec Avatar逼真的换装功能，也许未来Meta还可以发展某种高质量的虚拟服装商业模式和生态。

最后，Reality Labs首席科学家Michael Abrash分享了Meta对于元宇宙的未来愿景。Abrash认为，元宇宙可能会成为继互联网、PC以来最大的一次计算迭代。在Meta、苹果、谷歌、NVIDIA等巨头投资下，AR/VR、3D互联网很有可能会成为现实。

毫无疑问，Meta在AR/VR、元宇宙相关技术进行大量投入，但面对经济大环境增长放缓时，Meta接下来将如何应对？能否为了长期的元宇宙目标而持续投入研发呢？这些都是未来我们需要关注的问题，时间才能告诉我们答案。Reality Labs首席科学家Michael Abrash表示：我很确定在未来20年，AR/VR将成为我们互动的方式，让我们以前所未有的方式做事。但要实现这样的未来，实际上非常非常困难。参考：Cnet

Reality Labs首次向媒体开放，空间音频、EMG腕带体验大公开相关推荐

Google推出开源空间音频编码引擎Songbird
文/ Google Chrome 媒体团队 Jamieson Brettle 和 Drew Allen 要打造真正沉浸式的虚拟场景,不仅需要有炫目的视觉效果,还需要伴有逼真的空间音频,从而营造出逼真而 ...
苹果耳机AirPods Max（Pro）的空间音频技术，Unity端开源框架下载
AIRX三次方会定期为大家推荐一些可移植性强的.可二次开发应用的.可落地实际场景使用的实战工程源码分享给大家.另外有优秀的demo或案例推广.解决方案对接的也可以联系我们(尾部有联系方式).本部分分享 ...
音频社交Clubhouse将支持空间音频，让聊天更具真实感
8月30日消息,据国外媒体报道,音频社交平台Clubhouse将在iOS和 Android两大平台推出空间音频功能,使声音听起来好像来自不同的方向,更具真实感和生活感. Clubhouse流媒体技术负 ...
谷歌有情怀！谷歌开放大规模音频数据集 AudioSet
谷歌有情怀!谷歌开放大规模音频数据集 AudioSet 2017-03-10 11:41 来源:科技那回事关注分享加入自媒体纠错订阅导读: 近日,谷歌开放了一个大规模的音频数据集 AudioS ...
Meta Reality Labs：理想的VR头显还需克服这10项技术挑战
近期,在SIGGRAPH 2022期间,Reality Labs显示系统研发(DSR)团队负责人Douglas Lanman分享了为Meta开发VR显示系统的心得,并提出理想的VR还需要克服的10项技 ...
HMS Core音频编辑服务音源分离与空间音频渲染，助力快速进入3D音频的世界
从单声道.立体声.环绕声发展到三维声,音频回放技术的迭代演进是为了还原真实世界的声音.其中,三维声技术使用信号处理的方法对到达两耳的声音信号进行模拟,将声场还原为三维空间,更接近真实世界.凭借这个技术 ...
AR空间音频能力，打造沉浸式声音体验
随着元宇宙的兴起,3D虚拟现实广泛引用,让数字化信息和现实世界融合,目前大家的目光主要聚焦于视觉交互层面,为了在虚拟环境中更好的再现真实世界的三维空间体验,引入听觉层面必不可少,空间音频孕育而生. 空 ...
【HoloLens2】添加空间音频学习笔记
向HoloLens的Unity项目添加空间音频本教程内容: 如何在Unity中的HoloLens 2上使用与头部相关的传递函数(HRTF)卸载使用HRTF卸载时如何启用混响在微软Spatiali ...
Meta年营收1166亿美元：来自Reality Labs亏损137亿美元
雷递网乐天 2月6日脸书(Facebook)母公司Meta Platforms(Nasdaq:META)日前发布财报.财报显示,Meta在2022年营收为1166亿美元,较上年同期的1179亿美元 ...

Reality Labs首次向媒体开放，空间音频、EMG腕带体验大公开

Reality Labs首次向媒体开放，空间音频、EMG腕带体验大公开相关推荐

最新文章

热门文章