苹果耳机AirPods Max(Pro)的空间音频技术,Unity端开源框架下载
AIRX三次方会定期为大家推荐一些可移植性强的、可二次开发应用的、可落地实际场景使用的实战工程源码分享给大家。另外有优秀的demo或案例推广、解决方案对接的也可以联系我们(尾部有联系方式)。本部分分享的代码主要是Unity 空间音频(AirPods Pro(Max))
不管是AirPods Pro,还是新出AirPods Max,支持动态头部追踪的空间音频功能可在观看大片时,带给你剧场般的环绕声体验。利用内置的陀螺仪和加速感应器,AirPods Max 能与 iPhone 或 iPad 配合,追踪头部的轻微活动,让你始终感觉声音来自设备的方向。
苹果在iOS 14中发布了Headphone Motion API,可以通过AirPods Pro(Max)兼容耳机访问头部跟踪数据。Unity也公开这个API。使用这个来从苹果耳机(如AirPods Pro)获取头部跟踪数据到Unity场景中。
Headphone Motion API:
https://developer.apple.com/documentation/coremotion/cmheadphonemotionmanager
下面是一些头部跟踪数据的可能用途:
- 用于空间音频应用的音频侦听器旋转
- 头像头部运动
- 自然手势交互(点头表示同意)
- 健身跟踪应用程序
该插件的功能:
- 检查给定设备上的耳机运动API是否可用
- 耳机连接和断开连接事件
项目工程代码:
https://assetstore.unity.com/packages/tools/integration/headphone-motion-179629#description
空间音频绝对是MR眼镜必备功能,苹果一直在研发新的音频空间格式。就像对ARKit的3D模型(usdz)所做的那样,Apple正在开发一种新的音频格式,即使在用户移动,戴着“ Apple Glass ”或其他AR设备时,也可以更轻松沉浸式地在用户周围放置“3d声音”。
以前已经证明Apple在为AR制作高分辨率视频图像,现在它也致力于与之配套产生高质量的音频。在新的专利申请中,该公司正在研究与空间音频有关的工作。
具体来说,Apple希望建立一种音频格式,例如.MP3或.AAC,并结合了AR所需的额外空间信息。该格式不仅需要包含实际的音频,而且还远远超出在立体声图片的左侧还是右侧播放元素的范围。苹果以前曾与皮克斯合作开发一种名为USDZ的格式,该格式用于将音频放置在用户周围的3D空间中。
“在增强现实(AR),虚拟现实(VR)和混合现实(MR)应用程序中产生三维(3D)声音效果是具有挑战性的……因为现有的音频格式最初是为在物理环境中产生3D声音而设计的具有固定的扬声器位置和固定的听众。”
苹果将AR,VR和MR统称为“模拟现实”(SR),并表示希望在许多现有3D音频格式的基础上发展。例如,旨在产生3D声音的空间音频格式包括MPEG-H 3D音频标准,HOA空间音频技术和DOLBY ATMOS环绕声技术。
苹果公司提出的解决方案是创建一种格式,该格式类似于.m4v和.mp4是将不同元素组合在一起的格式。对于苹果公司对空间音频的新要求,该公司建议创建一个音频资产库,其中包括资产元数据,使模拟现实(SR)应用程序开发人员能够为SR应用程序编写声音。”
苹果公司说:“音频经过了格式化,包括音频数据,这些数据编码了能够被编入SR应用程序的声音,以及资产元数据,不仅描述了声音的编码方式,而且还描述了SR环境中听众的感受。
另外Facebook Reality Labs研究小组之前也分享了一些关于AR的音频项目。该小组的目标是将技术融入到AR眼镜中,通过在嘈杂的环境中轻松隔离对话声音,增强你的听力,并能够重现虚拟声音,让它们看起来像是来自你周围的真实世界。自定义的HRTF是提供这种体验的关键,它是每个人根据头部和耳朵形状听到声音的独特方式的数字版本,但这个过程既耗时又昂贵。该团队正在研究一种可扩展的解决方案,可以从你的耳朵的一张简单照片生成精确的HRTF。
不管是苹果还是FaceBook,都在一步步围绕ARVR来迭代相关技术,未来的AR眼镜或是AR应用也会因为这些细节技术(空间音频等)更加沉浸、更加现实,带来更好的用户体验!
苹果耳机AirPods Max(Pro)的空间音频技术,Unity端开源框架下载相关推荐
- 空间音频技术与生态发展高峰论坛成功举办,业界首个Audio Vivid创作工具花瓣三维声亮相
11月26日至27日,UWA世界超高清视频产业联盟(以下简称"UWA联盟").上海交通大学-南加州大学文化创意产业学院.华为联合举办了"互联智慧,共赢未来" 超 ...
- AirPods介绍|AirPods Pro 的空间音频功能介绍和开启教程
空间音频支持动态头部跟踪技术,可在您观看影片或视频时带来影院级的环绕声聆听体验,就如同声音环绕在您周围一样.即使您移动头部或设备,声场依然可以映射到屏幕上的相关演员或动作. 所需条件 AirPods ...
- 深入原理分析:Airpods空间音频是如何实现5.1,7.1环绕声,杜比全景声的效果
本文大部分内容来自B站UP主:电丸科技AK的你的AirPods Pro价值翻倍了![人耳是怎么通过声音辨别方位的?]视频 本文核心问题:Airpods空间音频是如何实现5.1,7.1环绕声,杜比全景声 ...
- FreeBuds Pro 2开了空间音频效果不明显、卡顿、头部跟踪不灵敏或有延迟、音质差是怎么回事?
效果不明显.卡顿.头部跟踪不灵敏或有延迟.音质差--.你的华为FreeBuds Pro 2开了空间音频会有这些小问题吗?该如何解决呢?一起来看看! | 及时更新耳机版本 新版本能修复一些小bug啥的, ...
- 创新突破,索爱S5耳机实现空间音频和动态头部跟踪
自苹果2016年发布第一代AirPods耳机引爆TWS耳机市场,越来越多的厂商跟进推出自家的TWS耳机.时至2022年,我爱音频网累计拆解了700款音频产品,功能覆盖左右耳无缝切换.ENC通话降噪.A ...
- Reality Labs首次向媒体开放,空间音频、EMG腕带体验大公开
今年6月,Tested带大家参观了Reality Labs的光学显示部门,让我们看到了Meta正在研发的4款VR头显原型.而在近期举行的Connect期间,Meta再次将Reality Labs向外界 ...
- 声网3D在线互动场景空间音频的实时渲染——如何把“声临其境”推向极致
编者按: 千人有千耳,不同的人耳对于声音方位的适应已形成习惯,但在Meta RTC场景中如何让不同人也能畅想"身临其境"的感觉?3D在线互动场景空间音频的实时渲染又有哪些应用?Li ...
- 空间音频已来,TWS 4.0时代已来!TWS200带来全新听觉体验
自苹果2016年发布第一代AirPods耳机,非苹果TWS蓝牙耳机在不断进化.TWS1.0时代,从产品外观上,剪断了脖挂式耳机的中间连线,携带更便捷,佩戴更舒适,但产品体验还有很多问题,比如对耳配对繁 ...
- 独立空间音频打造360°沉浸声场,小米让科技更无界
在小米最新发布会中亮相的小米Buds 4 Pro,凭借旗舰级降噪.高保真音质和超长续航等优势,成为众多新产品中的焦点.而在众多华丽功能中最为亮眼的,则是小米自研的全新独立空间音频技术. 这一技术实现了 ...
最新文章
- 2017 Android 面试题 [ 基础与细节 ]
- path.join 与 path.resolve 的区别
- 浅拷贝+引用计数--写时拷贝---模拟实现string容器
- java中sql之count_按SQL Server中的count()子句分组
- robotFramework-ride使用2-分支与循环
- 如何估算代码量_千万级用户的大型网站,应该如何设计其高并发架构?(彩蛋)...
- [BZOJ4987]Tree
- 转行数据分析,是选Python还是R?
- MySQL快速上手[学习笔记](一)
- Samba服务的安装
- 新手入门:手把手从PHP环境到ThinkPHP6框架下载
- python项目简历内容包括哪些_python简历内容
- 淘宝店铺如何装修呢?
- 流行的任天堂电子游戏模拟器 Cemu 计划开源并支持 Linux
- Spring Cloud之微服务概述
- Jacob实现文字转换语音
- 数据库篇-mysql主备搭建
- 学习大数据的第48天(zookeeper篇)
- 纸牌游戏梭哈设计制作(C语言)
- Kali Linux 折腾笔记
热门文章
- .NET的那些事儿(9)——C# 2.0 中用iTextSharp制作PDF(基础篇)
- onu光功率多少是正常_ONU的接收光功率、发送光功率分别是多少?
- Modelsim下时序(功能)仿真altera IP核 程序(重要)
- CentOS的自动化安装光盘制作 (详细流程)
- 阿里妈妈展示广告引擎动态算力再探索:面向业务收益的机器自适应调配
- vue select下拉框数据v-model绑定默认不显示的问题
- C++ Standard Library
- maven-compiler-plugin 插件配置详解
- grep -rni 与grep -nsr 的区别
- P6560 [SBCOI2020] 时光的流逝 (博弈,反向建图,拓扑排序