实时语音视频通话SDK如何实现立体声(一）
前言
通过听声音可以辨别声源的位置，这是我们习以为常的生活认知。从技术的角度来说，听声辩位其实真的一点都不简单。我们人类应该感谢上天的造化，赋予我们一双巧夺天工的耳朵，让我们可以毫不费力地做到听声辩位。在语音视频实时通信的世界里，要实现听声辩位，需要实现立体声，要耗费一番心思的事情。
双耳效应
关于人耳听声辩位的原理，这里不再赘述。有需要了解的同学请自行搜索“双耳效应”问度娘。简单地来说，听声辨位的基础是左右耳朵从同一声源获得的声音信息有细微的差别：
1）到达左右耳朵的时间不一样
2）在左右耳朵空间上的相位不一样
3）音色（频率）不一样
4）音级（波幅）不一样
人脑和双耳就是根据这两组声音信息的细微区别，判断出声源的位置的。
人类的双耳在自然环境进行听声辩位，已经有过数百万年的实战经验，以至于我们认为这是理所当然的事情。然而，随着科技的发展，我们习以为常的认知遇到了突而其来的挑战。
二十世纪初遇到的第一个有代表性的挑战是留声机。立体声技术较好地为模拟声音解决了立体音效的问题。基础的立体声技术是采用两个麦克风进行拾音，获得两组波形独立的声音信号，然后进行独立的处理，在播放的时候采用两个扬声器独立地播放这两组声音信号。这样，从播放端的角度来说，用户听到的是声音本身的立体音效和用户周遭空间的立体音效的叠加，能够达到听声辨位的效果。
二十一世纪的前二十年，语音视频实时通信遇到了移动互联网，立体声技术也遇到技术限制。这些技术限制其实和应用场景有关系。
听声辩位的应用场景
第一个要提的是游戏场景，如果不是最重要，也是最重要之一。游戏可以分为竞技类的和休闲类的。两类游戏对听声辩位的要求也不尽相同。
竞技类的游戏，包括众多玩家耳熟能详的MMORPG、MOBA和FPS。玩过CS的同学都知道，在虚拟场景中是能听到周遭其它玩家的脚步声的,听声辩位很多时候比视野更加有效地帮助玩家判断其它玩家在哪里，这往往是杀敌制胜和脱险保命的关键手段。现在实时游戏语音技术可以让玩家在CS中和队友一边并肩作战一边对话沟通。如果玩家通过游戏语音通话判断出队友的位置和通过游戏系统声音判断出队友的位置不一致，以至于造成判断错误，在分秒必争的虚拟枪战中，这可是致命的误导。要让游戏系统声音反映的虚拟位置和游戏语音通话反映的虚拟位置一致，其实是蛮难的。游戏系统和游戏语音SDK是完全独立和解耦的，游戏系统的声音产生涉及到游戏服务器和客户端的协同，游戏语音SDK的语音是从远端用户传输过来，考虑到两个独立系统和网络传输，两个者之间的步调要保持一致是十分有挑战的任务。
反恐精英CS中的听声辩位适宜和游戏语音的听声辩位结合
休闲类的游戏包括棋牌等人数较少节奏较慢的游戏，通过游戏语音边玩边聊天是一个刚性的社交需求。请各位闭眼想象，你和其它三个好友在线上打麻将，同时通过语音唠叨家常。如果你能够通过听左、右和前方三个人的声音，分辨出他们就像是坐在你左、右和前方三个位置，音效体验一下子就爆表了。狼人杀游戏更加不在话下，这种完全依托语音会话建立起来的社交游戏，如果能够通过听声音就能辨别出讲话的人的方位，闭着眼睛去感觉，就像是一伙朋友围着圆桌面对面的玩狼人杀游戏呢。
第二个对听声辩位有需求的场景是在线教育的小班课堂。举一个比较具体的例子，在线少儿英语小班课，应该是对线上互动要求最高的一种在线课堂形态，没有之一。小朋友的注意力不容易集中，对课堂趣味性和互动性的要求特别高。如果小朋友能够通过听声感觉到老师就坐在正前方讲台的位置，其它小朋友坐在前后座位各个方位，由远而近多个距离层次都有小朋友，就像是在真实的摆满书桌的教室里面的声音效果一样，这样无疑是大大增强了小朋友的注意力集中程度。
其它的一些应用场景，比如说语音社交、视频社交和互动直播，听声辩位的效果也会让用户感到惊艳。如果你加入houseparty的视频聊天房间，能听到参加趴踢的朋友分布在你前后左右的各个位置，那种沉浸式的听音感觉会让你像是整个人一下子投入到趴踢的人群中去。
这些应用场景即构ZEGO都有丰富的客户案例，即构ZEGO的听声辩位技术能让用户在这些应用场景里获得360度空间感的听声体验。然而，客户越来越苛刻的需求，驱使着即构ZEGO不断的去打磨和升级其听声辩位技术，来给予用户最优的体验。
移动终端的处理能力分秒不停地飞速发展，5G的推出如果不出意外也会在2019年到来，加上VR/AR技术的日渐成熟，沉浸式的语音视频实时互动通信将会成为一种生活方式。当你带着VR头显，环顾360度都看到远端的朋友的视频影像的时候，你是不是也期待他们的声音听起来也像是从他们看起来的那个位置传过来一样？到那时候，听声辩位技术也会成为这种生活方式的必备支柱。
<本篇完>
请期待《实时语音视频通话SDK如何实现听声辩位(二）》
实时语音视频通话SDK如何实现立体声(一）相关推荐
- 腾讯实时音视频通话sdk集成----小程序版本
参考文章:实时音视频 小程序-无 UI 集成方案-文档中心-腾讯云 1.配置域名添加 2.npm集成 项目中引用trtc-wx包 在项目脚本中直接引入模块此处可引入静态文件构建npm import T ...
- 新增微信小程序和WebRTC连麦直播等多项能力，即构实时音视频SDK再升级！
经过2018年小半年的闭关练功,即构ZEGO团队铸造了不少黑科技.本文将为你带来即构ZEGO实时语音视频SDK近半年新增能力和功能优化的最新进展. 更懂应用场景的语音视频云 作为全球领先的实时语音视频 ...
- 新增微信小程序、WebRTC连麦直播多项能力，即构实时音视频SDK再升级
经过2018年小半年的闭关练功,即构ZEGO团队铸造了不少黑科技.本文将为你带来即构ZEGO实时语音视频SDK近半年新增能力和功能优化的最新进展. 更懂应用场景的语音视频云 作为全球领先的实时语音视频 ...
- html5 视频语音对讲,一种基于WebRTC的多人语音视频通话方法及系统与流程
本发明涉及视频通话领域,特别涉及一种基于WebRTC的多人语音视频通话方法及系统. 背景技术: 随着互联网技术和通信技术的快速发展,人们的交流方式与交流内容得到了极大的丰富和发展.在节奏越来越快的信息 ...
- iOS语音通话SDK集成指引(实时语音通话一)
语音通话是通过语音并借助传输媒介的沟通方式.本系列文章将会介绍如何从零开始用即构科技音视频SDK实现双人至百万人语音通话.第一篇讲述iOS语音通话SDK集成指引. 1.准备环境 请确保开发环境满足以下 ...
- 主流视频通话SDK比较【转】
主流视频通话SDK比较[转载] 萨达哈鲁酱 1 2019.02.16 15:08:28 字数 1,503 阅读 6,142 视频通话框架 主流的视频通讯框架比较多,此文主要通过Android平台的来做 ...
- 微信小程序集成腾讯IM，实现实时音视频通话，1V1聊天
相关文章: 1.小程序聊天群,发送语音,文字,图片. 2.微信小程序集成腾讯IM,实现实时音视频通话,1V1聊天 3.云开发微信小程序聊天群 4.接入网易云信IM即时通讯的微信小程序聊天室 5.微信小 ...
- 详解比较好的音视频通话SDK开发包的技术要点
详解好的音视频通话SDK开发包的技术要点 云智真是一套跨平台的音视频解决方案,其技术领先性.成熟度.稳定性.可扩展性以及安全性等各方面均有优异的表现,同时支持跨平台通信,Windows.Web.And ...
- 腾讯会议突围背后：端到端实时语音技术是如何保障交流通畅的？
腾讯会议去年推出,疫情期间两个月急速扩容,日活跃账户数已超过1000万,成为了当前中国最多人使用的视频会议应用.腾讯会议突围背后,是如何通过端到端实时语音技术保障交流通畅的?本文是腾讯多媒体实验室音频 ...
- 打造爆款游戏互动体验，拍乐云Unity实时语音了解一下
玩家之间的实时语音互动是互联游戏的必备功能,拍乐云近日推出 Unity 实时语音解决方案,帮助游戏厂商和开发者在接入游戏引擎的同时快速实现跨平台游戏中的社交互动模块,带给玩家更沉浸式的互动体验,享受美 ...
最新文章
- python中解决中文乱码
- 【Java1】jdk安装/idea安装，关键字/数据类型/标识符，运算符，/包/类，运算符，if/switch，for/while
- 细节取胜的javadoc
- java 如何跳到上一个循环_Java 代码优化 Java 如何写好 一个 for 循环
- 数据库备份恢复策略_如何根据备份策略选择和检查正确的数据库恢复模型
- 使用DQL查询数据（重点）
- mysql cmmand not found
- 生产过程代码分析（二）--估计
- html ui 下拉列表,html - 如何给样式Material-ui选择字段下拉菜单？
- 使用tcpdump抓取HTTP包
- Java中的方法的重载
- EH集团筹集逾500万瑞士法郎，用于推进其零排放燃料电池技术
- 账号批量注册软件开发启示录
- 微信小程序云开发之数据分页云函数
- JAVA小项目（四）—— 贪吃蛇【轻松入门，附源码】
- 这篇文章帮你避坑，教会你选购内存卡
- cron 五秒钟_五秒钟规则-它在国际上适用吗？
- Chef学习之三：Chef基础知识 （转贴）
- python获取财务数据曝光_Python-股票-从网易财经获取主要财务指标数据
- 常用长度单位PX/EM/PT/百分比转换公式