成熟的 XMOS 方案 ——「 XMOS 麦克风阵列 」
2021 年底,知名的音频芯片制造厂商 XMOS 正式发布了新一代芯片产品 XVF3610 ,这是一款语音接口的主控芯片,能够在复杂的噪声中提升了ASR语音识别率和会议通话质量的解决方案。
将语音接口(XVF3610)集成到智能 soundbar 音箱、电视、机顶盒、智能家电、网关产品中,享受高质量的语音通话和语音识别交互。
XVF3610 使用了 XMOS 的 xcore.ai 芯片基础架构,内置高性能的降噪算法和语音前端算法,是一款高性价比且易于集成的语音处理解决方案。
相比于上一代芯片,XVF3610 增加了⎾自动音频参考延迟校准⏌——这是支持语音的电视系统的一项关键功能——扩大了可以实现语音接口的设备和环境的范围。
不仅有功能增加,相比于上一代 XVF3510 芯片,XVF3610 在功耗、性能、价格、制作工艺等方面都有极大的提升。
▲ XVF3510 和 XVF3610 参数对比
XVF3610 是一款麦克风阵列处理芯片,XMOS 的麦克风阵列方案以其灵活性突破了传统 MCU 的 I/O 限制,配合噪声消除、回音消除等 DSP 算法来实现远场拾音等功能,为高性能的语音识别做好前端的优质处理。
在 XVF3610 还未发布之前,木瓜电子曾基于 XVF3510 设计打造了一款 P3510-2MIC开发版。
▲ P3510-2MIC 产品图
这款开发板作为前端信号处理,实现语音增强,可同时输出两路前端处理后的声音信号,颇受客户好评。
在 XVF3610 发布后,木瓜电子对此前的麦阵方案进行了升级。
▲ XVF3610 硬件框图
XVF3610 主控具有以下特性:
・XVF3610-QF60B-C, 免软件开发
・QFN-60封装
・300mW功耗
XMOS 2-mic 语音接口解决方案内置了2-mic阵列算法和复杂的DSP算法处理,能够在远处和嘈杂的环境,清晰地获取到有效的人声语音信号。
XMOS 2-mic 语音接口方案的主控为 XVF3610-QF60B-C, 且已经过了Amazon的AVS认证,其为单芯片解决方案,外接2个PDM麦克风即可实现2-mic阵列的前端声音信号处理。
XVF3610 内置的2-Mic算法能够在恶劣的声学环境中捕捉清晰的语音信号。
两种音频输出
ASR 和通话音频同时输出,既可用于语音识别,也可用于语音通话
本方案重点能够同时处理两种方向的前端处理信号,分别为用于语音识别和会议通话,是市面上为数不多的能同时用于「语音识别」和「会议通话」语音接口方案。
● 语音识别(ASR,Automatic Speech Recognition )
提供给语音识别云端引擎进行识别使用;ASR音频前端处理主要是为了提高云端语音识别率,所以其处理后,频谱会偏向饱满,这样尽大可能减小了音频失真。同时增强了人声,抑制了背景声和噪声。
● 会议通话(Comms, communication and calling )
Comms音频前端处理主要是为了提高人声的清晰度,同时做了较大的背景声和噪声抑制,频谱较为干净,相对ASR输出有较大的失真,不建议做语音识别用。
XMOS 2-mic 语音接口方案能够处理上文所述的3种噪声,和提供2种前端方向声音输出,极大地满足了多种场景和多种设备上进行使用。
三种噪声消除
- AEC 消除设备自身声音
- IC 消除空间内点噪声源
- NS 消除背景噪声
XMOS 2-mic 语音接口的主控芯片 XVF3610 内部集成了 USB 2.0 PHY芯片,可以通过USB(UAC1.0协议)接口将处理后的语言信号传输给给智能设备(Host主机),其USB也完善了众多 HID report 协议,例如 keyboard、 telephone、consumer。
XVF3610 内置的 2-mic 算法能够在恶劣的声学环境中捕捉清晰的语音信号,其内置的算法包括:AEC、AGC、IC、NS、ADE延时估算等。
● AEC回音消除
消除设备自身的播放的声音,以实现能够语音打断和提高SNR
● AGC自动增益控制
动态调整音频增益,或设定固定增益,使声音保持所需的输出电平
● IC噪声源消除
扫码设备所在的空间内的声音情况并且消除房间所有的点噪声
● NS噪声抑制
去除所有的背景(包含发散的和反射的)噪声
● ADE自动时沿估算
动态调整音频参考信号,实现流畅、实时的的语音打断
▲ 录音测试示意图
XMOS 2-mic 的 IC 噪声源消除环节中,将非常有效地去除环境中的点噪声。
而自动延时估算算法环节,则能够更加灵活协助AEC参考信号的变动,以增大智能设备外置扬声器的可能性。
XMOS 2-mic 尤其针对ASR的前端处理进行优化,以极大提高语言识别率和语音打断(barge-in)的成功率,减小了适应各大语言识别引擎的调试工作量。经过上述的算法流程后,其输出的声音效果如上图所示。
在实际应用中,XVF3610 可以针对集成(Built-in)的和USB接口(Plug-in)的语音接口提供实现方式。
XVF3610 提供两套免开发(寄存器配置)的固件,来实现集成的方式和USB插入的方案。
● 集成( Built-in )的方式
Firmware: XVF3610-INT
方便设计到TV和机顶盒主板进行集成式设计,XVF3610的I2S作Slave模式连接到Host主控,并且使用I2C进行控制XVF3610的DSP方式。
・最低的eBOM成本(时钟和Flash由Host主控提供)
・能够实时在Host主控调整XVF3610的DSP参数
・较容易实现OTA远程升级固件
▲ XVF3610集成到主板的典型框图
● XVF3610能以小面积Layout集成设计到机顶盒主板中,主控以I2C接口控制XVF3610
● 存在TV或者条形音箱进行播放可能时,XVF3610的自动时延估算将会辅助AEC和语音打断功能
● XVF3610的固件可以放在机顶盒主控中,以减小Flash的成本、面积,以及增加OTA的可能性
● USB 插入(plug-in)的方式
XVF3610-UA
一个完整的USB配件单品接入TV和机顶盒产品中, 并且能够通过USB的方式来传输音频信号,参考信 号和控制DSP参数。
・主控芯片可以通过USB控制XVF3610的所有GPIO
・HID 键码可以通过USB传输到Host主控
・能够实时在Host主控调整XVF3610的DSP参数
▲ XVF3610 USB dongle 插入TV智能电视
● XVF3610可以使用 USB Audio Class 1.0 (UAC1.0,免驱) 方式直连到电视
● AEC参考信号通过TV电视的Line-out信号走Type-C线路提供给XVF3610
● XVF3610内部的自动时延估算算法,可以自适应优化到最优的AEC效果
除了以上两种应用之外, XVF3610 还可以集成到电视、网关、摄像头等产品中。
▲ XVF3610集成设计到TV智能电视
● 根据DAC的输出特性,XVF3610 选择使用 I2S 或者增加 ADC(如虚线部分)进行获取AEC的参考信号
● 实际上,XVF3610 可以通过USB和I2S都可以来获取 AEC 参考型号
▲ XVF3610集成智能网关
● 可在 XVF3610 或者 WiFiSoc 内置离线语音控制识别模型,并且 XVF3610 提供清晰的语音信号
● XVF3610 免开发的固件,同时预留多个 GPIO 扩展,能够加速智能网关的产品上市
▲ XVF3610集成设计到USB摄像头
● XVF3610 使用USB(UAC1.0)免驱接入 PC 电脑中,作为 USB 声卡进行录音和播放
● XVF3610 高 SNR 语音通话输出(Commsoutput),能为 USB 摄像头提供高质量的语音通话
以上主要是两麦的解决方案,针对客户的不同需求,木瓜电子也有四麦解决方案支持。
XMOS 圆形4麦阵列-桌面会议
XMOS XVF3000芯片内置了4路麦克风阵列算法,包含了单声道回音消除,语音增强,波束成形,声源定位,噪声抑制和自动增益等算法,能够实现5米远的通话拾音,并且支持圆形麦克风阵型和USB 接口,非常符合桌面会议的通话拾音功能的应用产品。
XMOS 条形4麦阵列-视频通话
XMOS XVF3500内置了条形4路麦克风阵列算法,包含了立体声会议消除,语音增强,波束成形,噪声抑制和自动增益等算法,能够实现5米远的通话拾音,并且支持条形麦克风阵型和USB 接口,非常符合视频会议的通话拾音功能需求。
XMOS成立于2005年,总部在英国布里斯托,面向全球性销售,是一家多核架构芯片半导体原厂。XMOS是世界一流的音频和语音接口的方案领导者。XMOS于2016年分离出部分团队组建了Graphcore。
XMOS现在迅速转向AI人工智能领域,并目继续寻求高性价格比的嵌入式智能芯片(edge-Al)。
为了让语音成为主流,XMOS 继续基于芯片 xcore.ai 系列发布更多针对语音接口的解决方案。
早在 2017 年,XMOS 就发布了第一款麦克风阵列处理芯片——「XVF3000-TQ128-CA」,XMOS 组建了自己的算法团队和声学实验室,致力打造将科技带入生活。
基于XMOS 芯片的强大性能,木瓜电子为客户设计打造了一系列的麦阵解决方案,满足不同客户、不同应用场景的需求。
深圳市木瓜电子科技有限公司成立于2015年 ,是一家专注于提供音频芯片供应服务的芯片代理商和音频解决方案的技术提供商 。
木瓜电子现拥有国内最专业的XMOS技术人才,英国XMOS芯片原厂授权麦克风阵列产品线国内深度的合作伙伴。且已成为XMOS体系国内最大的芯片供应商,并且在Hi-Fi音频细分领域为领先的方案和芯片供应商。
我们以“让高端音质不再昂贵”为使命,旨在用专业技术为客户赋能,助力音频领域的客户多快好省产出产品。我们目前提供的产品和服务有四大板块:芯片供应,评估板,PCBA模块,固件定制。
/END
成熟的 XMOS 方案 ——「 XMOS 麦克风阵列 」相关推荐
- 成熟的 XMOS 方案 ——「 XMOS USB Audio 」
2022年3月17日 英国布里斯托尔 - 英国领先的芯片公司XMOS发布了其用于自动车牌识别(ALPR)的参考解决方案, 旨在将停车场的ALPR从复杂的资源密集型硬件转向简单的设备上的人工智能. 该方 ...
- linux mic阵列通道丢数据,基于XMOS平台的USB麦克风阵列多声道采集装置
技术领域 本实用新型涉及麦克风阵列多声道声音采集领域,尤其涉及基于XMOS平台的USB麦克风阵列多声道采集装置. 背景技术 麦克风阵列(Array Microphone),是由2个以上数量的声学数字或 ...
- 行泊一体方案「换道超车」,TOP10本土供应商领跑新赛道
从2021年开始,行泊一体智能驾驶方案成为中国本土供应商「换道超车」的标签.从公开信息显示,有超过20家供应商已经对外发布行泊一体方案,部分企业已经开始进入前装量产阶段. 同时,基于域控制器架构的模式 ...
- 全球量产麦克风阵列的阵型技术盘点(转)
转自:http://bbs.elecfans.com/jishu_1628138_1_1.html 1.Amazon Echo 不管第一代还是第二代,Echo都采用典型的6+1麦克风阵列结构,即环形6 ...
- 友商s6客户端java_魅蓝s6发布, 给友商再次提供免费的「可抄袭的」交互方案
今天下午,魅族发布了旗下第一款全面屏手机魅蓝S6. 原本以为魅族会像锤子一样,不认可目前18:9屏幕手机就是全面屏手机这个设定,但是为了迎合市场在全面屏前加个「almost」,但是在发布会上,李楠就直 ...
- 为什么巨头要血拼「社区团购」?
巨头不惜血本地投入,或许是因为,这个赛道将同时诞生下一个阿里巴巴.京东.拼多多. 哪怕再挺三个月,李阳的头上依然能顶着成功连续创业者.独角兽公司创始人兼 CEO 的光环. 可惜,事与愿违. 2020 ...
- 聊一聊麦克风阵列技术:语音交互应该选用怎样的方案?(转载)
转自:http://news.soundai.com/?id=7 雷锋网(公众号:雷锋网)按:本文作者陈孝良,工学博士,声智科技创始人.雷锋网独家文章. 亚马逊Echo和谷歌Home争奇斗艳,除了云端 ...
- 音视频开发(41)---ROKID桌面机器人麦克风阵列拆解分析及设计建议
ROKID桌面机器人麦克风阵列拆解分析及设计建议 ROKID桌面机器人麦克风阵列及功放拆解分析及设计建议 一:整体外观 二:MIC阵列所处位置 三:麦克风结构设计方案: 1: 目前麦克风结构设计大体分 ...
- 麦克风阵列能干这么多事你知道吗?
转载自: http://www.a-site.cn/article/128846.html 麦克风阵列(MicrophoneArray),从字面上,指的是麦克风的排列.也就是说由一定数目的声学传感器( ...
最新文章
- 《因果学习周刊》第8期:因果反事实预测
- 00.fabric的swarm集群布署:fabric相关的centos软件安装
- Java复习二 基本数据类型与变量和常量
- openwrt+linux编译,openwrt x86 编译部署
- Django从理论到实战(part23)--模板继承
- Linux 可执行文件 ELF结构 及程序加载运行
- 拓端tecdat|R语言GARCH-DCC模型和DCC(MVT)建模估计
- stc单片机id加密c语言,STC单片机内部ID读取
- 【信号处理】语音时域频域频谱图分析含Matlab源码
- 2021-08-11BUU-CTF:[WUSTCTF2020]alison_likes_jojo
- linux使用命令查看MAC地址
- 如何快速调整Excel中图表标签位置
- 【Spring】IoC与AOP
- 树莓派html5播放器,QT+树莓派实现一个简单的播放器
- 【蓝桥云课】最大公约数与最小公倍数
- Cg插画需要学习什么,难不难?
- ppc64 安装jdk
- 登陆小米云服务器,玩机教程 篇十四:如何一键直达小米云服务
- 解决“0xc000007b无法正常启动”
- linux中tmount命令,Linux中mount命令起什么作用呢?
热门文章
- 连接mysql的url是什么意思_URL是什么意思?
- Python单词反写、单词倒排
- Keil无法跳转到(go to definition)函数定义的地方,而是出现Browser
- MSP430F5529LP 2022电赛学习准备及相关例程
- arduinopn532模块_Arduino 开源 NFC近场通讯模块 PN532
- MySQL的存储引擎InnoDB选择了B+ 树
- 注册hotmail.co .jp后缀的hotmail邮箱
- python里的map是什么意思_python中map什么意思
- 输入波长显示颜色 matlab,新手求助:由光谱反射率计算颜色的三刺激值
- 作为家庭娱乐衡量微型计算机基本技术指标,大学计算机 习题一..ppt