ICASSP 2023论文模型开源｜语音分离Mossformer
人类能在复杂的多人说话环境中轻易地分离干扰声音，选择性聆听感兴趣的主讲人说话。但这对机器却不容易，如何构建一个能够媲美人类听觉系统的自动化系统颇具挑战性。
本文将详细解读ICASSP2023本届会议收录的单通道语音分离模型Mossformer论文，以及如何基于开发者自有数据进行该模型的调优训练。
▏语音分离模型能做什么？
由于麦克风采集的音频信号中除了主说话人之外，通常还包括噪声、其他人说话的声音、混响等干扰。语音分离的目标即是把独立的目标语音信号从混合的音频信号中分离出来。其应用范围不仅包括听力假体、移动通信、鲁棒的自动语音以及说话人识别等，最近也被广泛应用在各个语音方向的机器学习场景中。
根据干扰的不同，语音分离任务可以是单纯的多说话人分离，也可以包括噪声消除和解混响等附加任务。在没有噪声和混响的情况下，单纯的语音分离任务已经被研究了几十年，从最初的传统信号处理算法如独立分量分析（ICA）和非负矩阵分解（NMF），到最近的基于端到端深度神经网络（DNN）算法，算法的分离性能有了明显的进步。至今，语音分离仍然是一个高度活跃的研究领域，我们最新推出的MossFormer语音分离模型，是在现有深度学习算法的基础上，通过融入更先进的门控注意力机制和带记忆的深度卷积网络，从而更有效地对长语音序列进行建模和学习，大幅提升深度学习分离算法的性能。
目前比较流行的语音分离模型架构一般由三个主要组成模块：编码器、分离器和解码器。编码器的作用是将原始的语音信号转换为高维的表示，类似于傅立叶变换后的频谱信息，但使用的转换不是预先设定好的，而是通过训练模型自己学习到的。分离器的作用是根据输入的高维表示来估计语音的分量，并将其分离成多个独立的语音信号。解码器的作用是将分离出的语音信号重新编码成原始语音信号的形式。下图给出的是语音分离模型架构的示意图：
图1. 语音分离模型架构示意图
分离器模块是影响语音分离性能的关键模块，主要的架构包括深度卷积网络（例如：Conv-TasNet)、循环神经网络（例如：DPRNN)，和Transformer（例如：SepFormer)等，其中基于自注意力机制的Transformer架构在最近的研究中表现出了很好的性能。利用自注意力机制可以有效地捕捉长距离的依赖关系，从而更好地建模语音信号。
与传统的循环神经网络相比，Transformer可以并行计算，提高了计算效率，同时也可以更好地避免梯度消失的问题。基于Transformer的架构在单声道语音分离任务中获得了显著的性能改进，但和最近给出的分离Cramer-Rao上限相比，仍存在明显差距，主要原因在于，由于注意力计算的二次复杂度，Transformer架构的自注意力受限于上下文长度。为了能够处理极长的输入序列，当前的Transformer模型使用双路径框架，将输入序列分成较小的块并分别处理块内和块间的信息，跨块的长距离信息依赖需要通过中间状态隐式建模，这一事实可能对长距离建模能力产生负面影响，导致模型次优表现。
▏2023 ICASSP-MossFormer模型
为了有效解决双路径架构中跨块间的间接元素交互问题，我们提出了一种基于联合自注意力的带门控单头Transformer语音分离模型架构，并使用卷积增强模块，命名为MossFormer（Monaural speech separation Transformer）。
MossFormer采用联合局部和全局自注意力架构，同时对局部段执行完整自注意力运算和对全局执行线性化低成本自注意力运算。联合注意力使MossFormer模型能够直接处理全序列元素交互，真正有效地捕捉长距离的依赖关系，解决双路径模型在远程元素交互的建模能力问题。此外，我们采用了强大的带注意力门控机制，可以使用大幅简化的单头自注意力，MossFormer除了关注长距离建模外，还使用深度卷积来帮助模型更好地处理局部的特征，从而提高模型的性能。相关工作已被语音顶会ICASSP 2023录用。
模型架构
MossFormer语音分离模型由一个卷积编码器-解码器结构和一个掩蔽网络组成（见图2）。编码器-解码器结构负责特征提取和波形重建，其中，编码器负责特征提取，由一维 (1D) 卷积层 (Conv1D) 和整流线性单元 (ReLU) 组成，后者将编码输出限制为非负值。解码器是一维转置卷积层，它使用与编码器相同的内核大小和步幅。
图2. MossFormer模型整体结构示意图
掩码网络执行从编码器输出到
ICASSP 2023论文模型开源｜语音分离Mossformer相关推荐
- 语音分离--学习笔记（2）
根据说话人(麦克风)的数目,通常将语音分离任务分为单通道(Singlechannel)语音分离和麦克风阵列(Multi-channel)的语音分离. 对于时频域的语音分离需要将时域的语音信号进行短时傅 ...
- 智能语音信息处理团队18篇论文被语音技术顶会ICASSP 2023接收
近日,ICASSP 2023会议发出了审稿结果通知,语音及语言信息处理国家工程研究中心智能语音信息处理团队共18篇论文被会议接收,论文方向涵盖语音识别.语音合成.话者识别.语音增强.情感识别.声音事件 ...
- ICASSP 2023 | 解密实时通话中基于 AI 的一些语音增强技术
动手点关注 干货不迷路 背景介绍 实时音视频通信 RTC 在成为人们生活和工作中不可或缺的基础设施后,其中所涉及的各类技术也在不断演进以应对处理复杂多场景问题,比如音频场景中,如何在多设备.多人. ...
- 神经网络语音分离必读论文、代码、教程、公开数据集整理分享
语音分离的目标是把目标语音从背景干扰中分离出来.在信号处理中,语音分离属于很基本的任务类型,应用范围很广泛,包括听力假体.移动通信.鲁棒的自动语音以及说话人识别.人类听觉系统能轻易地将一个人的声音和另 ...
- 【论文综述】基于深度学习语音分离技术的研究现状与进展
基于深度学习语音分离技术的研究现状与进展 本文主要是针对单通道的监督性语音分离技术的综述,描述该技术涉及到的特征.模型和目标三个主要方面:并对语音分离的一般流程和整体框架进行了详细的介绍.归纳和总结. ...
- 滴滴单通道语音分离与目标说话人提取和抑制技术进展
桔妹导读:为了将目标语音从含多种干扰(如车噪.导航音.车内FM等)的复杂声学环境中分离出来同时尽量减小对原始语音的损伤,提高人机交互.客服听音等的效率,滴滴结合了在前端信号处理的多年研发积累与该领域的 ...
- 煮酒论开源语音工具包
语音合成领域统计列表请访问http://yqli.tech/page/tts_paper.html,语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html. ...
- 论文笔记：语音情感识别（二）声谱图+CRNN
一:An Attention Pooling based Representation Learning Method for Speech Emotion Recognition(2018 Inte ...
- 【深度学习人类语言处理】3 语音转换——类别(特征分解、直接转换)、语音分离(评价指标、深度聚类、PIT、TaskNet)
Deep Learning for Human Ianguage Processing 3 1. 语音转换应用场景 2. 语音转换类别 2.1 成对的资料 2.2 不成对的资料 2.2.1 特征分解 ...
最新文章
- lisp坐标一键生成_联排建筑一键生成？你的SU有外挂吧！
- 《强化学习周刊》第34期：牛津、谷歌、Facebook等 | 自动强化学习 (AutoRL)：研究综述和开放性问题...
- js简单的设置快捷键，hotkeys捕获键盘键和组合键的输入
- EtherChannel Cisco 端口聚合详解
- 3520a SDL_tff库做bmp 也就是osd
- git 回退上一个版本_Git小白使用教程：详细、显现、真正手把手教！
- [剑指offer][JAVA]面试题第[24]题[反转链表][递归][双指针][头插法]
- 险些被吓到！白宇代言新品万元荣耀8X售价原因揭秘
- Jmeter 快速入门教程(三-1) --添加响应断言（即loadrunner中所指的检查点）
- opengl顶点数据传送和着色器处理(vao,vbo)
- 数据饕餮，盛夏旋风！天善学院SVIP冰点促最后一波！
- sqlite数据库的char,varchar,text,nchar,nvarchar,ntext的区别（转）
- 3dmax的贴图烘焙
- 计算机的硬盘如何查看,怎样查看电脑硬盘信息 电脑中的硬盘信息
- 10个免费的游戏开发引擎
- 男子学比基尼电影派对开泡澡电影院 泡澡电影被赞好创意！
- 【ARM Coresight 介绍 3 - ARM Cortex-M DWT】
- 【区块链技术与应用】（五）
- 计算机休眠开启密码设定,怎么把电脑设定待机密码
- 劲乐园合歌(幽灵圣典+飞吧喜鹊+唯一+v3+幽灵圣典2)铃声 劲乐园...