《EMBEDDING AND BEAMFORMING: ALL-NEURAL CAUSAL BEAMFORMER FORMULTICHANNEL SPEECH ENHANCEMENT》论文阅读
ABSTRACT
对于波束形成来说，空间协方差矩阵是很重要的。站在船头的波束形成和深度网络的角度上讲，作者提出了一个因果神经波束形成的方法，这个网络主要是由两个部分组成，一个部分是EM,BM。前者主要是将光谱信息和空间分辨信息表示出来，后者主要是直接获得波束的权重，可以实现滤波和加和的操作。为了进一步压缩噪声，又增加了一个后处理模块。实现了比较好的性能。
INTRODUCTION
语音增强的目标是从带噪的语音中提取目标语音，由于哦那关键信息可以区分音频和干扰信息，所以基于波束的多通道语音增强的算法就被广泛的提出来了。
传统的统计学方法是利用数学公式计算得到权重，比如MVDR,MWF等等，但是，因为基于统计学理论和mask的评估是不相关的，所以前面如果预测错误会对后面得到波束的权重有较大的影响。
最近的方法就是将波束和网络结合在一起，本文会解答一个问题，怎么样保证一个网络能够产生帧级别的波束权重？本文认为需要满足两个条件：第一，应该利用丰富的空间信息分辨音频信息和干扰信息；因为滤波器每一帧都需要被更新，它应该在空间信息稀少的时候学习到时频域特征来帮助分离音频和干扰信息。
模型是在带噪的情况下实验的，因为是多通道的数据，所以把第一个通道的数据作为参考信号，公式中的c,f代表的是语音和噪声的相关转换函数。
对于网络的第一个部分EM，目标是将不同通道上的时频域的信息聚集，产生一个三维的向量，这个向量包含了空间和光谱的信息可以表示。对于BM，将神经网络应用域波束上面，可以避免传统的统计学党法，直接得到权重，应用到每一个通道。之后将滤波到的谱加和在一起获得最后的语音。 GaGNET
EM：传统的编码器--rnn---解码器结构，中间的rnn结构用的是S-TCM，BM有两种选择，一种是C-BF（一维卷积）,一种是R-BF（两个双向的lstm）。后处理模块采用的是GaGNet。
做了对比实验，是否使用U-NET，是否输出多个滤波权重，BF的类型，是否采用幅度谱压缩。
《EMBEDDING AND BEAMFORMING: ALL-NEURAL CAUSAL BEAMFORMER FORMULTICHANNEL SPEECH ENHANCEMENT》论文阅读相关推荐
- 《基于卷积神经网络的深度迁移学习，用于燃气轮机燃烧室的故障检测》论文阅读
目录 突出 抽象 引言 1.1动机 1.2文献综述获得的结论 1.3贡献 1.4组织 2方法 2.1燃汽轮机组故障知识共享 2.2迁移学习 2.3 基于卷积神经网络的深度迁移学习 2.4用于燃气轮机燃 ...
- 基于卷积神经网络和投票机制的三维模型分类与检索 2019 论文笔记
作者:白静 计算机辅助设计与图形学学报 1.解决的问题 由于三维模型投影得到的视图是由不同视点得到,具有相对独立性,这种像素级的融合运算并没有直接的物理或者几何意义,更有可能造成图像有益信息淹没和混淆 ...
- TextCNN——基于卷积神经网络的文本分类学习
1.CNN基础内容 CNN的全称是Convolutional Neural Network,是一种前馈神经网络.由一个或多个卷积层.池化层以及顶部的全连接层组成,在图像处理领域表现出色. 本文主要学习 ...
- 读懂深度迁移学习，看这文就够了 | 赠书
百度前首席科学家.斯坦福大学副教授吴恩达(Andrew Ng)曾经说过:迁移学习将是继监督学习之后的下一个促使机器学习成功商业化的驱动力. 本文选自<深度学习500问:AI工程师面试宝典> ...
- 一种基于卷积神经网络的图像去雾研究-含matlab代码
目录 一.绪论 二.去雾卷积网络 2.1 特征提取 2.2 多尺度映射 2.3 局部均值 2.4 非线性回归 三.实验与分析 四.Matlab代码获取 一.绪论 雾是一种常见的大气现象,空气中悬浮的水 ...
- 机械臂论文笔记（一）【基于卷积神经网络的二指机械手 抓取姿态生成研究 】
基于卷积神经网络的二指机械手 抓取姿态生成研究 论文下载 摘要 第1章 绪论 1.1 抓取生成国内外研究现状 1.1.1已知物体抓取生成 1.1.2相似物体抓取生成 1.1.3 未知物体抓取生成 1. ...
- 毕业设计 - 基于卷积神经网络的乳腺癌分类 深度学习 医学图像
文章目录 1 前言 2 前言 3 数据集 3.1 良性样本 3.2 病变样本 4 开发环境 5 代码实现 5.1 实现流程 5.2 部分代码实现 5.2.1 导入库 5.2.2 图像加载 5.2.3 ...
- 基于卷积神经网络与迁移学习的油茶病害图像识别
基于卷积神经网络与迁移学习的油茶病害图像识别 1.研究思路 利用深度卷积神经网络强大的特征学习和特征表达能力来自动学习油茶病害特征,并借助迁移学习方法将AlexNet模型在ImageNet图像数据集上 ...
- Python深度学习实例--基于卷积神经网络的小型数据处理（猫狗分类）
Python深度学习实例--基于卷积神经网络的小型数据处理(猫狗分类) 1.卷积神经网络 1.1卷积神经网络简介 1.2卷积运算 1.3 深度学习与小数据问题的相关性 2.下载数据 2.1下载原始数据 ...
- 基于卷积神经网络实现图片风格的迁移 1
卷积神经网络详解 一.实验介绍 1.1 实验内容 Prisma 是最近很火的一款APP,它能够将一张普通的图像转换成各种艺术风格的图像.本课程基于卷积神经网络,使用Caffe框架,探讨图片风格迁移背后 ...
最新文章
- 删数据，还要删AI模型：美国科技公司遭遇最严厉隐私泄露处罚
- ibatis提示Unable to load embedded resource from assembly Entity.Ce_SQL.xml,Entity.
- 魔兽三国服务器维护,魔兽三国开服七天技巧
- echarts做企业关系图谱_建立良好客户关系 做有温度的企业
- glide源码中包含了那种设计模式_源码中的设计模式-单例模式
- 给 WordPress 博客添加 Tabs 标签切换功能
- JSK-19 加一【入门】
- java程序设计 论文_《JAVA程序设计》论文要求
- kux播放器android,KUX转换器
- PDF格式转JPG格式怎么转？掌握方法其实很简单
- Java 求解加油站
- 批量提取PDF和图片发票信息 2.2
- 驱动专题：第四章MTD及Flash驱动 3. nandflash 详细硬件特性
- 百万调音师—音频基础知识
- Android面试题，framework源码
- 数组12:激光与巧克力
- 【python】数据清洗测试思路以及探索
- 陈景润把一本书读了20多遍，他的读书方法很特别
- dhrystone测试结果_Dhrystone Benchmark
- HeidiSQL使用心得