无中生有！没有视觉信号的视觉语音增强

今天跟大家分享一篇非常有意思也很有用的文章，是WACV 2021的录用论文Visual Speech Enhancement Without A Real Visual Stream。该文研究涉及计算机视觉与语音处理的交叉。

论文信息：

作者来自：印度 IIIT Hyderabad 和英国巴斯大学。

语音增强是语音处理的经典研究内容，以往的语音增强往往只将语音作为输入信号，这在现实世界的嘈杂环境中往往效果不佳。

近年来一种视觉辅助的语音增强技术取得了突破，通过跟踪视频中人物口型，可以较好的辅助过滤环境噪声。但其需要人物正脸在视频中，使用场景较为狭窄，毕竟大多数场景下，没有人物正脸，甚至没有视觉信息辅助。

该文学者指出，实际上根据语音进行唇语合成已经是一个较为成熟的技术，在现有框架下，可以直接使用语音信号本身合成人物口型的视频，进而辅助语音增强。

以下视频展示了最终语音增强的效果：

该文在多个数据集上取得了SOTA的结果，并且该技术可以用于任何语言的语音增强，但由于其中含有视觉生成部分，估计相比传统算法时间开销较大。作者已经开源了代码，感兴趣的朋友可以试一下。

论文：

https://arxiv.org/abs/2012.10852

代码：

https://github.com/Sindhu-Hegde/pseudo-visual-speech-denoising

无中生有！没有视觉信号的视觉语音增强相关推荐

语音增强原理之噪声估计
语音增强的整个过程,通常假设噪声为加性随机平稳噪声,且语音短时平稳,下面的原理描述中,都是在这两个假设前提之下来做的.整个语音增强的流程大致可以分为两大部分一.噪声估计二.衰减因子(有的地方也叫做 ...
AliCloudDenoise 语音增强算法：助力实时会议系统进入超清音质时代
简介:近些年,随着实时通信技术的发展,在线会议逐渐成为人们工作中不可或缺的重要办公工具,据不完全统计,线上会议中约有 75% 为纯语音会议,即无需开启摄像头和屏幕共享功能,此时会议中的语音质量和清晰度 ...
基于维纳滤波的语音增强算法 matlab,基于维纳滤波语音增强算法的改进实现
通过对维纳滤波的介绍,实现了基本维纳滤波效果;利用两级维纳滤波和两级滤波器组滤波方法实现了语音增强,达到了良好的效果. 维普资讯 http://doc.docsou.com 文章编号:0 2 8 8 ...
语音增强相关技术综述
1 非监督语音增强技术 2 监督语音增强技术 3 github上提供的源代码及分析 3.1 Dual-signal Transformation LSTM Network 简介 https://git ...
功率谱魏凤英统计程序_单通道语音增强之统计信号模型
[欢迎访问我的博客原文](单通道语音增强之统计信号模型) 1. 信号估计理论简述信号估计理论是现代统计处理的基础课题[@ZhangXianDa2002ModernSP],在通信.语音.图像领域均有广 ...
音视频开发（39）---语音增强
语音增强 1.1 语音增强概况语音增强,英文名:Speech Enhancement,其本质就是语音降噪,换句话说,日常生活中,麦克风采集的语音通常是带有不同噪声的"污染"语 ...
音视频开发（37）---麦克风阵列语音增强（二）
麦克风阵列语音增强(二) 版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/zhanglu_wind/article/details/81217093 ...
音视频开发（35）---麦克风阵列语音增强
1. 引言对于语音增强的研究,基本上可以划分成两大分支:单通道的语音增强算法和麦克风阵列的语音增强算法(也称为,多通道的语音增强算法).麦克风阵列的语音增强方法的优势在于考虑了声源的位置信息,可 ...
传统语音增强——基于先验信噪比的维纳滤波语音降噪算法
一.基于先验信噪比的维纳滤波语音降噪算法的基本概念改进的维纳滤波器为基于先验信噪比的维纳滤波器,其原理框图下图所示. 对于第m帧带噪语音信号ym(n)=sm(n)+nm(n) 式中,sm(n)是第m ...

无中生有！没有视觉信号的视觉语音增强

无中生有！没有视觉信号的视觉语音增强相关推荐

最新文章

热门文章