Location-Relative Attention Mechanisms for Robust Long-Form Speech Synthesis

本篇文章是google在2020.04.22更新的文章，主要提出了基于energy_base的dynamic convolution attention，使语音合成系统可以对长句子进行推理。文章的具体链接：https://arxiv.org/pdf/1910.10288.pdf

1 背景

现在的语音合成系统虽然可以合成较高音质音频，但基于attention的对齐依然存在许多问题，比如使用短句子语料训练模型，该模型无法进行长句子的推理。本文对比了两类attention：location-relative gmm-based attention和additive energy-based attention，并提出了一种新的attention:dynamic convolution attention(DCA)，实验结果显示，该attention可以合成较长的句子。

2 详细设计

encoder-attention-decoder的模型通用的公式表达为公式1-4：先使用encoder对输入进行处理，输出固定长度的特征h。对于decoder的每一帧输出，先使用attention求取对特征h的对齐，然后求取context vector。最后使由decoder输出该帧。其中attention决定了输入和输出的对齐情况。

接下来介绍两类attention：location-relative gmm-based attention和additive energy-based attention。

其中，gmm-based 基础的attention为公式5-6，参数w,∆,σ可以使用MLP进行估算，如公式7所示。最终的参数计算如table1所示，不同函数的转换为不同版本的gmm-attention。另外对v1和v2的∆i=1和σi=10的初始值设置则标注为版本v1b和v2b。

additive energy-based mechanisms的attention的公式统一表示为公式8-12。其中Wsi 和 V hj分别为query/key的计算，Ufi,j为历史对齐的累计，Tgi,j 和pi,j 为本文提出的dynamic convolution attention添加的两个部分，其值都是从decoder的状态求取，其结构都是卷积结构。对公式8的每个部分是否存在分为了table 2展示的几个版本attention。（其中本文的dca的图我使用tensorboard看了一下，结构从图和代码中看较为简单明了，这需要使用者去研究代码，其中图中1，2，3则为Ufi,j，Tgi,j 和pi,j）。其中pi,j的prior filter对输入encoder的分布如图一所示。

3 实验结果

首先对比一下这几种attention的收敛速度和收敛情况，结果如图2所示，在lessac数据集中，DCA和gmmv2b的效果最好，其它版本gmm都不太好。对数据集LJ上，location-sensitive效果较好，DCA,GMMv2b只存在一次对齐失败（本文说的原因是由于文本较长导致），但收敛速度比location-sensitive较快。

接下来，对比一下mos值，table 3可以看出，DCA和其它版本的效果相当，没有造成MOS下降。

最后比较长句子的CER(character error rate)，由图3可以看出，gmmv2b和DCA的错误率不管合成句子长短都很低。

4 总结

本文提出了一种新的attetion:dynamic convolution attention，该种attention可以合成较长的句子。

语音合成（TTS)论文优选：Location-Relative Attention Mechanisms for Robust Long-Form Speech Synthesis相关推荐

语音合成TTS论文优选：A HYBRID TEXT NORMALIZATION SYSTEM USING MULTI-HEAD SELF-ATTENTION FOR MANDARIN
声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 A HYBRID TEXT ...
语音合成（TTS)论文优选：Accent and Speaker Disentanglement in Many-to-many Voice Conversion
声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 Accent and Spe ...
语音合成（TTS)论文优选：ByteSing: A Chinese Singing Voice Synthesis System Using Duration Allocated Encoder-De
声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 ByteSing: A Ch ...
语音合成（TTS)论文优选：End-to-End Code-Switching TTS with Cross-Lingual Language Model
声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 End-to-End Cod ...
语音合成（TTS论文优选：VocGAN: A High-Fidelity Real-time Vocoder with a Hierarchically-nested Adversarial Netw
声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 VocGAN: A High ...
语音信号处理论文优选：神农Shennong: a Python toolbox for audio speech features extraction
声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵.搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html.语音合成领域论文列表请访问h ...
【论文学习】《“Hello, It’s Me”: Deep Learning-based Speech Synthesis Attacks in the Real World》
<"Hello, It's Me": Deep Learning-based Speech Synthesis Attacks in the Real World>论文 ...
语音合成 | 精选论文汇总（197篇）
语音合成 | 精选论文汇总(197篇) 本文为大家整理了语音合成相关论文197篇,共分为12部分,分类如下: (转至文末链接,免费获取源码链接及PDF版论文) Journal and confere ...
语音信号处理（DSP）论文优选：Interactive Modeling for Speech Enhancement
声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 Interactive Sp ...

语音合成（TTS)论文优选：Location-Relative Attention Mechanisms for Robust Long-Form Speech Synthesis

Location-Relative Attention Mechanisms for Robust Long-Form Speech Synthesis

语音合成（TTS)论文优选：Location-Relative Attention Mechanisms for Robust Long-Form Speech Synthesis相关推荐

最新文章

热门文章