语音合成（TTS)论文优选：ByteSing: A Chinese Singing Voice Synthesis System Using Duration Allocated Encoder-De

声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

ByteSing: A Chinese Singing Voice Synthesis System Using Duration Allocated Encoder-Decoder Acoustic Models and WaveRNN Vocoders

本篇文章是总部ai实验室在2020.04.23更新的文章，主要做音乐合成，具体的文章链接https://arxiv.org/pdf/2004.11012.pdf 该文章的demo

https://bytesings.github.io/paper1.html （听起来还不错）

1 背景

音乐合成是根据语言特征和音乐特征合成歌曲，歌唱合唱技术是人机交互的各种应用程序中不可缺少的基本组件，例如虚拟化身，语音助手和智能电子设备等等。同时，歌唱合成系统可以与其他生成任务（如自动歌词和旋律生成）结合使用。多模式技术，歌唱合成和乐曲合成的组合越来越受欢迎。因此，对高保真，高自然度，更准确的歌唱算法的期望在将来会越来越高。本文提出基于类似tacotron +wavernn方案的歌唱合唱方案ByteSing，效果还算不错。

2 详细系统设计

图一展示了bytesing 系统的整体架构，该系统包含时长模型，声学模型和神经网络声码器。时长模型的输入为音素+音素类型+节奏和音符时长，输出为音素对应的时长。声学模型的输入为音素+音符音高+每帧的位置信息，输出为声学信息，具体为图2展示。看到图2结构可能大家跟我有相同的疑惑，既然时长模型已经预测出了每个音素时长，为什么还使用attention?本文在实验部分给出了实验结果：使用attention的效果更好。神经网络声码器是把声学特征转成波形，具体结构图3所示。

3 实验

本文实验对比一下几个方面：Natural是原始录音，ByteSing为本文提出方案，BS-w/o-attention为不使用attention方案，BS-w-To为输入特征添加音调信息。

客观指标如table 2显示，本文ByteSing在各项指标最好，说明使用attention效果提升，同时添加音调信息结果反而不好。图4是attention的对齐信息。图5展示了主观MOS评测，该部分说明ByteSing在pitch, rhythm,pron,breath和express等方面跟原始录音差别不大。

4 总结

歌唱合唱技术是人机交互的各种应用程序中不可缺少的基本组件，例如虚拟化身，语音助手和智能电子设备等等。本文提出基于类似tacotron +wavernn方案的歌唱合唱方案ByteSing，效果还算不错

语音合成（TTS)论文优选：ByteSing: A Chinese Singing Voice Synthesis System Using Duration Allocated Encoder-De相关推荐

语音合成TTS论文优选：A HYBRID TEXT NORMALIZATION SYSTEM USING MULTI-HEAD SELF-ATTENTION FOR MANDARIN
声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 A HYBRID TEXT ...
FAST AND HIGH-QUALITY SINGING VOICE SYNTHESIS SYSTEM BASED ON CONVOLUTIONAL NEURAL NETWORKS
摘要本文介绍了基于卷积神经网络(CNN)的歌声合成.当前提出的基于深度神经网络(DNN)的唱歌声音合成系统,并且改善合成唱歌声音的自然性.由于歌声代表着丰富的表达形式,因此需要一种强大的技术来准确地 ...
语音合成（speech synthesis）方向六：歌唱合成（singing voice synthesis)
声明:工作以来主要从事TTS工作,工程算法都有涉及,平时看些文章做些笔记.文章中难免存在错误的地方,还望大家海涵.平时搜集一些资料,方便查阅学习:TTS 论文列表低调奋进 TTS 开源数据低调奋进 ...
语音合成（TTS)论文优选：Accent and Speaker Disentanglement in Many-to-many Voice Conversion
声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 Accent and Spe ...
语音合成（TTS)论文优选：End-to-End Code-Switching TTS with Cross-Lingual Language Model
声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 End-to-End Cod ...
语音合成（TTS)论文优选：Location-Relative Attention Mechanisms for Robust Long-Form Speech Synthesis
声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 Location-Relat ...
语音合成（TTS论文优选：VocGAN: A High-Fidelity Real-time Vocoder with a Hierarchically-nested Adversarial Netw
声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法.如有转载,请标注来源. 欢迎关注微信公众号:低调奋进 VocGAN: A High ...
《Exploring Cross-lingual Singing Voice Synthesis Using Speech Data》论文阅读
任务歌唱合成的目的是给定乐谱和旋律, 合成歌唱音频.歌唱合成系统能够通过训练目标说话人相关的同一语言下的歌唱/语音数据来构建. 目前大多数的歌唱合成系统只支持一种语言,给定说话人的语音数据(同一语言 ...
歌声合成（Singing Voice Synthesis）理论
歌声合成原理歌唱产生的音乐成为歌声.歌唱更注意着重于通过横膈膜和腹部甚至下腹部肌肉来调整呼吸, 从而更好地控制音高.音色等. 歌唱中的颤音是指音高急剧上下波动的声音,是由空气有控制地通过放松的喉部 ...

语音合成（TTS)论文优选：ByteSing: A Chinese Singing Voice Synthesis System Using Duration Allocated Encoder-De

语音合成（TTS)论文优选：ByteSing: A Chinese Singing Voice Synthesis System Using Duration Allocated Encoder-De相关推荐

最新文章

热门文章