10月份语音合成任务安排: 商业化的普通话合成 (质量, 速度, 准确度, 韵律)

-1.0 首先趁着国庆节把9月份的任务完成, 快速整理, 难的或者繁琐的作为10月份任务之一, 但不再拓展, 即使拓展, 也只是先记下来, 后来发现还是太多了, 记下来的在下午去完成, 上午8到12点学习新的.

复现两篇论文, 结构实现细节进行说明, 训练步数+batch也标记, 并且以网页形式做出对比, 尤其是口音clone, 模仿着论文分析, 画出表格和图像 (如embedding vec). 代码备份, 报告完成并备份.
phoneme的放出no-ref-no-vae版本的, 只要中文声音.
照着自己琢磨的 "Break it down into text and timbre and accent factors"去实现. 为了实现效果, 需要琢磨几个loss的相对设置, 至少要打印出来看一看, 积累经验. 同时网络超参数尽量用之前实验的. 需要新的数据集, vae支持, 新合成的动态加入策略. 和复现论文结合起来搞一篇论文.
更加细致化分析: 设计实验让残留在各部分的不属于该部分的信息暴露出来, 在cs部分, 对于language id在decoder部分的炫技. 比如用vad, 比如用stop token一样的. 当然, 直接加到文本序列, 或者encoder_output也行, 不涉及序列变换.

-1.1 整理interspeech, 至少是ipyb和静北师兄讲的.

-1.1 数据挖掘, 工程化TF2, python细节和算法.

0. 0 尽快对接已有数据, 防止出问题. 可以单独训练, 可以base+X.

0.1英伟达的代码跑出来, 分析各个代码, vocoder在不使用工程技巧的inference时间, 作为baseline. 看是否不用优化就能忍. 要么就简单的分段优化. 看看有没有分布式的可能, 或者加大reduction_factor, 真不行了就都延迟2s.

T2+GL
T2+WaveNet (感觉时间上不靠谱)
T2+WaveRNN (感觉时间上不太靠谱)
T2 (Nvidia) + WaveGlow
梅林, Merlin, spss的, 作为速度以及正确率的backup
T2+SPTK
T2+word
T2+...

1. 自己想的线段树Tacotron-transfermer, 其实和fastspeech很像, 实现它. 处理duration的地方不太优美.

2. 想想怎么提升普通话的丰富的情感. (重点)

3. 新想法, 同位素, 同分异构. 避免某些训练不充分产生的问题.

4. 最后弄一个快的ASR, 搞一个"英特尔版本"的.

5. 迭代的 (递归的) 残差网络, 以及模拟低精度到高精度, 以及模拟数据挖掘中小数位拉出来.

6. 每次改个参数, 改个结构, 就需要全部重头训练. 唱歌.

10月份语音合成任务安排: 商业化的普通话合成 (质量, 速度, 准确度, 韵律)相关推荐

2022年1~10月语音合成（TTS)和语音识别(ASR)论文月报
论文统计每月更新一次,主要跟踪语音合成和语音识别的发展状况(很多文章都是在会议后才发出,但不影响统计.统计过程难免存在疏漏,因此统计结果仅供参考.所有文章语音合成领域统计列表请访问http://yql ...
2021年10月语音合成和语音识别论文月报
论文统计每月更新一次,主要跟踪语音合成和语音识别的发展状况(很多文章都是在会议后才发出,但不影响统计.统计过程难免存在疏漏,因此统计结果仅供参考.所有文章语音合成领域统计列表请访问http://y ...
2020年10月份电脑选购计划
2020年10月份电脑选购计划前言最近我爸需要买电脑,需要一台笔记本电脑.两台设计师电脑.两台办公电脑.没有说预算. 目测一下笔记本电脑以便携性为主,以超级本为选用方向:办公电脑的要求就是显示好和 ...
樱陀花园10月份活动策划
樱陀花园10月份活动策划--魔方.围棋课程开班一.活动安排时间:2015年10月7号之后(具体时间据天气) 地点:樱陀花园小区社区居委会前广场参与人员:樱陀花园社区儿童二.活动内容参加活动之 ...
OSChina 周二乱弹 —— 10月份结婚，媳妇要出去锻炼下自己
2019独角兽企业重金招聘Python工程师标准>>> Osc乱弹歌单(2018)请戳(这里) [今日歌曲] @达尔文:我正在听第二个月.韩雅凛的歌曲<숨겨진 이야기> ...
【青少年编程竞赛交流】10月份微信图文索引
10月份微信图文索引由于"组队学习"这个公众号的功能主要是组织Datawhale社群中的学习者们每个月的组队学习,所以,我另外新建了这个微信公众号"青少年编程竞赛交流& ...
【组队学习】10月份微信图文索引
10月份微信图文索引一.组队学习相关周报: Datawhale组队学习周报(第036周) Datawhale组队学习周报(第035周) Datawhale组队学习周报(第034周) Datawha ...
十月 android版本分布,安兔兔发布2018年10月份Android手机性能排行榜
汽车行业有金九银十一说,手机行业同样也是如此.在刚刚过去的 10 月份,我们见证了多款国产旗舰手机的发布,包括Mate20 系列.小米MIX3.荣耀Mgaic 2.努比亚X等等,得益于强大的硬件配置, ...
2020年10月份学习总结，项目管理案例
本文摘录2020年10月份学习总结,创建日期:2020-10-26 20:31:51,有修改. 一.案例分享在一些PM群(PM创造营)定期会分享项目案例,以下的这条案例很常见.很通俗易懂,阅读后会有 ...

10月份语音合成任务安排: 商业化的普通话合成 (质量, 速度, 准确度, 韵律)

10月份语音合成任务安排: 商业化的普通话合成 (质量, 速度, 准确度, 韵律)相关推荐

最新文章

热门文章