语音算法：CE/MMI准则

2024-04-18 07:50:25

1. 什么是CE/MMI准则？

CE/MMI准则：Cross-Entropy准则和MMI准则分别是两种不同的训练方法ML(Maximum Likelihood)和DT(Discriminative Training)的常用的准则。

2. 什么是CE准则？

P(y/x)=P(x,y)P(x)=P(x/y)⋅P(y)P(x)P(y/x) = \frac{P(x,y)}{P(x)}\quad=\frac{P(x/y)\cdot P(y)}{P(x)}\quad P(y/x)=P(x)P(x,y)=P(x)P(x/y)⋅P(y)
x表示输入的语音，y表示输出的文字，根据后验概率公式，可以得到上式。 P(y/x)后验概率，P(x/y)类条件概率，p(y)先验概率。
因为深度学习基于梯度反传，常数概率对梯度没有贡献，因此先验概率P(y)可以丢弃，此时可以表示为：
P(y/x)≈P(x/y)P(x)P(y/x) \approx \frac{P(x/y)}{P(x)}\quad P(y/x)≈P(x)P(x/y)
CE准则就是舍弃P(x)，此时概率公式可以表示为：
P(y/x)≈P(x/y)P(y/x) \approx {P(x/y)} P(y/x)≈P(x/y)
1. 我们这里不讨论为什么这样做，只讨论为什么这样处理是合理的？如果单纯的计算概率二者肯定不相等，但是一般情况下，当语音x，其最大概率可能的文字是y，那么反之也成立（文字y的最大可能发音是x），我们不需要保证等式成立，只要保证二者出现的概率都是最大即可（深度学习最终计算softmax，取最大概率输出）。
2.上式概率和深度学习的关系？ P(x/y)就是Acoustic model。

3. 什么是MMI准则？

当考虑P(x)时：
P(y/x)≈P(x/y)P(x)=P(x/y)∑P(x/yi)P(yi)=P(x/y)∑P(x/yi)P(y/x) \approx \frac{P(x/y)}{P(x)}\quad=\frac{P(x/y)}{\sum {P(x/y_i)P(y_i)}}\quad=\frac{P(x/y)}{\sum {P(x/y_i)}}\quad P(y/x)≈P(x)P(x/y)=∑P(x/yi)P(yi)P(x/y)=∑P(x/yi)P(x/y)
一般取log最大似然估计，则：
log(P(y/x))≈log(P(x/y))−log∑P(x/yi)log(P(y/x)) \approx log(P(x/y))-log\sum {P(x/y_i)} log(P(y/x))≈log(P(x/y))−log∑P(x/yi)
第一项提供正例，第二项提供负例；训练的时候采用正负例训练。

语音算法：CE/MMI准则相关推荐

语音识别中的CE准则和MMI准则——内含详细参数更新过程
CE准则和MMI准则 Cross-Entropy准则和MMI准则分别是两种不同的训练方法ML和DT的常用的准则.而ML和DT训练方法的核心思想分别来自于MLE和MAP. ML(Maximum ...
极限元语音算法专家刘斌：基于深度学习的语音生成问题
一.深度学习在语音合成中的应用语音合成主要采用波形拼接合成和统计参数合成两种方式.波形拼接语音合成需要有足够的高质量发音人录音才能够合成高质量的语音,它在工业界中得到了广泛使用.统计参数语音合成虽然 ...
AI语音算法“个性”强与芯片端“磨合”挑战多
https://www.toutiao.com/a6673008624060596740/ 与AI图像处理不同,AI语音交互算法由于在"个性"上更为强势,因此硬件芯片端在做适配与设 ...
在网易有道做语音算法工程师是一种怎样的体验？
鱼羊发自凹非寺量子位报道 | 公众号 QbitAI 一个成立不到两年的团队,两个初入职场的新人,杀入顶会挑战赛能拿下怎样的成绩? 时限是,10天. 近日,全球语音顶会INTERSPEECH 2 ...
语音算法笔记（3）——从序列建模的角度理解ASR
声明:本专栏文章为深蓝学院<语音算法:前沿与应用>课程个人学习笔记,更多学习资源请咨询深蓝学院相关课程. ASR中的序列模型 seq to seq任务的输入输出应当是不同长度,否则可以把每 ...
ADT语音算法软件简介
一.公司背景美国 ADT 公司(Adaptive Digital Technologies Inc.)是业界领先的语音算法和语音整体解决方案供应商(www.adaptivedigital.com), ...
Facebook最新语音算法曝光！自监督语音识别，错误率低至2.43％
2019-11-06 15:16:55 智东西11月6日消息,Facebook近日公开自动语音识别(ASR)领域的wave2vec机器学习算法细节,可以使用原始音频作为训练数据并提高准确性. wave ...
matlab语音算法,[转载]RLS算法多麦克风语音降噪( matlab编程 )
RLS算法多麦克风语音降噪一.课程设计的目的综合运用信号与系统.数字信号处理.概率论.矩阵运算的知识进行语音信号的增强,利用MATLAB作为编程工具进行计算机实现,从而加深对所学知识的理解,建立概 ...
【VB-01】离线语音模块，无需语音算法开发，直接嵌入式用。
目录前言测试方法语音调试 AT串口调试方案推广总结前言应越来越多的小伙伴离线语音控制的需求,我们最近出了一款,VB590系列语音芯片模块--VB-01此模块支持离线语音的识别和响应,配合 ...

最新文章

热门文章