discriminative training鉴别性训练

MLE(maximum likelihood estimation最大似然估计)：
之前用于训练HMM参数(A和B矩阵)所用的Baum-Welch算法和嵌入式训练时基于最大化训练数据的似然度的。MLE的替代方案是不再将最佳模型和数据相匹配，而是从其他模型中区分出最佳模型。鉴别性训练包括MMIE(最大互信息估计准则，Woodland and Povey, 2002)使用NN/SVM分类器，MCE(最小分类错误准则，Chou et al., 1993;McDermott and Hazen, 2004)，MBR(最小贝叶斯风险估计准则，Doumpiotis et al., 2003a)。

Maximum Mutual Information Estimation(最大互信息估计)

MMIE准则原理：
在O给定的情况下，描述对W的平均不确定性的度量是条件熵H(W|O)，写作：
H ( W ∣ O ) = − ∑ W , O p ( W , O ) l o g p ( W ∣ O ) = − E [ l o g p ( W ∣ O ) ] H(W|O)=-\sum\limits_{W,O} {p(W,O)logp(W|O)} =-E[logp(W|O)] H(W∣O)=−W,O∑p(W,O)logp(W∣O)=−E[logp(W∣O)]
目标是降低这个不确定度。在实际语音识别声学建模过程中，通常使用一个参数化的模型/\来近似求的真实后验概率P(W|O).
H ∧ ( W ∣ O ) = − E [ log ⁡ p ∧ ( W ∣ O ) ] {H_ \wedge }(W|O) = - E[\log {p_ \wedge }(W|O)] H∧(W∣O)=−E[logp∧(W∣O)]
最小化 H ∧ ( W ∣ O ) H_ \wedge (W|O) H∧(W∣O)的过程就是最大化互信息 I ∧ ( W ; O ) I_ \wedge (W;O) I∧(W;O)的过程，这种情况下的MMI准则实质上等价于条件最大似然准则(Conditional Maiximum Likelihood)

discriminative training鉴别性训练相关推荐

[转]语音识别中区分性训练（Discriminative Training）和最大似然估计（ML）的区别...
转:http://blog.sina.com.cn/s/blog_66f725ba0101bw8i.html 关于语音识别的声学模型训练方法已经是比较成熟的方法,一般企业或者研究机构会采用HTK工具包 ...
tensorflow 语音识别_调研报告｜在线语音识别改进方法之序列区分性训练
这篇文章主要调研的是一种常见的改进在线语音识别的方法:序列区分性训练(Sequence Discriminative Training).相信有很多人已经在 CTC/CE 的训练上遇到了瓶颈,而一些新 ...
区分性训练和mmi（一）
目录写在前面信息论中的一些概念最大似然估计MLE mle缺点区分性训练DT和最大互信息MMI 区分性训练 MMI 区分性训练缺点 MMI训练过程 Lattice 对于它的训练: MMI的问题: ...
Pytorch 60分钟入门之(四) TRAINING A CLASSIFIER 训练一个分类器
目录 TRAINING A CLASSIFIER 训练一个分类器数据呢? Training an image classifier 训练一个图像分类器 1. 载入和归一化CIFAR10 2. Def ...
Mixed Precision Training混合精度训练笔记及框架代码
Mixed Precision Training paper:https://arxiv.xilesou.top/abs/1710.03740 摘要: 增加神经网络的大小通常可以提高准确性,但同时也增 ...
Nuke Essential Training Nuke基本训练 Lynda课程中文字幕
Nuke Essential Training 中文字幕 Nuke基本训练中文字幕Nuke Essential Training 视觉效果(VFX)在票房中占主导地位,而Nuke是用于在最高端工作室 ...
TRAINING A CLASSIFIER训练分类器（pytorch官网60分钟闪电战第四节）
Training an image classifier训练图像分类器本节没有写在GPU和多个GPU上训练的代码,主要写了训练图像分类器,分为5个步骤文章目录一.Loading and norm ...
语音识别实践——深度学习训练准则
DNN的模型参数{W,b}需要通过每个任务的训练样本S={o,y}来训练得到.这个过程即训练过程或者参数估计过程,需要一个给定的训练准则和学习算法,也即需要定义一个损失函数.实际训练中交叉熵准则应用最 ...
END-TO-END DNN BASED SPEAKER RECOGNITION INSPIRED BY I-VECTOR AND PLDA
END-TO-END DNN BASED SPEAKER RECOGNITION INSPIRED BY I-VECTOR AND PLDA Johan Rohdin, Anna Silnova, M ...

discriminative training鉴别性训练

discriminative training鉴别性训练相关推荐

最新文章

热门文章