GMM与EM个人的理解

本文GMM和EM是个人的粗浅理解，并不一定是正确的，欢迎大家批评指正。

1.GMM

GMM在语音识别的有大的作用。全名叫高斯混合分布，通俗的理解是多个高斯分布模型构成的。
GMM为后面的HMM提供了一个概率分布，将不完全数据的边缘分布转换为完全数据的联合分布。单独的高斯模型有两个重要参数，一个是均值，另一个就是协方差矩阵。pi为各个高斯模型在混合模型的权重。我们设置观测变量为x，隐藏变量为z，在语言识别中，观测变量就是通过MFCC提取的每一帧的音频信号的特征，隐藏变量就是一个状态，这个状态可以看作token，token可为词、音素等等。同时要求出GMM的似然函数。
GMM还有一个重点为其后验概率。我们可以把这个后验概率看作第k个高斯模型在混合高斯模型的贡献值，这个在EM算法中会经常用到。
对于GMM还有一点是与K-means的联系。K-means可以看作GMM的特例，是一种硬对齐方式，每个数据都对应确定的点上，GMM为软对齐，每个数据对应每个类的概率

2.EM

EM算法我们可以举一个例子来简单的说明。随机抽取100名男生女生的身高，其身高服从高斯分布，如何通过最大似然估计男生女生身高分布的均值和方差呢？
若每个数据的性别和身高给定，进行求均值可以把u求出。方差也可以求出。若不知道性别，只有身高数据如何求解。我们可以引入z变量。P（zi = 1）表示第i个为男生身高的概率。男生身高的均值就是每个数据男生身高的概率乘以数据求和再除以男生身高的概率求和。
但这时又有一个困难，如何求P（zi=1）的概率呢？我们首先随机给参数初始化，之后将男生的高斯分布除以男生加上女生的高斯分布，更新P（zi=1)，通过P（zi=1）再去更新均值和方差，循环迭代。
上述例子就是EM的算法较为直观的演示。接下来是EM的算法的通用步骤。EM算法是根据给定的{X,Z}的联合概率分布p(X,Z|theta)，优化theta，最大化似然函数P(X|theta）
1.初始化参数
2.E步计算潜变量的后验概率P（Z|X,theta_old）
3. M步使用后验估计参数
4. 重算似然函数，更新theta
我们给出一个通过EM算法更新GMM参数的过程。

GMM与EM个人的理解相关推荐

高斯混合模型（GMM）及其EM算法的理解
一个例子高斯混合模型(Gaussian Mixed Model)指的是多个高斯分布函数的线性组合,理论上GMM可以拟合出任意类型的分布,通常用于解决同一集合下的数据包含多个不同的分布的情况(或者是同 ...
从生成模型到GDA再到GMM和EM算法
在学习生成模型之前,先学习了解下密度估计和高斯混合模型.为什么呢?因为后面的VAE\GANs模型都需要把训练样本,也就是输入的图像样本看作是一个复杂的.多维的分布. 1. 知乎上关于图像频率的解释作 ...
从 GMM 到 EM 算法
首先需要声明的是,GMM是Gaussian Mixture Model,混合高斯模型,是一个模型.EM算法,Expection Maximization期望最大是一套计算框架(framework),一 ...
GMM的EM算法实现
在聚类算法K-Means, K-Medoids, GMM, Spectral clustering,Ncut一文中我们给出了GMM算法的基本模型与似然函数,在EM算法原理中对EM算法的实现与收敛性证 ...
关于矩阵胶囊与EM路由的理解（基于Hinton的胶囊网络）
本文介绍了Hinton的第二篇胶囊网络论文"Matrix capsules with EM Routing",其作者分别为Geoffrey E Hinton.Sara Sabour ...
em单位的理解和使用
什么是em单位? em是一个相对的度量单位,对于浏览器来说,1em=16px,16px为浏览器的默认字体大小. 为什么说它是一个相对的度量单位呢?下面用px和em分别做对比举例子: <style ...
EM算法的理解--以抛硬币为例
转载自EM算法理解 - 白婷 - 博客园EM算法理解 - 白婷 - 博客园EM算法理解 - 白婷 - 博客园修改了原文段落100中关于score计算方式的理解. 科学网-EM算法(期望最大化算法)简 ...
语音识别入门第三节：GMM以及EM算法（实战篇）
练习基础代码(包括音频文件.音频文件读取代码.预加重代码.分帧加窗代码.快速傅里叶变换代码)可从Github中获取,链接如下:https://github.com/nwpuaslp/ASR_Cours ...
浅谈对px em rem的理解
px: pc端最常用的的单位,大小固定,不会随窗口的变化而变化例子: .box{width:100px; height:100px; font-size: 16px; border:1px soli ...

GMM与EM个人的理解

GMM与EM个人的理解

1.GMM

2.EM

GMM与EM个人的理解相关推荐

最新文章

热门文章