nlp基础—6.EM算法

文章目录

一、EM算法
二、EM算法的应用—高斯混合模型GMM
- 1.高斯混合模型下的EM算法

一、EM算法

EM算法是一种迭代算法，EM算法的每次迭代由两步组成：E步，求期望；M步：求极大。EM算法就是在含有隐变量的概率模型中寻找参数极大似然估计的算法，其中概率模型依赖于无法观测的隐性变量。EM算法经过两个步骤交替进行计算：
首先，初始化待估计的值

第一步是计算期望(E)），利用迭代参数估计值，计算其极大似然估计值;
第二步极大化(M），极大化在E步上求得极大似然估计值来计算参数的值。

M步上找到的参数估计值被用于下一个E步计算中，这个过程不断交替进行。
下面介绍EM算法。

EM算法只能保证每次迭代都比上一次得到的要好，但不能保证得到全局最优解。
EM算法的缺点：

不能保证全局收敛
参数的初值可以任意选取，EM算法对初值是敏感的

EM算法的优点：迭代过程简单直接

二、EM算法的应用—高斯混合模型GMM

1.高斯混合模型下的EM算法

如果对您有帮助，麻烦点赞关注，这真的对我很重要！！！如果需要互关，请评论或者私信！

nlp基础—6.EM算法相关推荐

【机器学习基础】EM算法详解及其收敛性证明
EM算法详解 (一)单高斯模型 1.1 一维高斯分布: 1.2 多维高斯分布: (二)最大似然估计 2.1 最大似然估计的数学概念: 2.2 最大似然估计的基本步骤: 2.2.1 构造似然函数: 2. ...
机器学习：详细推导EM算法
EM算法可以说是一个非常经典的算法,至今仍在广泛地被使用(如强化学习领域等等). 网上介绍该算法的文章也很多,比如如何通俗理解EM算法.[机器学习基础]EM算法.但是我认为这些文章讲的太多,反而显得乱 ...
【机器学习基础】数学推导+纯Python实现机器学习算法27：EM算法
Python机器学习算法实现 Author:louwill Machine Learning Lab 从本篇开始,整个机器学习系列还剩下最后三篇涉及导概率模型的文章,分别是EM算法.CRF条件随机场和 ...
em算法怎么对应原有分类_机器学习基础-EM算法
EM算法也称期望最大化(Expectation-Maximum,简称EM)算法,它是一个基础算法,是很多机器学习领域算法的基础,比如隐式马尔科夫算法(HMM), LDA主题模型的变分推断等等.本文就对 ...
机器学习基础 EM算法
文章目录一.初识EM算法二.EM算法介绍 1. 极大似然估计 1.1 问题描述 1.2 用数学知识解决现实问题 1.3 最大似然函数估计值的求解步骤 2. EM算法实例描述 3. EM算法流程三 ...
机器学习基础（六）：贝叶斯分类（贝叶斯决策论、朴素/半朴素贝叶斯分类器、贝叶斯网、EM算法）
6.贝叶斯分类 6.1贝叶斯决策论Bayesian decision theory 概率框架下实施决策的基本方法. 对分类任务来说,在所有相关概率都已知的理想情形下,贝叶斯决策论考虑如何基于这些概率和 ...
自然语言处理NLP星空智能对话机器人系列：第21章：基于Bayesian Theory的MRC文本理解基础经典模型算法详解
自然语言处理NLP星空智能对话机器人系列: 第21章:基于Bayesian Theory的MRC文本理解基础经典模型算法详解 1,Bayesian prior在模型训练时候对Weight控制.训练速度 ...
EM算法原理及其在NLP中的应用
EM算法是一种迭代算法,全称为期望极大算法(expectation maximization algorithm),用于含有隐变量(hidden variable)的概率模型参数的极大似然估计,或极大 ...
语音识别学习日志 2019-7-14 语音识别基础知识准备2 {EM算法与混合高斯模型(Gaussian mixture model, GMM)}
https://blog.csdn.net/lin_limin/article/details/81048411会对GMM和EM做详细介绍本文参考: http://www.ituring.com.c ...
NLP --- 隐马尔可夫HMM（EM算法（期望最大化算法））
期望最大化 (Expectation Maximization) 算法最初是由 Ceppellini[2] 等人 1950 年在讨论基因频率的估计的时候提出的.后来又被 Hartley[3] 和Bau ...