机器学习 EM算法从极大似然法谈起

极大似然法 VS EM算法

EM(Expectation Maximization)算法是复杂化的极大似然法(Maximum Likelihood)。

极大似然法问题中，所有观测值属于同一分布，需要估计的，是使得观测值序列出现概率最大的该分布的参数（均值、标准差）
EM问题中，所有观测值可能属于不同的分布，因此需要估计的除了每一个分布的参数，还有具体某个观测值属于哪一个分布

e.g.
在全校随机抽取100名男生测量身高，根据100个身高数据，估计男生身高X的均值，这就是极大似然法；
在全校随机抽取100名男女生，根据100个身高数据，估计男生身高X的均值，女生身高Y的均值，这就是EM算法要解决的问题。

EM算法原理

EM算法的难度就在于，增加了一个隐藏变量，即每个观测值属于哪一个分布。这使得矛盾的局面出现了：要想知道每一分布的参数，就得知道每个观测值具体属于哪一分布；要想知道每个观测值具体属于哪一分布，就得知道每一分布的参数。

解决方案：先随机初始化一个PA和PB，按照最大似然法估计z(每轮硬币分布向量，即每轮具体是抛掷哪个硬币)，然后基于z，还是按照最大似然法估计新的PA和PB，两个最大似然估计过程交替进行：

先随便给PA和PB赋一个值，比如：硬币A正面朝上的概率PA = 0.2；硬币B正面朝上的概率PB = 0.7
然后，我们看看第一轮抛掷最可能是哪个硬币。
如果是硬币A，得出3正2反的概率为 0.20.20.20.80.8 = 0.00512；如果是硬币B，得出3正2反的概率为0.70.70.70.30.3=0.03087。因此按照极大似然法，第一轮抛掷最可能是硬币B。然后依次求出其他4轮中的相应概率及最可能是哪个硬币
综合五轮抛掷结果，重新计算PA和PB，重复2、3步骤至PA和PB收敛于某定值。

参考：
https://blog.csdn.net/v_july_v/article/details/81708386

机器学习 EM算法从极大似然法谈起相关推荐

机器学习 | EM 算法原理
文章目录 EM 算法 1. EM 算法的引入三硬币模型 2. EM 算法 Q 函数参考文献相关文章: 机器学习 | 目录无监督学习 | GMM 高斯混合原理及Sklearn实现本文大部分内容 ...
机器学习——EM算法
EM算法 EM算法是一种常用的估计参数隐变量的利器,也称为期望最大算法,是数据挖掘的十大经典算法之一.EM算法主要应用与训练样本不完整即存在隐变量时的情形(例如某个属性值未知),通过独特的两步走策略能 ...
机器学习 EM算法理解
文章目录前言极大似然问题描述参数估计极大似然估计极大似然应用极小化代价函数 EM算法 EM算法推导基础知识凸函数 Jensen不等式期望推导过程算法流程另一种呢理解 EM算法 ...
深入理解机器学习——EM算法/最大期望算法（Expectation-Maximization Algorithm, EM）
分类目录:<深入理解机器学习>总目录在前面的讨论中,我们一直假设训练样本所有属性变量的值都已被观测到,即训练样本是"完整"的.但在现实应用中往往会遇到"不完 ...
机器学习笔记之EM算法(二)EM算法公式推导过程
机器学习笔记之EM算法--EM算法公式推导过程引言回顾:EM算法公式推导过程引言上一节介绍了隐变量和EM算法,以及以EM算法公式为条件,证明了随着EM算法迭代步骤的增加,每次迭代得到新的模 ...
机器学习笔记之EM算法(一)隐变量与EM算法公式的收敛性
机器学习笔记之EM算法--隐变量与EM算法公式的收敛性引言隐变量示例1 示例2 EM算法包含隐变量的混合概率模型 EM算法的表达形式 EM算法的收敛性 EM算法的收敛性证明的条件与目标 EM算 ...
实战EM算法与图像分割
EM 算法是求参数极大似然估计的一种方法,它可以从非完整数据集中对参数进行估计,是一种非常简单实用的学习算法.这种方法可以广泛地应用于处理缺损数据.截尾数据以及带有噪声等所谓的不完全数据,可以具体来说 ...
(转载)机器学习知识点(十五)从最大似然到EM算法浅解
从最大似然到EM算法浅解机器学习十大算法之一:EM算法.能评得上十大之一,让人听起来觉得挺NB的.什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题.神为什么是神,因为神能做 ...
机器学习算法总结--EM算法
参考自 <统计学习方法> 机器学习常见算法个人总结(面试用) 从最大似然到EM算法浅解 (EM算法)The EM Algorithm 简介 EM算法,即期望极大算法,用于含有隐变量的概率模 ...

机器学习 EM算法从极大似然法谈起

极大似然法 VS EM算法

EM算法原理

机器学习 EM算法从极大似然法谈起相关推荐

最新文章

热门文章

机器学习 EM算法 从极大似然法谈起

极大似然法 VS EM算法

EM算法原理

机器学习 EM算法 从极大似然法谈起相关推荐

最新文章

热门文章

机器学习 EM算法从极大似然法谈起

机器学习 EM算法从极大似然法谈起相关推荐