最大似然估计算法

EM算法是一种最大似然估计(Max imum Likel ihood Est imation)算法，传统的最大似然估计算法是根据已知的观察数据来评估模型参数

最大似然估计的一般步骤如下：

首先确保采集得到的样本数据是独立同分布的，这是最大似然估计的前提，这样才可以对于数据建立统一的概率分布模型。在这个前提下对于概率分布模型做出估计

根据所假设的概率分布模型写出关于模型中的未知参数的似然函数。也就是概率关于未知参数的函数，问题就转变成了求解使得概率最大的未知参数的值

为了简化求导过程中的运算，对似然函数取对数，将其中的指数运算进行简化

将步骤3中得到的式子做关于未知参数的求导运算，为了求得概率的极值，使得导数为0，得到关于未知参数的方程

求解步骤4中得到的关于未知参数的方程，得到能够使得概率最大的参数值

最大似然估计例子

某公司想要对公司员工的身体状况做一次抽样调查，其中一项为体重的检查，其中一项统计数据是统计男女员工中体重50kg以上的员工分别占的比例。得到的三组数据如下：

男(kg) 49 60 70 48 47 55 80 62 64 78

女(kg) 45 46 45 52 60 49 47 53 55 64

男(kg) 58 62 49 63 72 90 64 69 59 57

根据数据得到三组中比例分别为0.7，0.5，0.9

由此得到的男女员工中体重50kg以上所占比例分别为0.8以及0.5

但是由于数据没有及时存储，所以数据出现了一些损耗，其中三次抽样时抽取的性别的信息丢失了，为了能够较为准确的得到目标比例，采用EM算法来进行迭代，首先假设在男性中的比例为0.6，在女性中的比例为0.4，则根据这一假设进行E步，计算出各组实验性别的后验概率，依次为

更新参数后用同样的E步以及M步迭代，得到参数为0.78以及0.60，再迭代一次，得到的参数为0.79以及0.60，可以看到这次迭代与上一次迭代之间得到的参数之间的差距已经很小了，可以近似认为得到的男女员工中体重50kg以上的员工所占比例分别为0.79以及0.60。

发现男性中的体重比例是较为准确的，而女性员工中的体重比例误差较大，这是由于在这组样本的三组数据中体重比例都是不小于女性中实际的体重比例的，所以在不能够准确知道哪组是女性数据的情况下得到的比例一定是偏大的。

最大似然估计算法存在的问题

在男女员工体重比例的例子中，在初始化参数的时候假设男性中比例为0.6，女性中比例为0.4。

假设男性中比例为0.4，女性中比例为0. 6，那么得到的结果就会是刚好相反的结果的，所以说EM算法的聚类结果受初始值的影响较大，会有比较大的波动，这就需要有一定的专业领域知识才可以根据自己的经验较好的对于参数进行初始化。

而且EM算法可能会出现陷入局部最优解的情况，所以在使用EM算法的时候可以考虑多次随机初始化的方法

最大似然估计（机器学习）相关推荐

【机器学习基本理论】详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解
[机器学习基本理论]详解最大似然估计(MLE).最大后验概率估计(MAP),以及贝叶斯公式的理解 https://mp.weixin.qq.com/s/6H0gmMWvTExySMraroLVlQ 最 ...
机器学习：最大似然估计与最大后验概率估计
在机器学习领域,概率估计是经常用到的一种模型,而概率估计中,我们经常会看到两种估计模型,一种是最大似然估计,即 Maximum likelihood, 另外一种就是最大后验概率估计,即 Maximum ...
最大似然估计_机器学习最大似然估计
很早之前接触了费曼学习法,费曼学习法是说"如果你真的想确保你对知识的理解没什么问题,就把它教给非专业的另一个人,如果他能听懂,就说明你真的理解了".前段时间看卷积神经网络时特别想用 ...
机器学习数学基础-最大似然估计与贝叶斯法则
以下文章摘录自 <机器学习观止--核心原理与实践> 京东: https://item.jd.com/13166960.html 当当:http://product.dangdang.com ...
机器学习-白板推导系列(一)-绪论（机器学习的MLE(最大似然估计)和MAP(最大后验估计)）
频率学派 - Frequentist - Maximum Likelihood Estimation (MLE,最大似然估计) 贝叶斯学派 - Bayesian - Maximum A Posteri ...
从最大似然估计开始，你需要打下的机器学习基石
选自Medium 作者:Jonny Brooks-Bartlett 机器之心编译概率论是机器学习与深度学习的基础知识,很多形式化的分析都是以概率的形式进行讨论.而这些讨论或多或少都离不开最大似然估计 ...
机器学习概念：最大后验概率估计与最大似然估计（Maximum posterior probability and maximum likelihood estimation)
joey 周琦假设有参数θ\theta, 观测x\mathbf{x}, 设f(x|θ)f(x|\theta)是变量xx的采样分布,θ\theta是其中的参数.那么θ\theta的最大似然估计可以表示 ...
【机器学习笔记（十）】之通俗易懂理解到底最大似然估计是什么？
本文章由公号[开发小鸽]发布!欢迎关注!!! 老规矩–妹妹镇楼: 导言: 咱们学习概率论的时候,一定学习过最大似然估计这个概念,但是大家可能都只是学习了如何求解最大似然估计,而不太清楚什么叫似然估计? ...
《机器学习笔记（三）：多元线性回归与正态分布最大似然估计》
回归问题普遍讨论的是多元线性回归,考虑多个特征可以得到更精确的模型,这其中涉及中心极限定理,正态分布,概率密度函数和最大似然估计. (一)背景--多元线性回归 1.概念本质上就是算法(公式)变换为了 ...
【机器学习算法-python实现】最大似然估计(Maximum Likelihood)
1.背景最大似然估计是概率论中常常涉及到的一种统计方法.大体的思想是,在知道概率密度f的前提下,我们进行一次采样,就可以根据f来计算这个采样实现的可能性.当然最大似然可以有很多变化,这里实现一种简单 ...

最大似然估计（机器学习）

最大似然估计算法

最大似然估计例子

最大似然估计算法存在的问题

最大似然估计（机器学习）相关推荐

最新文章

热门文章