“EM（Expectation Maximization）算法”初探

（1）最大似然估计

先看看高教版《概率论与数理统计》关于“最大似然估计”的介绍：

接下来看看文章“What is the expectation maximization algorithm?”一文中给出的关于最大似然估计的例子，如下图所示。

为什么利用“最大似然估计”计算出来的硬币A正面朝上的概率是0.8、硬币B正面朝上的概率为0.45呢？

假设硬币A正面朝上的概率为，则关于硬币A的实验，即第2、3、5次实验结果的概率分别为：

第2、3、5次实验结果同时发生的概率为：

根据“最大似然估计”，的最大似然估计值应满足上式取得最大值。将上式对求导，并令其等于0可得：

在Matlab中画个曲线，如下所示，结合上面的数学分析，很明显可以得出。同理可以得出的最大似然估计值。

（2）EM算法

文章“What is the expectation maximization algorithm?”一文给出了EM算法的迭代过程，如下图所示。

step 1：对和进行初始化，即、。

step 2：以第一次实验结果为例，结果为，根据“条件概率”的计算，可以得到该硬币为A的概率为：

该硬币为B的概率为0.55。对第二到五次实验进行同样的分析。

step 3：根据第一部分的“最大似然估计”计算方法，可以得到、。

重复上述过程，经过10次循环，结果为：、。

而且，随着重复次数的增加，和将收敛，这个收敛的值就是EM计算的结果。

参考文献：

1）概率论与数理统计/盛骤，谢式千，潘承毅编. -4版. 北京：高等教育出版社，2008.6

2）What is the expectation maximization algorithm?. Chuong B Do & Serafim Batzoglou. NATURE BIOTECHNOLOGY. VOLUME 26 NUMBER 8 AUGUST 2008

“EM（Expectation Maximization）算法”初探相关推荐

EM算法（Expectation Maximization）期望最大化算法
原文:EM(期望最大化)算法初步认识 - 大数据和AI躺过的坑 - 博客园 https://www.cnblogs.com/zlslch/p/6965374.html 机器学习十大算法之一:EM算法( ...
EM算法（Expectation Maximization Algorithm）详解
EM算法(Expectation Maximization Algorithm)详解主要内容 EM算法简介预备知识极大似然估计 Jensen不等式 EM算法详解问题描述 EM算法推导 EM ...
机器学习之期望最大化算法(Expectation Maximization, EM)
文章目录期望最大化算法(Expectation Maximization, EM) 1. 基本内容 2. 从三硬币模型 2.1 问题提出 2.2 解决方案 2.3 换个角度 3. 到高斯混合模型(G ...
Algorithm之EM：Expectation Maximization简介、代码实现
Algorithm之EM:Expectation Maximization简介.代码实现目录 EM期望极大算法简介 Expectation Maximization期望极大算法案例实现 EM期望极大 ...
期望最大化（Expectation Maximization）算法介绍
一. 前言期望最大化(Expectation Maximization)算法(EM算法)在实际的应用中受到的关注不是特别的重,但是在学术中EM算法是其它很多算法的基础,如隐马尔科夫算法(HMM),L ...
EM的意思是“Expectation Maximization
EM算法好了,重新回到上面那个身高分布估计的问题.现在,通过抽取得到的那100个男生的身高和已知的其身高服从高斯分布,我们通过最大化其似然函数,就可以得到了对应高斯分布的参数θ=[u, ∂]T了.那 ...
EM算法初探——公式推导和三硬币模型解析
EM算法初探--公式推导和三硬币模型解析转载借鉴:http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html#!comments ...
经典算法研究系列：二、Dijkstra 算法初探
经典算法研究系列:二.Dijkstra 算法初探 July 二零一一年一月 ====================== 本文主要参考:算法导论第二版.维基百科. 写的不好之处,还望见谅. 本 ...
c语言将十进制转化为二进制算法_base64算法初探即逆向分析
算法分析虽说base64严格意义上来说并不能算是加密算法,但的确应用方面来说还算是比较广,在CTF的算法逆向中Base系列算是也比较常见的,萌新刚开始学算法,就以base64为例,对该算法进行一个简 ...

“EM（Expectation Maximization）算法”初探

“EM（Expectation Maximization）算法”初探相关推荐

最新文章

热门文章