EM算法

一、EM算法简介：

EM 算法是Dempster，Laind，Rubin于1977年提出的求参数极大似然估计的一种方法，它可以从非完整数据集中对参数进行MLE估计，是一种非常简单实用的学习算法。这种方法可以广泛地应用于处理缺损数据、截尾数据以及带有噪声等所谓的不完全数据。具体地说，我们可以利用EM算法来填充样本中的缺失数据、发现隐藏变量的值、估计HMM中的参数、估计有限混合分布中的参数以及可以进行无监督聚类等等。

最大期望算法（Expectation Maximization Algorithm，又译为：期望最大化算法），是一种迭代算法，用于含有隐变量（hidden variable）的概率参数模型的最大似然估计或极大后验概率估计。

在统计计算中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。

最大期望算法经过两个步骤交替进行计算，第一步是计算期望（E），也就是将隐藏变量象能够观测到的一样包含在内从而计算最大似然的期望值；另外一步是最大化（M），也就是最大化在 E 步上找到的最大似然的期望值从而计算参数的最大似然估计。M 步上找到的参数然后用于另外一个 E 步计算，这个过程不断交替进行。

二、基本步骤（具体公式及推导，读者参考其他文献）：

参数初始化

对需要估计的参数进行初始赋值，包括均值、方差、混合系数以及期望。
E-Step计算

利用概率分布公式计算后验概率，即期望。
M-step计算

重新估计参数，包括均值、方差、混合系数并且估计此参数下的期望值。
收敛性判断

将新的与旧的值进行比较，并与设置的阈值进行对比，判断迭代是否结束，若不符合条件，则返回到第2步，重新进行计算，直到收敛符合条件结束。

三、用python实现EM算法过程，下面以投硬币为例，供读者研究：

TEST=[[5,5],[9,1],[8,2],[4,6],[7,3]];

#投出来的结果，前面是正面向上的次数，每组结果后面数字表示反面向上的次数。

#由于每次投币要不选择A或者B，且仅从单个样本数据，无法获知，EM算法的主要目标是：通过大量计算和统计，将数据分离或寻找隐含变量。

print(TEST)#整个考虑可以从正面入手，反面配合。

def P(sA,sB,t1,t2):

#s是初始的概率，t1取正面的个数；t2取反面的个数，以概率密度为准。

PA=Cmn(t1+t2,t1)*(sA**t1)*((1-sA)**t2) #计算A出现的概率。

PB=Cmn(t1+t2,t1)*(sB**t1)*((1-sB)**t2) #计算B出现的概率。

return round(PA/(PA+PB),2) #求出新的概率值，然后根据这个概率值进行后面期望值的计算；且保留2位有效数字。

def fac(n):#阶乘。

f=1

fory in range(2,n+1):

f=f*y

return f

def Cmn(m,n):#先定义cmn后面利用这个概率密度函数，会使用排列组合关系。当Cm，n=Cm，m-n。减少计算量。

s=m-n

ifs<n:

n=s

f=1;t=m

fory in range(0,n):

f=f*t

t=t-1

return f/fac(n)

def CoinAB(oldoA,oldoB): #计算期望值，通过一次期望值的求解，再重新迭代概率值。

UA1=0;UA2=0; #UA1和UA2是A硬币投出的期望值。

t3=0;t4=0;t5=0;t6=0; #t3和t4、t5和t6都是为计算硬币A和B的期望值。

fory in TEST: #遍历所有样本数据。

UA1,UA2=y #取当前值，前面表示正面，后面表示反面。

oA=P(oldoA,oldoB,UA1,UA2) #计算出出A硬币的概率。

print(oA,1-oA)

t3=t3+UA1*round(oA,2) #计算A期望值（针对正面这个事实开始讨论）

t4=t4+UA2*round(oA,2)

t5=t5+UA1*round((1-oA),2) #计算B期望值（针对正面这个事实开始讨论）

t6=t6+UA2*round((1-oA),2)

return round(t3/(t3+t4),2),round(t5/(t5+t6),2) #返回迭代新一轮的A、B的概率。

def EM(oA,oB):

y=0; #计迭代次数。

while(1):

y=y+1

oldoA=oA;oldoB=oB #先存储迭代数据，为了计算收敛值，结束条件。

oA,oB=CoinAB(oldoA,oldoB) #分别赋值，为了下次使用。

print("----y={},oA={},oB={}".format(y,oA,oB))

if (oldoA-oA)**2+(oldoB-oB)**2<0.005:#自己设置收敛条件，目的为终止循环。

break

print("oA=",oA,"oB=",oB)

#oA,oB=eval(input("请输入初始值-oA,oB,逗号隔开：\n"))

oA=0.6

oB=0.4

EM(oA,oB)

大家，加油！

机器学习之十大经典算法（九）EM算法相关推荐

机器学习数据挖掘十大经典算法数学建模常用算法
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006 (香港召开)年12月评选出了数据挖掘领域的十大经典算法.不仅 ...
数据挖掘十大经典算法之——EM 算法
数据挖掘十大经典算法系列,点击链接直接跳转: 数据挖掘简介及十大经典算法(大纲索引) 1. 数据挖掘十大经典算法之--C4.5 算法 2. 数据挖掘十大经典算法之--K-Means 算法 3. 数据挖 ...
机器学习十大经典算法：深入浅出聊贝叶斯决策（贝叶斯公式，最小风险贝叶斯，最小错误贝叶斯）
前言常听人说,在学习一个东西时,如果能够深入浅出的讲给别人听,才算是真的懂了.最近正好在学模式识别,于是就用它来练笔了.贝叶斯决策(Bayes Decision) 是十大经典机器学习算法之一, ...
上手机器学习，从搞懂这十大经典算法开始
上手机器学习,从搞懂这十大经典算法开始翻译 | AI科技大本营(rgznai100) 参与 | 林椿眄编辑 | 波波,Donna 在机器学习领域,"没有免费的午餐"是一个不变的 ...
机器学习十大经典算法之岭回归和LASSO回归
机器学习十大经典算法之岭回归和LASSO回归(学习笔记整理:https://blog.csdn.net/weixin_43374551/article/details/83688913
pagerank数据集_机器学习十大经典算法-PageRank（附实践代码）
Yo, yo, check it out. 保证看完不晕倒... 如果公式让你脑瓜疼,请忽略公式,或者忽略脑瓜. Kagging咖金:推荐系统之关联规则(附实践代码)zhuanlan.zhihu.c ...
C++实现桶排序——十大经典排序算法之九【GIF动画+完整代码+详细注释】
十大经典排序算法系列博客-->传送门桶排序是计数排序的升级版.它利用了函数的映射关系,高效与否的关键就在于这个映射函数的确定.桶排序 (Bucket sort)的工作的原理:假设输入数据服从均 ...
数据挖掘十大经典算法（转载）
数据挖掘十大经典算法一.C4.5 C4.5,是机器学习算法中的一个分类决策树算法,它是决策树(决策树也就是做决策的节点间的组织方式像一棵树,其实是一个倒树)核心算法ID3的改进算法,所以基 ...
数据挖掘十大经典算法（详解）
数据挖掘十大经典算法一. C4.5 C4.5算法是机器学习算法中的一种分类决策树算法 ...
DataMining学习2_数据挖掘十大经典算法
数据挖掘十大经典算法一. C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3 算法. C4.5算法继承了ID3算法的优点,并在以下几方面对ID3算法进行了改进: ...

机器学习之十大经典算法（九）EM算法

一、EM算法简介：

二、基本步骤（具体公式及推导，读者参考其他文献）：

三、用python实现EM算法过程，下面以投硬币为例，供读者研究：

机器学习之十大经典算法（九）EM算法相关推荐

最新文章

热门文章