【转载】(EM算法)The EM Algorithm
(EM算法)The EM Algorithm
EM是我一直想深入学习的算法之一,第一次听说是在NLP课中的HMM那一节,为了解决HMM的参数估计问题,使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。
下面主要介绍EM的整个推导过程。
1. Jensen不等式
回顾优化理论中的一些概念。设f是定义域为实数的函数,如果对于所有的实数x,,那么f是凸函数。当x是向量时,如果其hessian矩阵H是半正定的(),那么f是凸函数。如果或者,那么称f是严格凸函数。
Jensen不等式表述如下:
如果f是凸函数,X是随机变量,那么
特别地,如果f是严格凸函数,那么当且仅当,也就是说X是常量。
这里我们将简写为。
如果用图表示会很清晰:
图中,实线f是凸函数,X是随机变量,有0.5的概率是a,有0.5的概率是b。(就像掷硬币一样)。X的期望值就是a和b的中值了,图中可以看到成立。
当f是(严格)凹函数当且仅当-f是(严格)凸函数。
Jensen不等式应用于凹函数时,不等号方向反向,也就是。
2. EM算法
给定的训练样本是,样例间独立,我们想找到每个样例隐含的类别z,能使得p(x,z)最大。p(x,z)的最大似然估计如下:
第一步是对极大似然取对数,第二步是对每个样例的每个可能类别z求联合分布概率和。但是直接求一般比较困难,因为有隐藏变量z存在,但是一般确定了z后,求解就容易了。
EM是一种解决存在隐含变量优化问题的有效方法。竟然不能直接最大化,我们可以不断地建立的下界(E步),然后优化下界(M步)。这句话比较抽象,看下面的。
对于每一个样例i,让表示该样例隐含变量z的某种分布,满足的条件是。(如果z是连续性的,那么是概率密度函数,需要将求和符号换做积分符号)。比如要将班上学生聚类,假设隐藏变量z是身高,那么就是连续的高斯分布。如果按照隐藏变量是男女,那么就是伯努利分布了。
可以由前面阐述的内容得到下面的公式:
(1)到(2)比较直接,就是分子分母同乘以一个相等的函数。(2)到(3)利用了Jensen不等式,考虑到是凹函数(二阶导数小于0),而且
就是的期望(回想期望公式中的Lazy Statistician规则)
设Y是随机变量X的函数(g是连续函数),那么 (1) X是离散型随机变量,它的分布律为,k=1,2,…。若绝对收敛,则有 (2) X是连续型随机变量,它的概率密度为,若绝对收敛,则有 |
对应于上述问题,Y是,X是,是,g是到的映射。这样解释了式子(2)中的期望,再根据凹函数时的Jensen不等式:
可以得到(3)。
这个过程可以看作是对求了下界。对于的选择,有多种可能,那种更好的?假设已经给定,那么的值就决定于和了。我们可以通过调整这两个概率使下界不断上升,以逼近的真实值,那么什么时候算是调整好了呢?当不等式变成等式时,说明我们调整后的概率能够等价于了。按照这个思路,我们要找到等式成立的条件。根据Jensen不等式,要想让等式成立,需要让随机变量变成常数值,这里得到:
c为常数,不依赖于。对此式子做进一步推导,我们知道,那么也就有,(多个等式分子分母相加不变,这个认为每个样例的两个概率比值都是c),那么有下式:
至此,我们推出了在固定其他参数后,的计算公式就是后验概率,解决了如何选择的问题。这一步就是E步,建立的下界。接下来的M步,就是在给定后,调整,去极大化的下界(在固定后,下界还可以调整的更大)。那么一般的EM算法的步骤如下:
循环重复直到收敛 { (E步)对于每一个i,计算 (M步)计算 |
那么究竟怎么确保EM收敛?假定和是EM第t次和t+1次迭代后的结果。如果我们证明了,也就是说极大似然估计单调增加,那么最终我们会到达最大似然估计的最大值。下面来证明,选定后,我们得到E步
这一步保证了在给定时,Jensen不等式中的等式成立,也就是
然后进行M步,固定,并将视作变量,对上面的求导后,得到,这样经过一些推导会有以下式子成立:
解释第(4)步,得到时,只是最大化,也就是的下界,而没有使等式成立,等式成立只有是在固定,并按E步得到时才能成立。
况且根据我们前面得到的下式,对于所有的和都成立
第(5)步利用了M步的定义,M步就是将调整到,使得下界最大化。因此(5)成立,(6)是之前的等式结果。
这样就证明了会单调增加。一种收敛方法是不再变化,还有一种就是变化幅度很小。
再次解释一下(4)、(5)、(6)。首先(4)对所有的参数都满足,而其等式成立条件只是在固定,并调整好Q时成立,而第(4)步只是固定Q,调整,不能保证等式一定成立。(4)到(5)就是M步的定义,(5)到(6)是前面E步所保证等式成立条件。也就是说E步会将下界拉到与一个特定值(这里)一样的高度,而此时发现下界仍然可以上升,因此经过M步后,下界又被拉升,但达不到与另外一个特定值一样的高度,之后E步又将下界拉到与这个特定值一样的高度,重复下去,直到最大值。
如果我们定义
从前面的推导中我们知道,EM可以看作是J的坐标上升法,E步固定,优化,M步固定优化。
3. 重新审视混合高斯模型
我们已经知道了EM的精髓和推导过程,再次审视一下混合高斯模型。之前提到的混合高斯模型的参数和计算公式都是根据很多假定得出的,有些没有说明来由。为了简单,这里在M步只给出和的推导方法。
E步很简单,按照一般EM公式得到:
简单解释就是每个样例i的隐含类别为j的概率可以通过后验概率计算得到。
在M步中,我们需要在固定后最大化最大似然估计,也就是
这是将的k种情况展开后的样子,未知参数和。
固定和,对求导得
等于0时,得到
这就是我们之前模型中的的更新公式。
然后推导的更新公式。看之前得到的
在和确定后,分子上面的一串都是常数了,实际上需要优化的公式是:
需要知道的是,还需要满足一定的约束条件就是。
这个优化问题我们很熟悉了,直接构造拉格朗日乘子。
还有一点就是,但这一点会在得到的公式里自动满足。
求导得,
等于0,得到
也就是说再次使用,得到
这样就神奇地得到了。
那么就顺势得到M步中的更新公式:
的推导也类似,不过稍微复杂一些,毕竟是矩阵。结果在之前的混合高斯模型中已经给出。
4. 总结
如果将样本看作观察值,潜在类别看作是隐藏变量,那么聚类问题也就是参数估计问题,只不过聚类问题中参数分为隐含类别变量和其他参数,这犹如在x-y坐标系中找一个曲线的极值,然而曲线函数不能直接求导,因此什么梯度下降方法就不适用了。但固定一个变量后,另外一个可以通过求导得到,因此可以使用坐标上升法,一次固定一个变量,对另外的求极值,最后逐步逼近极值。对应到EM上,E步估计隐含变量,M步估计其他参数,交替将极值推向最大。EM中还有“硬”指定和“软”指定的概念,“软”指定看似更为合理,但计算量要大,“硬”指定在某些场合如K-means中更为实用(要是保持一个样本点到其他所有中心的概率,就会很麻烦)。
另外,EM的收敛性证明方法确实很牛,能够利用log的凹函数性质,还能够想到利用创造下界,拉平函数下界,优化下界的方法来逐步逼近极大值。而且每一步迭代都能保证是单调的。最重要的是证明的数学公式非常精妙,硬是分子分母都乘以z的概率变成期望来套上Jensen不等式,前人都是怎么想到的。
在Mitchell的Machine Learning书中也举了一个EM应用的例子,明白地说就是将班上学生的身高都放在一起,要求聚成两个类。这些身高可以看作是男生身高的高斯分布和女生身高的高斯分布组成。因此变成了如何估计每个样例是男生还是女生,然后在确定男女生情况下,如何估计均值和方差,里面也给出了公式,有兴趣可以参考。
转载于:https://www.cnblogs.com/daleloogn/p/4228221.html
【转载】(EM算法)The EM Algorithm相关推荐
- EM算法(Expectation Maximization Algorithm)
文章目录 1. 前言 2.基础数学知识 2.1.凸函数 2.2.Jensen不等式 3.EM算法所解决问题的例子 4.EM算法 4.1.模型说明 4.2.EM算法推导 4.3.EM算法收敛性证明 4. ...
- java em算法_python em算法的实现
''' 数据集:伪造数据集(两个高斯分布混合) 数据集长度:1000 ------------------------------ 运行结果: ---------------------------- ...
- 机器学习笔记之EM算法(二)EM算法公式推导过程
机器学习笔记之EM算法--EM算法公式推导过程 引言 回顾:EM算法公式 推导过程 引言 上一节介绍了隐变量和EM算法,以及 以EM算法公式为条件,证明了随着EM算法迭代步骤的增加,每次迭代得到新的模 ...
- 【大道至简】机器学习算法之EM算法(Expectation Maximization Algorithm)详解(附代码)---通俗理解EM算法。
☕️ 本文来自专栏:大道至简之机器学习系列专栏
- EM算法(Expectation Maximization Algorithm)详解
EM算法(Expectation Maximization Algorithm)详解 主要内容 EM算法简介 预备知识 极大似然估计 Jensen不等式 EM算法详解 问题描述 EM算法推导 EM ...
- EM算法的九层境界:Hinton和Jordan理解的EM算法
导读 知乎上有一个讨论:EM算法存在的意义是什么?是什么原因使得EM算法这么流行呢?EM算法是Hinton和Jordan强强发力的领域,本文作者纵向解析EM算法的9层境界,深入浅出,值得一读. Hin ...
- 含隐变量模型求解——EM算法
1 EM算法的引入 1.1 EM算法 1.2 EM算法的导出 2 EM算法的收敛性 3EM算法在高斯混合模型的应用 3.1 高斯混合模型Gaussian misture model 3.2 GMM中参 ...
- 概率语言模型及其变形系列-PLSA及EM算法
转载自:http://blog.csdn.net/yangliuy/article/details/8330640 本系列博文介绍常见概率语言模型及其变形模型,主要总结PLSA.LDA及LDA的变形模 ...
- 【EM算法】期望最大化算法
[摘要] EM(Expectation-Maximum)算法也称期望最大化算法,曾入选"数据挖掘十大算法"中,可见EM算法在机器学习.数据挖掘中的影响力.EM算法是最常见的隐变量估 ...
- 毕业论文-EM算法学习总结
序 这个和我的硕士毕业论文的题目就有一定关系,我的导师让我按时向她汇报学习进度.然而我还在进行实习,还要准备自己明年的秋招,只能想办法游走于三者之间. EM算法是一个常用的数据挖掘算法,想必从事数据挖 ...
最新文章
- OverLoad与override的区别
- ML与math:机器学习与高等数学基础概念、代码实现、案例应用之详细攻略——基础篇
- 2022-01-12
- 解决:按截图 ctrl+alt+a QQ聊天窗口就自动最小化(QQ以外的可以截图)
- 图解Java常用数据结构
- eclipse设置jsp文件编码默认为UTF-8
- (22)Vue.js 综合案例:TodoMVC
- JAVA写的文件分割与文件合并程序
- java设计模式懒汉_JAVA设计模式之懒汉式
- 基于卷积神经网络和迁移学习实现场景图片分类任务
- 微信小程序导航:官方文档+精品教程+demo集合(6月12日更新)
- 帆软报表填报成功后实时刷新当前页面
- Perl教程-3.基础语法
- 嵌入式 Linux C 代码规范和风格
- 数十亿红包,正谋杀我们的春节
- linux usb检测工具,Linux下USB设备检测全教程
- [转]辨别常见与不常见音乐文件格式的质量好坏!
- 好书推荐:《黑客秘笈:渗透测试实用指南》
- matlab代码折叠与分节注释
- DirectX 9.0 (6)聚光灯
热门文章
- Heritrix 3.1.0 源码解析(六)
- 给 OpenPOP.Net 加一个小功能,可用于收取邮件时监测数据流量!
- GIT 中同时 push 代码到多个远程仓库
- 读取STM32单片机-ID操作
- EF三种编程方式详细图文教程(C#+EF)之Database First
- idea编辑器无法识别jdk
- 【bzoj2705】[SDOI2012]Longge的问题 欧拉函数
- js处理异常try{}catch(e){}
- UML分析AsyncDisplayKit框架-ASMuplexImageNode异步下载时序图。
- CG-CTF-Web-这题不是WEB