用通俗易懂的方式告诉你什么是EM算法
任何关于算法、编程、AI行业知识或博客内容的问题,可以随时扫码关注公众号「图灵的猫」,加入”学习小组“,沙雕博主在线答疑~此外,公众号内还有更多AI、算法、编程和大数据知识分享,以及免费的SSR节点和学习资料。其他平台(知乎/B站)也是同名「图灵的猫」,不要迷路哦~
一、EM简介
EM(Expectation Mmaximization) 是一种迭代算法, 用于含隐变量(Latent Variable) 的概率模型参数的极大似然估计, 或极大后验概率估计 EM算法由两步组成, 求期望的E步,和求极大的M步。
EM算法可以看成是特殊情况下计算极大似然的一种算法。
现实的数据经常有一些比较奇怪的问题,比如缺失数据、含有隐变量等问题。当这些问题出现的时候,计算极大似然函数通常是比较困难的,而EM算法可以解决这个问题。
EM算法已经有很多应用,比如最经典的Hidden Markov模型等。经济学中,除了逐渐开始受到重视的HMM模型(例如Yin and Zhao, 2015),其他领域也有可能涉及到EM算法,比如在Train的《Discrete Choice Methods with Simulation》就给出了一个mixed logit 模型的EM算法。
二、EM算法的预备知识
1、极大似然估计
(1)举例说明:经典问题——学生身高问题
我们需要调查我们学校的男生和女生的身高分布。 假设你在校园里随便找了100个男生和100个女生。他们共200个人。将他们按照性别划分为两组,然后先统计抽样得到的100个男生的身高。假设他们的身高是服从高斯分布的。但是这个分布的均值u和方差∂2我们不知道,这两个参数就是我们要估计的。记作θ=[u, ∂]T。
问题:我们知道样本所服从的概率分布的模型和一些样本,而不知道该模型中的参数。
我们已知的有两个:(1)样本服从的分布模型(2)随机抽取的样本 需要通过极大似然估计求出的包括:模型的参数
总的来说:极大似然估计就是用来估计模型参数的统计学方法。
(2)如何估计
问题数学化: (1)样本集X={x1,x2,…,xN} N=100 (2)概率密度:p(xi|θ)抽到男生i(的身高)的概率 100个样本之间独立同分布,所以我同时抽到这100个男生的概率就是他们各自概率的乘积。就是从分布是p(x|θ)的总体样本中抽取到这100个样本的概率,也就是样本集X中各个样本的联合概率,用下式表示:
这个概率反映了,在概率密度函数的参数是θ时,得到X这组样本的概率。 需要找到一个参数θ,其对应的似然函数L(θ)最大,也就是说抽到这100个男生(的身高)概率最大。这个叫做θ的最大似然估计量,记为
(3)求最大似然函数估计值的一般步骤
首先,写出似然函数:
其次,对似然函数取对数,并整理:
然后,求导数,令导数为0,得到似然方程;
最后,解似然方程,得到的参数即为所求。
(4)总结
多数情况下我们是根据已知条件来推算结果,而极大似然估计是已经知道了结果,然后寻求使该结果出现的可能性最大的条件,以此作为估计值。
2、Jensen不等式
(1)定义
设f是定义域为实数的函数,如果对于所有的实数x。如果对于所有的实数x,f(x)的二次导数大于等于0,那么f是凸函数。 Jensen不等式表述如下: 如果f是凸函数,X是随机变量,那么:E[f(X)]>=f(E[X]) 。当且仅当X是常量时,上式取等号。
(2)举例
图中,实线f是凸函数,X是随机变量,有0.5的概率是a,有0.5的概率是b。X的期望值就是a和b的中值了,图中可以看到E[f(X)]>=f(E[X])成立。 Jensen不等式应用于凹函数时,不等号方向反向。
三、EM算法推导
如果我们关心的参数为θ,观察到的数据为y,隐藏变量为z,那么根据全概率公式:
理论上,只要最大化这个密度函数的对数,就可以得到极大似然估计。然而问题是,对z进行积分很多情况下是非常困难的,特别是z的维数可能与样本量一样大,这个时候如果计算数值积分是非常恐怖的一件事情。
而EM算法可以解决这个问题。根据贝叶斯法则,我们可以得到:
EM算法的精髓就是使用这个公式处理z的维数问题。
直觉上,EM算法就是一个猜测的过程:给定一个猜测θ',那么可以根据这个猜测θ'和现实的数据计算隐藏变量取各个值的概率。有了z的概率之后,再根据这个概率计算更有可能的θ。
准确的来说,EM算法就是如下的迭代过程:
Train的《Discrete Choice Methods with Simulation》中有一张图非常形象的描述了上面的过程:
图中LL为上面的ln[P(y|θ)],ε可以大体等价为上面介绍的迭代过程的目标函数。可以证明的是,在θ_t处,LL和ε相切,且ε<=LL。如此,每一次对ε函数求最小化,都给出了一个θ的最好猜测。从这个角度来讲,EM算法提供了计算极大似然函数的一个优化算法,只不过最经典的Quasi-Newton方法直接使用导数信息更新θ。
使用EM算法的关键主要是求出h函数。下面举一个最经典的mixed-normal的例子,假设:
即观察到的数据y以概率p来自两个总体,两个总体的均值假设分别为μ和-μ。
我们可以计算:
其中θ={μ,p}。
同样,可以计算:
如此,上面的迭代过程就可以写为:
给定一个初始值,不断的迭代求上面的最优,就可以得到结果。
EM的两个例子
先来看看EM算法大概用在什么样的情况。
- (三硬币模型)假设有3枚硬币,分别记作A,B,C。这些硬币正面出现的概率分别是$\pi,q,p$。进行如下实验,先扔硬币A,根据其结果选出硬币B或硬币C,正面选硬币B,反面选硬币C,然后扔选出的硬币,正面朝上结果记为1,反面朝上结果记为0,独立重复n次(此处为10次),观测结果如下:1,1,0,1,0,0,1,0,1,1。估计三枚硬币正面朝上的概率。
- 高斯混合模型参数估计
四、算法解释
EM算法,就是当你没办法直接从观测之中进行参数估计的时候,通过加一些可以满足特定条件的隐变量,来简化模型,达到可以通过迭代来逐步估计分布的参数的一个算法。
设X为观测数据(obvious data), Z为隐变量(latent variable), 为要估计的参数。
我们做极大似然估计的时候,需要极大化对数似然函数来求出参数的极大似然估计,所以,我们的目标就是极大化一个对数似然函数(以下都用log代替ln,别问为啥我这么写,我也不知道,大多数文献都这么写)
公式1
公式2
要注意,我们加的隐变量Z,要满足两个条件:
- 加了隐变量后,可以达到简化模型的目的(废话)
- 加了隐变量,不改变原分布的边缘(重要)
面对公式2,我们看着他很简洁,但是,但是,但是,(重要的事和难过的事都要说三遍!)现实中他很复杂。比如我们加了隐变量的混合高斯模型的对数似然函数就如下:
这个东西,要求出最大值,还是很难的,所以我们要采用EM算法。EM的总体思想就是我们通过迭代逐步极大化这个极大似然函数,最终使 极大似然函数最大,进而求解需要估计的参数。
几个有趣的解释
简版:猜(E-step),反思(M-step),重复;
背景:公司有很多领导=[A总,刘总,C总],同时有很多漂亮的女职员=[小甲,小章,小乙]。(请勿对号入座)你迫切的怀疑这些老总跟这些女职员有问题。为了科学的验证你的猜想,你进行了细致的观察。于是,
观察数据:
1)A总,小甲,小乙一起出门了;
2)刘总,小甲,小章一起出门了;
3)刘总,小章,小乙一起出门了;
4)C总,小乙一起出门了;
收集到了数据,你开始了神秘的EM计算:
初始化,你觉得三个老总一样帅,一样有钱,三个美女一样漂亮,每个人都可能跟每个人有关系。所以,每个老总跟每个女职员“有问题”的概率都是1/3;
这样,(E step)
1) A总跟小甲出去过了 1/2 * 1/3 = 1/6 次,跟小乙也出去了1/6次;(所谓的fractional count)
2)刘总跟小甲,小章也都出去了1/6次
3)刘总跟小乙,小章又出去了1/6次
4)C总跟小乙出去了1/3次
总计,A总跟小甲出去了1/6次,跟小乙也出去了1/6次 ; 刘总跟小甲,小乙出去了1/6次,跟小章出去了1/3次;C总跟小章出去了1/3次;
你开始跟新你的八卦了(M step),
A总跟小甲,小乙有问题的概率都是1/6 / (1/6 + 1/6) = 1/2;
刘总跟小甲,小乙有问题的概率是1/6 / (1/6+1/6+1/6+1/6) = 1/4; 跟小章有问题的概率是(1/6+1/6)/(1/6 * 4) = 1/2;
C总跟小乙有问题的概率是 1。
然后,你有开始根据最新的概率计算了;(E-step)
1)A总跟小甲出去了 1/2 * 1/2 = 1/4 次,跟小乙也出去 1/4 次;
2)刘总跟小甲出去了1/2 * 1/4 = 1/12 次, 跟小章出去了 1/2 * 1/2 = 1/4 次;
3)刘总跟小乙出去了1/2 * 1/4 = 1/12 次, 跟小章又出去了 1/2 * 1/2 = 1/4 次;
4)C总跟小乙出去了1次;
重新反思你的八卦(M-step):
A总跟小甲,小乙有问题的概率都是1/4/ (1/4 + 1/4) = 1/2;
B总跟小甲,小乙是 1/12 / (1/12 + 1/4 + 1/4 + 1/12) = 1/8 ; 跟小章是 3/4 ;
C总跟小乙的概率是1。
你继续计算,反思,总之,最后,你得到了真相!(马总表示我早就知道真相了)
参考文章
用通俗易懂的方式告诉你什么是EM算法相关推荐
- 用最简单易懂的方式告诉大家——区块链到底是什么?
用最简单易懂的方式告诉大家--区块链到底是什么? 区块链是什么通俗解释,我们先看看区块链目前最成功的应用--比特币是什么?我们就别卖关子了,我们举最通俗的例子跟大家先说明白到底什么是比特币. 我花时间 ...
- 用通俗易懂的方式讲解:主成分分析(PCA)算法及案例(Python 代码)
文章目录 知识汇总 加入方式 一.引入问题 二.数据降维 三.PCA基本数学原理 3.1 内积与投影 3.2 基 3.3 基变换的矩阵表示 3.4 协方差矩阵及优化目标 3.5 方差 3.6 协方差 ...
- 用通俗易懂的方式讲解:CatBoost 算法原理及案例
文章目录 知识汇总 解惑答疑 1.梯度提升概述 2.什么是 CatBoost 3.CatBoost 的主要特点 01 对称树 FloatFeature OneHotFeature OnlineCtr ...
- 用通俗易懂的方式讲解:TF-IDF算法介绍及实现
文章目录 1.TF-IDF算法介绍 (1)TF是词频(Term Frequency) (2) IDF是逆向文件频率(Inverse Document Frequency) (3)TF-IDF实际上是: ...
- C++以螺旋方式打印m * n矩阵的算法(附完整源码)
C++以螺旋方式打印m * n矩阵的算法 C++以螺旋方式打印m * n矩阵的算法完整源码(定义,实现,main函数测试) C++以螺旋方式打印m * n矩阵的算法完整源码(定义,实现,main函数测 ...
- c语言递增20,2020-07-20(C语言)数据结构-在一个递增有序的线性表中,有数值相同的元素存在。若存储方式为单链表,设计算法去掉数值相同的元素,使表中不再有重复的元素...
//在一个递增有序的线性表中,有数值相同的元素存在.若存储方式为单链表,设计算法去掉数值相同的元素,使表中不再有重复的元素,例如:(7,10,10,21,30,42,42,51,70)将变为(7,10 ...
- 在一个递增有序的线性表中,有数值相同的元素存在。若存储方式为单链表,设计算法,去掉数值相同的元素,使得表中不再有重复的元素。
在一个递增有序的线性表中,有数值相同的元素存在.若存储方式为单链表,设计算法,去掉数值相同的元素,使得表中不再有重复的元素.例如(7,10,10,21,30,42,42,42,51,70)将变为(7, ...
- 用通俗易懂的方式讲解Transformers
多年来,我们一直在使用RNN,LSTM和GRU解决顺序问题,您突然希望我们将其全部丢弃吗? 嗯,是!! 所有这三种架构的最大问题是它们进行顺序处理. 而且它们也不擅长处理长期依赖关系(即使使用LSTM ...
- 用通俗易懂的方式讲解:逻辑回归模型及案例(Python 代码)
目录 1 简介 2 优缺点 3 适用场景 加入方式 4 案例:客户流失预警模型 4.1 读取数据 4.2 划分特征变量和目标变量 4.3 模型搭建与使用 4.3.1 划分训练集与测试集 4.3.2 模 ...
- 技本功丨用短平快的方式告诉你:Flink-SQL的扩展实现
2019年1月28日,阿里云宣布开源"计算王牌"实时计算平台Blink回馈给ApacheFlink社区.官方称,计算延迟已经降到毫秒级,也就是你在浏览网页的时候,眨了一下眼睛,淘宝 ...
最新文章
- delegate、Lambda表达式、Func委托和Expression(TDelegate)表达式目录树
- 程序设计实验题5.3 瓜分车厘子
- GIT commit问题 No errors and 30 warnings found. Would you like to review them?
- Oracle 宣布 Java EE 8 推迟到2017年年底发布
- python面向对象(其二)
- phpstudy配置ssl
- linux查询ip命令
- 【CC2640R2F】香瓜CC2640R2F之LCD
- 处女座和小姐姐(模拟)
- myanmar android2,Myanmar Thingyan Songs 2
- Ubuntu / Windows 查看域名系统 (Domain Name System,DNS)
- 搭建qnx开发环境,虚拟qnx系统+虚拟win7系统+QNX Momentics IDE 4.6
- 一般试卷的纸张大小是多少_考试试卷用的是什么尺寸的纸
- Cesium 系列1 - 简介及源码下载发布
- 谁动了我的奶酪:奶酪墙上的话 ----- 总结精典篇
- RocksDB 架构
- 【C++习题笔记】谭浩强C++程序设计(第三版)第七章
- ICT界的基建狂魔—上海季冠:借助闪星云平台一天改造150家品牌珠宝店
- SCSI协议及大容量存储命令详解
- Dvwa之SQL盲注全级别学习笔记