最大似然估计和最大后验概率估计的区别

最大似然估计（MLE）
1.似然函数：L(θ|x)=P(X=x|θ)
①物理意义：某次实验，θ取不同值时，出现X=x的结果的概率；
②似然函数是参数(θ)的函数；
③似然函数是条件转移概率。

例1：设一枚硬币正面朝上的概率为p，求两次抛掷都正面朝上的似然函数。
L(p|HH)=P(HH|p)=p*2
可以看到，L是参数p的似然函数。当p=0.5时，L=0.25，这与实际概率相吻合。当p=1 时,L=1，这表示当这枚硬币只有正面时，出现“两次朝上”这一结果的概率为100%。

2.最大似然估计
原理：对某（一批）实验结果（或者说样本值）求关于参数的似然函数，并求参数取何值时，似然函数的值最大，该参数即为估计结果，该方法即为最大似然估计法。

例1中，最大似然估计的结果为p=1

最大后验概率估计（MAP）
1.后验概率：P(θ|X=x)=P(X=x|θ)P(θ) / P(X=x)
物理意义：某次实验，样本为X=x时，θ在不同取值下的概率；
2.最大后验概率
由于分母P(X=x)=Σi P(X=x|θi)=常数，因而后验概率P(θ|X=x)取得最大值时，分子也取得最大值，问题就变为求：使得P(X=x|θ)P(θ)取最大值的参数θ。
可以看到，MAP要求取最大值的函数，形式上就是在MLE的似然函数基础上乘以参数的先验概率，这表示MAP除了考虑参数与样本值的联系外，还考虑了参数本身的先验概率。
再看例1，如果用MLE对参数p进行估计，仅根据样本推断实际，得出结果“硬币只有正面”的结论；但用MAP方法时，我们首先认为“硬币只有正面”这件事情的概率是很低的，因而其后验概率也低，而P(p=0.5)的概率是最高的，因而乘上条件转移概率后，其后验概率也会比较大。

MLE和MAP的比较
异：
1.MLE仅根据已有样本估计参数，MAP则根据已有样本和参数的先验概率共同估计参数；
2.样本较少时，MAP更准确；样本比较多时，MLE更省事。
同：
1.MLE和MAP都是点估计；
2.当先验等概时，两者估计结果相同。

深度学习中softmax函数与MLE/MAP的关系
在CS231n课程笔记（https://zhuanlan.zhihu.com/p/20945670?refer=intelligentunit）中，认为softmax的输出概率是似然函数P(P|w)，使交叉熵(负对数概率)降低的最优化过程即为最大似然估计。而加上正则化损失则被比作“加上先验概率”。

查了一些资料后谈一下我对这种比喻的理解：
1.“正则化”与“先验概率”却有异曲同工之妙。正则化抑制不合常规的样本点（噪声），MAP中考虑先验概率则是抑制不合常规的概率事件，如例1中硬币只有正面。
2.两者只是功能类似，但物理意义上是没有关系的。
3.且添加正则化损失是加法，考虑先验概率是乘法。

有关贝叶斯估计的方法，等之后再学习和总结。
参考文章：
http://blog.csdn.net/u011508640/article/details/72815981

最大似然估计和最大后验概率估计的区别相关推荐

贝叶斯估计、最大似然估计、最大后验概率估计的区别
似然函数和概率函数(很重要) 这个式子有两种解读方法: 把 theta 看成常量,而 x 为变量,此时式子为概率函数,表示在不同 x 出现的概率. 把 x 看成常量,theta 看成变量,此时式子为似 ...
最大似然估计和最大后验概率估计的理解与求解
1. 最大似然估计的理解最大似然估计(Maximum likelihood estimation, 简称MLE)和最大后验概率估计(Maximum a posteriori estimation, ...
详解最大似然估计、最大后验概率估计及贝叶斯公式
最大似然估计(Maximum likelihood estimation, 简称MLE)和最大后验概率估计(Maximum a posteriori estimation, 简称MAP)是很常用的两种 ...
最大似然估计、最大后验概率估计和贝叶斯估计
本内容主要介绍概率论与统计学相关基础知识,主要涉及联合概率.边缘概率和条件概率:贝叶斯公式.先验概率.后验概率和似然函数:最大似然估计.最大后验概率估计和贝叶斯估计等.为机器学习中的贝叶斯分类 ...
机器学习：最大似然估计与最大后验概率估计
在机器学习领域,概率估计是经常用到的一种模型,而概率估计中,我们经常会看到两种估计模型,一种是最大似然估计,即 Maximum likelihood, 另外一种就是最大后验概率估计,即 Maximum ...
贝叶斯公式的对数似然函数_贝叶斯估计、最大似然估计、最大后验概率估计
贝叶斯估计.最大似然估计(MLE).最大后验概率估计(MAP)这几个概念在机器学习和深度学习中经常碰到,读文章的时候还感觉挺明白,但独立思考时经常会傻傻分不清楚(
理解极大似然估计与最大后验概率估计
文章目录概率和统计贝叶斯公式似然函数最大似然估计最大后验概率估计最大似然估计和最大后验概率估计的区别最大似然估计的一个例子参考链接概率和统计概率(probabilty)和统计(st ...
贝叶斯分类、极大似然估计和最大后验概率估计的一些概念
朴素贝叶斯分类算法:https://zhuanlan.zhihu.com/p/26262151 极大似然估计:https://blog.csdn.net/zengxiantao1994/article ...
最大似然估计(MLE)与最小二乘估计(LSE)的区别
最大似然估计与最小二乘估计的区别标签(空格分隔): 概率论与数理统计最小二乘估计对于最小二乘估计来说,最合理的参数估计量应该使得模型能最好地拟合样本数据,也就是估计值与观测值之差的平方和最小. ...

最大似然估计和最大后验概率估计的区别

最大似然估计和最大后验概率估计的区别相关推荐

最新文章

热门文章