贝叶斯估计、最大似然估计、最大后验概率估计的区别

似然函数和概率函数（很重要）

这个式子有两种解读方法：

把 theta 看成常量，而 x 为变量，此时式子为概率函数，表示在不同 x 出现的概率。
把 x 看成常量，theta 看成变量，此时式子为似然函数，表示在不同 theta 情况下，x 出现的概率。

最大似然估计（MLE）

是一种用来估计概率模型参数的方法，其思想是：找到使观测数据发生的概率最大值的参数。

我们所求解的是使 x 出现概率最大情况下的 theta 的取值。

最大后验概率估计（MAP）

上面讲了，最大似然估计是找到使得似然函数最大值情况下的 theta 的取值，也就是说，最大似然估计是把 theta 看成是一个固定的值，只是一开始并不知道，最终求出来一个值，一个数值！

然而，最大后验概率估计认为，theta 并不是一个值，而是一个随机变量，这个随机变量具有某种的概率分布（也即是先验分布），求解的时候不仅需要考虑似然函数，也同时要考虑这个先验分布。

所以最终我们所关心的是：

也就是上式取最大值时候的 theta 为所求。根据贝叶斯法则，上式可以转换为：

因此最大化的函数变成了 P( theta|x )，该式子也称为 theta 的后验概率，因此得名最大后验概率估计。

此时再回头看最大似然估计，他就是认为 theta 是一个固定的值，因此 theta 的概率分布为 P(theta) = 1。

所以，最大后验概率估计的步骤：

确定参数的先验概率分布以及似然函数
确定参数的后验概率分布
取对数，求导，最大值

贝叶斯估计

贝叶斯估计跟最大后验概率估计很像，都是把 theta 看成随机变量，但不同的是，贝叶斯估计并不是直接估算出 theta 的某个特定的值，而是估计 theta 的分布。

然而发现积分并不好求。如果使用共轭先验分布，就可以很好的解决这个问题。

共轭先验分布：在贝叶斯统计中，如果后验分布与先验分布属于同类，则先验分布与后验分布被称为共轭分布，而先验分布被称为似然函数的共轭先验。

注：二项分布参数的共轭先验是Beta分布，多项式分布参数的共轭先验是Dirichlet分布，指数分布参数的共轭先验是Gamma分布，⾼斯分布均值的共轭先验是另⼀个⾼斯分布，泊松分布的共轭先验是Gamma分布。

所以贝叶斯估计的步骤：

确定参数的似然函数
确定参数的先验分布（共轭先验分布）
确定参数的后验分布函数
贝叶斯求解参数的后验分布

贝叶斯估计、最大似然估计、最大后验概率估计的区别相关推荐

极大似然估计，最大后验概率估计(MAP)，贝叶斯估计
1.贝叶斯公式三种参数估计方法都和贝叶斯公式有关,因此首先从分析贝叶斯公式入手: 贝叶斯公式可以表达为: posterior:通过样本X得到参数的概率 likehood:通过参数得到样本X的概率 p ...
最大似然估计(MLE)，最大后验概率估计（MAP），贝叶斯估计入门讲解
已知数据X,去拟合某个概率模型的参数θ,是最基本的机器学习过程. 本文将入门讲解3个最基本的方法:最大似然估计(Maximum Likelihood Estimation,简称MLE),最大后验概率估 ...
最大似然估计、最大后验概率估计和贝叶斯估计
本内容主要介绍概率论与统计学相关基础知识,主要涉及联合概率.边缘概率和条件概率:贝叶斯公式.先验概率.后验概率和似然函数:最大似然估计.最大后验概率估计和贝叶斯估计等.为机器学习中的贝叶斯分类 ...
贝叶斯公式的对数似然函数_贝叶斯估计、最大似然估计、最大后验概率估计
贝叶斯估计.最大似然估计(MLE).最大后验概率估计(MAP)这几个概念在机器学习和深度学习中经常碰到,读文章的时候还感觉挺明白,但独立思考时经常会傻傻分不清楚(
最大似然估计和最大后验概率估计的区别
最大似然估计(MLE) 1.似然函数:L(θ|x)=P(X=x|θ) ①物理意义:某次实验,θ取不同值时,出现X=x的结果的概率: ②似然函数是参数(θ)的函数: ③似然函数是条件转移概率. 例1:设 ...
【机器学习基本理论】详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解
[机器学习基本理论]详解最大似然估计(MLE).最大后验概率估计(MAP),以及贝叶斯公式的理解 https://mp.weixin.qq.com/s/6H0gmMWvTExySMraroLVlQ 最 ...
详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解...
转载声明:本文为转载文章,发表于nebulaf91的csdn博客.欢迎转载,但请务必保留本信息,注明文章出处. 原文作者: nebulaf91 原文原始地址:http://blog.csdn.net ...
最大似然估计和最大后验概率估计的理解与求解
1. 最大似然估计的理解最大似然估计(Maximum likelihood estimation, 简称MLE)和最大后验概率估计(Maximum a posteriori estimation, ...
机器学习：最大似然估计与最大后验概率估计
在机器学习领域,概率估计是经常用到的一种模型,而概率估计中,我们经常会看到两种估计模型,一种是最大似然估计,即 Maximum likelihood, 另外一种就是最大后验概率估计,即 Maximum ...