最大似然估计_状态估计的基本概念（2）最大似然估计和最大后验估计

（1）最大似然估计ML和最大后验估计MAP

最大似然估计量

非贝叶斯方法通常是最大化似然函数：

其中

被称为

的最大似然估计量，它是

的函数。

最大后验估计量

估计随机参数的通常方法是最大化后验分布函数：

其中

被称为

的最大后验估计量，它是

的函数。

（2）高斯噪声下ML和MAP的比较

考虑如下测量模型（一维）：

最大似然估计

假设

是未知的某常量，

的似然函数为：

所以：

最大后验估计

然后假设参数

是随机变量，其分布函数

是均值为

方差为

的高斯分布，并和

独立，即：

在观测

的条件下，

的后验分布为：

其中

。

计算得到

满足高斯分布的形式：

其中：

所以：

（3）Diffuse Prior下的MAP估计器

我们已经知道，

基于非贝叶斯方法，

基于贝叶斯方法。这里我将介绍在某些特定的先验分布下：

假设

的先验分布为：

其中

，且大于零；我们称这个分布为

Diffuse pdf。

所以

的后验分布为：

这里可以看出，后验分布与似然函数只差一个正的比例因子，所以ML与MAP的结果一致。

这里的Diffuse pdf也被称为improper pdf，它的另外一个名字叫做noninformative pdf。

一个例子：

回到上面第（二）节，已知

的先验分布为

的高斯分布，现令

。我们知道当协方差越来越大时，高斯分布会看起来越像一个均匀分布。

此时，当

时，

的先验分布就是一个

noninformative pdf，最大后验估计与最大似然估计的结果一样。

因此非贝叶斯方法可以看成贝叶斯方法的一种退化情况。

（4）充分统计量与似然方程

如果一个参数的似然函数可以分解为如下形式：

那么很显然，

的最大似然估计仅仅依赖于函数

，而不是

；这里将

称为充分统计量。

一个例子：

考虑以下测量方程：

其中

相互独立。

在

的条件下，观测

满足的分布

为：

其中

相互独立。

所以似然函数可以写为：

对其分解：

其中：

上述

就是充分统计量(

sufficient statistic)。

对log-likelihood函数求导得：

结论：

相似地可以证明，当

时，也就是观测次数非常多时，

最大后验估计值趋近于最大似然估计值：

（5）总结

参考资料

Bar-Shalom Y, Li X R, Kirubarajan T. Estimation with applications to tracking and navigation: theory algorithms and software[M]. John Wiley & Sons, 2004.

MLE vs MAP: the connection between Maximum Likelihood and Maximum A Posteriori Estimationwiseodd.github.io