【数学基础】参数估计之最大后验估计（Maximum A Posteriori，MAP）

前言，MLE与MAP的联系

在前一篇文章参数估计之极大似然估计中提到过频率学派和贝叶斯学派的区别。如下图

在极大似然估计（MLE）中，我们求参数 $\theta$ ，通过使得似然函数 $p(x|\omega_i;\theta_i)$ 最大，此时 $\theta_i$ 为一个待估参数，其本身是确定的，即使目前未知。

MLE求的是怎样的参数 $\theta$ 可以让事件集发生的概率最大。通过不断改变固定的参数 $\theta$ 去寻找一个极大值。

$\hat{\theta}_{ML}=arg\max_{\theta}\prod_{k=1}^Np(x_k;\theta)$

在最大后验估计（MAP）中，引用贝叶斯学派的思想，将参数 $\theta_i$ 看成一个随机变量。

MAP考量的是事件集 $x_0$ 已经发生了，那在事件集发生的情况下，哪个 $\theta$ 发生的概率最大。其实与MLE正好相反。

$p(\theta|X)=\frac{p(\theta)p(X|\theta)}{p(X)}$

拿抛不均匀硬币举例，抛了10次，9次正1次反，问你硬币抛出正面的概率是多少？

MLE假设抛出正面的概率为 $p$ ，那抛出这个事件的概率为 $p^9(1-p)$ ，求该事件发生概率的极大值所对应的 $p$ ，此时 $p$ 仅为一个函数的参数，而非随机变量。

MAP通过求解最大的 $P(p|X)$ 所对应的 $p$ ， $X$ 为“抛了10次，9次正1次反”这个事件，求在 $X$ 已经发生的情况下，使得 $P(p|X)$ 最大的 $p$ ，此时 $p$ 为一个随机变量。

以上即为两者的核心思想。MAP具体介绍马上开始，MLE的具体介绍详见参数估计之极大似然估计。

最大后验概率估计（Maximum A Posteriori）

在最大似然估计（MLE）中，将 $\theta$ 看做是未知的参数，说的通俗一点，最大似然估计是 $\theta$ 的函数，其求解过程就是找到使得最大似然函数最大的那个参数 $\theta$ 。

从最大后验估计开始，将参数 $\theta$ 看成一个随机变量，并在已知样本集 $\{x_1,x_2,...,x_N\}$ 的条件下，估计参数 $\theta$ 。

这里一定要注意，在最大似然估计中，参数 $\theta$ 是一个定值，只是这个值未知，最大似然函数是 $\theta$ 的函数，这里 $\theta$ 是没有概率意义的。但是，在最大后验估计中， $\theta$ 是有概率意义的， $\theta$ 有自己的分布，而这个分布函数，需要通过已有的样本集合 $X$ 得到，即最大后验估计需要计算的是 $p(\theta|X)$

根据贝叶斯理论：

$p(\theta|X)=\frac{p(\theta)p(X|\theta)}{p(X)}$

这就是参数 $\theta$ 关于已有数据集合 $X$ 的后验概率，要使得这个后验概率最大，和极大似然估计一样，这里需要对后验概率函数求导。由于分子中的 $p(X)$ 相对于 $\theta$ 是独立的，所以可以直接忽略掉 $p(X)$ 。

$\hat{\theta}_{MAP}=arg\max_{\theta}p(\theta|X)=arg\max_{\theta}p(\theta)p(X|\theta)$

为了得到参数 $\theta$ ，和MLE一样，需要对 $p(\theta|X)$ 求梯度，并使其等于0：

$\frac{p(\theta|X)}{\partial\theta}= \frac{p(\theta)p(X|\theta)}{\partial\theta}=0$

注意：这里 $p(X|\theta)$ 和极大似然估计中的似然函数 $p(X;\theta)$ 是一样的，只是记法不一样。MAP和MLE的区别是：MAP是在ML的基础上加上了 $p(\theta)$

这里需要说明，虽然从公式上来看 $MAP=MLE*p(\theta)$ ，但是这两种算法有本质的区别，MLE将 $\theta$ 视为一个确定未知的值，而MAP则将 $\theta$ 视为一个随机变量。

在MAP中， $p(\theta)$ 称为 $\theta$ 的先验，假设其服从均匀分布，即对于所有 $\theta$ 取值， $p(\theta)$ 都是同一个常量，则MAP和MLE会得到相同的结果。当然了，如果 $p(\theta)$ 的方差非常的小，也就是说， $p(\theta)$ 是近似均匀分布的话，MAP和ML的结果自然也会非常的相似。

一个简单的例子

假设有五个袋子，各袋中都有无限量的饼干(樱桃口味或柠檬口味)，已知五个袋子中两种口味的比例分别是

　　　　袋子1:樱桃 100%

　　　　袋子2:樱桃 75% + 柠檬 25%

　　　　袋子3:樱桃 50% + 柠檬 50%

　　　　袋子4:樱桃 25% + 柠檬 75%

　　　　袋子5:柠檬 100%

如果只有如上所述条件，那问从同一个袋子中连续拿到2个柠檬饼干，那么这个袋子最有可能是上述五个的哪一个？

我们首先采用最大似然估计来解这个问题，写出似然函数。假设从袋子中能拿出柠檬饼干的概率为 $p$ (我们通过这个概率 $p$ 来确定是从哪个袋子中拿出来的)，则似然函数可以写作

由于 $p$ 的取值是一个离散值，即上面描述中的0，25%，50%，75%，1。我们只需要评估一下这五个值哪个值使得似然函数最大即可，得到为袋子5。这里便是最大似然估计的结果。

上述最大似然估计有一个问题，就是没有考虑到模型本身的概率分布，下面我们扩展这个饼干的问题。

假设拿到袋子1或5的机率都是0.1，拿到2或4的机率都是0.2，拿到3的机率是0.4，那同样上述问题的答案呢？这个时候就变MAP了。我们根据公式

写出我们的MAP函数:

根据题意的描述可知， $p$ 的取值分别为0，25%，50%，75%，1。 $g$ 的取值分别为0.1，0.2，0.4，0.2，0.1。分别计算出MAP函数的结果为：0，0.0125，0.125，0.28125，0.1。由上可知，通过MAP估计可得结果是从第四个袋子中取得的最高。

在MAP中我们应注意的是：

MAP与MLE最大区别是MAP中加入了模型参数本身的概率分布，或者说。MLE中认为模型参数本身的概率的是均匀的，即该概率为一个固定值。

同时一个合理的先验概率假设是很重要的，否则会极大的影响后验概率的结果！

参考文章：

贝叶斯线性回归（Bayesian Linear Regression）

最大似然估计（MLE）和最大后验概率（MAP）