冒泡~是新的一周辣~温故而知新一下极大似然估计(真是很不容易了)

极大似然估计的基本思想

什么是极大似然？官方上的较清楚的解释是：利用已知的样本的结果，在使用某个模型的基础上，反推最有可能导致这样结果的模型参数值。

从字面上的意思看，可以这样理解，极大---最大概率，似然---看起来像这个样子，估计---预计是这个样子，也就可以通俗的说，最大的概率看起来是这个样子的那就是这个样子的。

通过一个图片直观解释：

原理：极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

极大似然估计的求解

先来举一个简单的离散状态下的例子

离散的小球问题：

箱子里有一定数量的小球，每次随机拿取一个小球，查看颜色以后放回，已知拿到白球的概率p为0.8或者0.2，拿了三次，都不是白球，想要求拿到白球的概率的极大似然估计。

分析：此处从数学上来讲，想要准确的求出拿到白球的概率是不可能的，所以此处求的是概率的极大似然估计。而这里的有放回的拿取，是高中数学中经典的独立重复事件，可以很简单的分别求出白球概率为0.8和0.2的时候拿三次都不是白球的概率。

解：

若拿到白球的概率为0.8，拿三次都不是白球的概率为：P_0.8=0.2*0.2*0.2=0.008

若拿到白球的概率为0.2，拿三次都不是白球的概率为：P_0.2=0.8*0.8*0.7=0.512

P_0.2>P_0.8，可知当前情况下白球概率为0.2的概率大于白球概率为0.8

综上所述：拿到白球的概率的极大似然估计为0.2

接下来举个离散的情况例子：

连续的小球问题：

箱子里有一定数量的小球，每次随机拿取一个小球，查看颜色以后放回，已知拿到白球的概率p的范围是[0.3,0.7]，拿了三次，都不是白球，想要求拿到白球的概率的极大似然估计。

解：记拿到白球的概率为p，取白球的事件为Y，取到时Y=1，未取到时Y=0，小球颜色不是白色的事件Y重复3次的概率为：P(Y=0;p)=(1-p)^3

欲求p的极大似然估计，即要求P(Y=0;p)的极大值：令Q(p)=(1-p)^3

Q'(p)=-3*(1-p)^2  令Q'(p)=0

求得Q的极值点为p=1，且当p<1时,Q'(p)<0，p>1时，Q'(p)<0，可知Q(p)为单调减函数

可知0.3<=p<=1的条件下，p=0.3时，Q(p)取得最大值。

综上所述：小球概率的极大似然估计为0.3

经过整两个例子大概可以简单的理解了怎么求极大似然估计了，接下来就引入似然函数的概念去更系统的求解。

重点来啦~

对数函数的引入

在似然函数满足连续、可微的正则条件下，极大似然估计量是下面微分方程的解：

举个栗子：

题目来源：https://blog.csdn.net/pipisorry/article/details/51461997?utm_source=blogxgwz0                                (图片的编辑注释为本人)

(补充验证 后面会做具体说明)

高级一点的栗子：

总结  求最大似然估计量的一般步骤：

(1)写出似然函数； (2)对似然函数取对数，并整理；

(3)求导数； (4)解似然方程。

Matlab中mle函数求极大似然估计

MLE(maximum likelihood estimation，最大似然估计)，的基本原理是通过选择参数使似然函数最大化。

举例：

题目来源：https://wenku.baidu.com/view/85204009b90d6c85ec3ac66c.html

matlab代码求解

首先这是一个二项分布，置信度默认为95%

输出结果为：

这和计算出来的是相符合的。

finally~知识的遗忘太艰难了吧！