Table of Contents

一、思想理解

二、求解过程

三、总结

一、思想理解

极大似然估计法（the Principle of Maximum Likelihood ）由高斯和费希尔（R.A.Figher）先后提出，是被使用最广泛的一种参数估计方法，该方法建立的依据是直观的最大似然原理。

总结起来，最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

原理：极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

极大似然估计可以拆成三个词，分别是“极大”、“似然”、“估计”，分别的意思如下：
极大：最大的概率
似然：看起来是这个样子的
估计：就是这个样子的
连起来就是，最大的概率看起来是这个样子的那就是这个样子的。
举个例子：
有两个妈妈带着一个小孩到了你的面前，妈妈A和小孩长得很像，妈妈B和小孩一点都不像，问你谁是孩子的妈妈，你说是妈妈A。好的，那这种时候你所采取的方式就是极大似然估计：妈妈A和小孩长得像，所以妈妈A是小孩的妈妈的概率大，这样妈妈A看来就是小孩的妈妈，妈妈A就是小孩的妈妈。
总结：极大似然估计就是在只有概率的情况下，忽略低概率事件直接将高概率事件认为是真实事件的思想。

在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币的性质我们可以推测任何一面朝上的可能性均为50%，这个概率只有在抛硬币之前才是有意义的，抛完硬币后的结果便是确定的；而似然刚好相反，是在确定的结果下去推测产生这个结果的可能环境（参数），还是抛硬币的例子，假设我们随机抛掷一枚硬币1,000次，结果500次人头朝上，500次数字朝上（实际情况一般不会这么理想，这里只是举个例子），我们很容易判断这是一枚标准的硬币，两面朝上的概率均为50%，这个过程就是我们运用出现的结果来判断这个事情本身的性质（参数），也就是似然。

结果和参数相互对应的时候，似然和概率在数值上是相等的，如果用 θ 表示环境对应的参数，x 表示结果，那么概率可以表示为： $P(x|\theta )$

$P(x|\theta )$ 是条件概率的表示方法，θ 是前置条件，理解为在 θ 的前提下，事件 x 发生的概率，相对应的似然可以表示为：

$L(\theta |x)$

可以理解为已知结果为 x ，参数为 θ (似然函数里 θ 是变量，这里说的参数和变量是相对与概率而言的)对应的概率，即：

$L(\theta |x)=P(x|\theta )$

需要说明的是两者在数值上相等，但是意义并不相同，L 是关于 θ 的函数，而 P 则是关于 x 的函数，两者从不同的角度描述一件事情。

概率描述的是在一定条件下某个事件发生的可能性，概率越大说明这件事情越可能会发生；而似然描述的是结果已知的情况下，该事件在不同条件下发生的可能性，似然函数的值越大说明该事件在对应的条件下发生的可能性越大。

二、求解过程

求解极大似然函数
ML估计：求使得出现该组样本的概率最大的θ值。

实际中为了便于分析，定义了对数似然函数：

1. 未知参数只有一个（θ为标量）的情况。在似然函数满足连续、可微的正则条件下，极大似然估计量是下面微分方程的解：

2.未知参数有多个（θ为向量）

则θ可表示为具有S个分量的未知向量：

记梯度算子：

若似然函数满足连续可导的条件，则最大似然估计量就是如下方程的解。

方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。
例1：设样本服从正态分布 $N(\mu ,\theta ^{2})$ ，则似然函数为：

它的对数：

求导，得方程组：

联合解得：

似然方程有唯一解： $(\mu ^{^{*}}, \sigma ^{*2})$ ，而且它一定是最大值点，这是因为当 $|\mu |\rightarrow \infty$ 或 $\sigma ^{2}\rightarrow \infty$ 时，非负函数 $L(\mu , \theta ^{2})\rightarrow 0$ 。于是 $\mu$ 和 $\theta$ 的极大似然估计为 $(\mu ^{^{*}}, \sigma ^{*2})$ 。

例2：设样本服从均匀分布[a, b]。则X的概率密度函数：

对样本 $D={x_{1}, x_{2}, ... , x_{n}}$ ：

很显然，L(a,b)作为a和b的二元函数是不连续的，这时不能用导数来求解。而必须从极大似然估计的定义出发，求L(a,b)的最大值，为使L(a,b)达到最大，b-a应该尽可能地小，但b又不能小于 $max\left \{ x_{1}, x_{2},...,x_{n} \right \}$ ，否则，L(a,b)=0。类似地a不能大过 $min\left \{ x_{1}, x_{2},...,x_{n} \right \}$ ，因此，a和b的极大似然估计：

三、总结

求最大似然估计量的一般步骤：

（1）写出似然函数；

（2）对似然函数取对数，并整理；

（3）求导数；

（4）解似然方程。

最大似然估计的特点：

1.比其他估计方法更加简单；

2.收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好；

3.如果假设的类条件概率模型正确，则通常能获得较好的结果。但如果假设模型出现偏差，将导致非常差的估计结果。

参考：

1. https://blog.csdn.net/zengxiantao1994/article/details/72787849

2. http://fangs.in/post/thinkstats/likelihood/

极大似然估计(Maximum likelihood estimation)相关推荐

极大似然估计 —— Maximum Likelihood Estimation
1 引入机器学习中,经常会遇到极大似然估计 (Maximum Likelihood Estimation, MLE) 这个名词,它的含义是什么?它能够解决什么问题?我们该如何理解并使用它?本篇就对此 ...
极大似然估计(Maximum Likelihood)与无监督
1. 极大似然与最大概率因为不是科班出身,所以最初接触极大似然的时候,总是很奇怪为什么叫极大似然,而不直接叫做最大概率? 后来才知道极大似然是用来估计未知参数的,而最大概率的表述更适合于已知参数的情 ...
最大似然估计(Maximum likelihood estimation)(通过例子理解)
之前看书上的一直不理解到底什么是似然,最后还是查了好几篇文章后才明白,现在我来总结一下吧,要想看懂最大似然估计,首先我们要理解什么是似然,不然对我来说不理解似然,我就一直在困惑最大似然估计到底要求的是 ...
最大似然估计(Maximum likelihood estimation）
最大似然估计提供了一种给定观察数据来评估模型参数的方法,即:"模型已定,参数未知",利用已知样本结果(统计概率)反推最有可能导致这样结果的参数值.简单而言,假设我们要统计全国人口的 ...
极大似然估计（Maximum likelihood estimation，MLE）：用样本估计总体参数
1 基本概念回顾边缘概率.联合概率和条件概率的基本概念. 1.1 定义边缘概率(Marginal Probability):可以简单理解为单一事件发生的概率.如果A是一个事件,且事件A发生的概率为 ...
极大似然估计Maximum Likelihood Estimation
极大似然估计是概率论在统计学的应用,是一种参数估计.说的是已知随机样本满足某种具体参数未知的概率分布,参数估计就是通过若干次试验,利用结果推出参数的大概值.极大似然估计的一种直观想法是已知某个事件发生 ...
【机器学习算法-python实现】最大似然估计(Maximum Likelihood)
1.背景最大似然估计是概率论中常常涉及到的一种统计方法.大体的思想是,在知道概率密度f的前提下,我们进行一次采样,就可以根据f来计算这个采样实现的可能性.当然最大似然可以有很多变化,这里实现一种简单 ...
均匀分布（uniform distribution）期望的最大似然估计（maximum likelihood estimation）
maximum estimator method more known as MLE of a uniform distribution [0,θ][0, \theta] 区间上的均匀分布为例,独立同 ...
机器学习概念：最大后验概率估计与最大似然估计（Maximum posterior probability and maximum likelihood estimation)
joey 周琦假设有参数θ\theta, 观测x\mathbf{x}, 设f(x|θ)f(x|\theta)是变量xx的采样分布,θ\theta是其中的参数.那么θ\theta的最大似然估计可以表示 ...
最大似然估计(Maximum Likehood Estimation，MLE)和最大后验估计(Maximum A Posteriori estimation， MAP)
概率与统计的区别概率研究的问题是一个模型和它的参数已知的情况下,怎么去预测这个模型产生的结果的特性(如均值,方差,协方差等) 统计研究的问题是在已有的大量的数据的情况下,推断产生这堆数据的模型及其参 ...

极大似然估计(Maximum likelihood estimation)

一、思想理解

二、求解过程

三、总结

极大似然估计(Maximum likelihood estimation)相关推荐

最新文章

热门文章