极大似然估计的直观含义

下周组会要讲朴素贝叶斯，朴素贝叶斯之前西瓜书上先是介绍了最大似然估计，但是我完全不知道那个理论的东西的到底能干嘛，然后找了一些资料看了下，最主要的是B站的一个视频，连接放在最后面。这个视频比较清楚的解释了极大似然估计到底是什么，它的含义是什么。

视频链接：https://www.bilibili.com/video/av56378793?p=1&t=541

极大似然估计Maximum likelihood estimation，简写就是MLE，其实在很多机器学习理论中都存在哈。

首先介绍下极大似然估计的历史：

1822年，高斯在处理正态分布的时候第一次提出了极大似然估计
1921年，美国统计学家费希尔证明了其相关特性并得到了广泛的应用，因此将极大似然估计的发现归功于费希尔。

极大似然估计的模型：

离散型：

离散型的含义就是统计量等于观测值的概率直接乘起来就可以了。

连续型：

连续型就是概率密度函数直接乘起来就可以了。

重点来了，似然函数的直观意义是什么？

似然函数的直观意义是刻画参数与真实数据的匹配程度。

什么叫匹配程度呢？就是你现在不知道一件事的发生概率，比如你去食堂找阿姨打饭，阿姨手抖不抖你不知道，但是有一段时间你亲自去食堂打饭了，打了10次饭，其中阿姨手抖了一次，那么你是不是就能得出结论说这个食堂阿姨打饭手抖的可能性并不大。也就是你看见了这个事实，你需要用一个理论去解释这个现象，这就是极大似然估计。

现在看一个例子：

有一个二项分布，如下：

上面的意思就是样本空间只可能取1或者2，取1的概率是，取2的概率是1- $\theta$ 。我们现在去抽这个样本，抽了10次，1抽中3次，2抽中7次。现在只凭借直觉，不去想任何概率统计相关的知识，我们是不是可以认为1发生的概率是0.3，2发生的概率是0.7.

我们现在的感觉就是这样子，1发生的概率是0.3,2发生的概率是0.7，那么数学家就想，我们能不能有个办法来描述这个过程，就是用一套理论去解释这个过程？这个过程就是极大似然估计，也就是刻画参数与真实数据的匹配程度。

现在重新来看，我们一共抽取了n次，其中1被抽中n1次，2被抽中n2次，n1+n2=n。那么上面的就是n1/n。由上面的离散类型的似然函数我们有

有了这个似然函数后，我们要去算这个似然函数的最大值。疑问就在这个地方，为什么我们要把这个似然函数最大呢？

原因在于，当我们取1和2的时候分别是n1次和n2次，这是已经发生的事实了，我们要让这个事实发生的概率最大，那么我们就是要去求这个似然函数的最大值。再解释下，比如你不知道今天下不下雨，但是今天下雨了，你是不是就是要解释今天下雨的概率是1。同样的，在上面的那个取1和2的时候，也是类似的，只不过是让取1的可能性为100%是不可能的，因为发生的事实是n1次1和n2次2，所以就要去解释这个事实，就是最大化这个似然函数。

接着就是考研的时候的知识了，我们来求这个函数的最大值。

解出来就是

这是完全符合我们上面的直觉的。

好了，这就是极大似然估计的解释啦

极大似然估计的直观含义相关推荐

极大似然估计的直观解释-转
教材云: 极大似然估计法是求估计值的另一种方法,最早由高斯(R.A,Gauss)提出,后来为费史(Fisher)在1912年重新提出,并证明该方法的一些性质．它是建立在极大似然原理基础上的一个统计方法 ...
极大似然估计 —— Maximum Likelihood Estimation
1 引入机器学习中,经常会遇到极大似然估计 (Maximum Likelihood Estimation, MLE) 这个名词,它的含义是什么?它能够解决什么问题?我们该如何理解并使用它?本篇就对此 ...
浅议极大似然估计（MLE）背后的思想原理
1. 概率思想与归纳思想 0x1:归纳推理思想所谓归纳推理思想,即是由某类事物的部分对象具有某些特征,推出该类事物的全部对象都具有这些特征的推理.抽象地来说,由个别事实概括出一般结论的推理称为归纳推 ...
【For非数学专业】通俗理解似然函数、概率、极大似然估计和对数似然
文章目录 1. 似然函数与概率 1.1 似然函数与概率的初步认识 1.2 似然的定义 1.3 结合具体实例来深入理解似然与概率 2. 极大似然估计 3. 对数似然函数 4. 总结 1. 似然函数与概率 ...
参数估计：极大似然估计、矩估计的基本概念及应用方法
来源:首席数据科学家今天分享一下关于参数估计的基本概念.尤其是极大似然估计,有着重要的应用. 01 - 参数估计的定义首先,什么是参数估计呢? 之前我们其实已经了解到很多种分布类型了,比如正态分布 ...
人工智能科普｜极大似然估计——机器学习重要知识点
https://www.toutiao.com/a6649579620909711879/ 2019-01-23 14:45:03 经常有许多对人工智能领域跃跃欲试的小伙伴在后台发私信问我" ...
极大似然估计_计量经济学 | 极大似然估计
写在前面:本文写作于被新冠病毒 (COVID-19) 笼罩下的英国.前段时间本人的恩师.苏格兰老爷爷.英国伯明翰大学Emeritus讲席教授Peter Sinclair确诊新冠病毒,实乃不幸.在此祝P ...
极大似然估计与贝叶斯定理
文章转载自:https://blog.csdn.net/zengxiantao1994/article/details/72787849 极大似然估计-形象解释看这篇文章:https://www.zh ...
envi最大似然分类_闲谈最大后验概率估计（MAP estimate）amp;极大似然估计（MLE）和机器学习中的误差分类...
上一篇文章中提到了一个有趣的实验,简单来说就是1-100中有若干个数字是"正确的",只告诉其中一部分"正确的"数字,去猜全部"正确的"数字. ...

极大似然估计的直观含义

极大似然估计的直观含义相关推荐

最新文章

热门文章