极大似然估计——简述

2024-06-01 19:22:50

一、概念

极大似然估计，也就是说在模型分布已知的情况下，观察有限的样本信息，反推出最有可能（最大概率）导致该样本出现的模型参数值，即“模型已知，参数未知”。

假设某一模型满足正态分布

我们可以通过极大似然估计，估计出 $\mu$ 和 $\sigma$ 两个参数值，接着就可以使用正态分布的相关特性。

二、举例

假如有一个袋子，袋子中有白、黑两种颜色的球，不知道里面的数量和比例，但又不能全部倒出来去数。

现在我们可以这样，我们采取100次有放回的抽样（样本独立同分布），每次抽出来记录它的颜色，用来估计袋子中的白黑球的比例。假设前面一百次抽样，共抽取白色球70次，黑色球30次，请问袋子中的白黑色球的比例是多少？

很多人这个时候已经有了答案：白色：黑色 = 7:3，但是其中的原理是什么呢？

由于是两种颜色的球，不是黑便是白，故假设抽到白球的概率为p，抽到黑球的概率为1-p，对于袋子中样本 $D=\left \{ x_{1}, x_{2}... x_{100} \right \}$ ，模型M，模型参数为 $\theta$ ，采取有放回的抽样（保证独立同分布），100次抽样中抽到70次白球和30次黑球的概率是 $P(D|\theta)$ 。联合密度函数 $P(D|\theta)$ 称为相对于D的 $\theta$ 的似然函数

$l(\theta)=P(D|\theta) = P((x_{1},x_{2},...x_{100})|\theta) =\prod_{i}^{100}p(x_{i}|\theta)=p(x_{1}|\theta)p(x_{2}|\theta)...p(x_{100}|\theta)=p^{70}(1-p)^{30}$

三、求解极大似然函数

求导数解似然函数，求得 $\theta$ 使得 $p^{70}(1-p)^{30}$ 最大

四、总结

求最大似然估计量的一般步骤：

（1）写出似然函数；

（2）对似然函数取对数，并整理；

（3）求导数；

（4）解似然方程。

极大似然估计的特点：

（1）比其他估计方法更加简单；

（2）收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好；

（3）如果假设的类条件概率模型正确，则通常能获得较好的结果。但如果假设模型出现偏差，将导致非常差的估计结果。

注：以上内容属个人理解，学艺不精，请各位大神多多指教

极大似然估计——简述相关推荐

最小二乘和极大似然估计的原理，思想？相同点以及异同？
简述最小二乘和极大似然估计的原理,思想?相同点以及异同? 最小二乘估计和极大似然估计简述最小二乘和极大似然估计的原理,思想?相同点以及异同? 1.多元线性回归方程的矩阵表示 1.1 最小二乘估计的原 ...
极大似然估计_干货|一文理解极大似然估计
一.什么是极大似然估计极大似然估计是一种参数估计的方法.它要解决这样一个问题:给定一组数据和一个参数待定的模型,如何确定模型的参数,使得这个确定参数后的模型在所有模型中产生已知数据的概率最大. 通俗 ...
为什么对高斯分布的方差的极大似然估计是有偏的？
本文要证明为什么对高斯分布的方差的极大似然估计是有偏的.同时,也说明为什么求样本方差时,分母是N-1而不是N. 首先,明白两点,(1)极大似然法得到的高斯方差是什么形式(2)什么是有偏. (1)先说第 ...
交叉熵损失函数、修正Huber损失、极大似然估计、负对数似然、似然与交叉熵、KL散度
交叉熵损失函数.修正Huber损失.极大似然估计.负对数似然.似然与交叉熵.KL散度目录
极大似然估计（Maximum Likelihood Estimattion Theory）是什么？极大似然估计的本质思想是什么？为什么极大似然可以作为损失函数使用？负对数似然损失函数（Negative
极大似然估计(Maximum Likelihood Estimattion Theory)是什么?极大似然估计的本质思想是什么?为什么极大似然可以作为损失函数使用?负对数似然损失函数(Negative ...
人工智能科普｜极大似然估计——机器学习重要知识点
https://www.toutiao.com/a6649579620909711879/ 2019-01-23 14:45:03 经常有许多对人工智能领域跃跃欲试的小伙伴在后台发私信问我" ...
极大似然估计的理解与应用
http://www.cnblogs.com/xing901022/p/8418894.html 极大似然估计是概率论中一个很常用的估计方法,在机器学习中的逻辑回归中就是基于它计算的损失函数,因此还是 ...
极大似然估计_计量经济学 | 极大似然估计
写在前面:本文写作于被新冠病毒 (COVID-19) 笼罩下的英国.前段时间本人的恩师.苏格兰老爷爷.英国伯明翰大学Emeritus讲席教授Peter Sinclair确诊新冠病毒,实乃不幸.在此祝P ...
极大似然估计的朴素理解
极大似然估计的朴素理解 2010年04月20日 ⁄ 科研, 读书 ⁄ 共 2356字 ⁄ 评论数 28 ⁄ 被围观 12,437+ <a href="http://www.zhizhi ...

最新文章

热门文章