最大似然估计方法介绍

1.   什么是最大似然估计？

在一次机器语言的学习中，引入了一个新概念—最大似然估计。然而面对繁琐的数学公式和复杂的推理过程，使我对概念非常模糊，也不懂到底是什么原理，但通过后来的慢慢学习使我对最大似然估计有了不一样的认识。
最大似然估计是使用概率模型、利用已知的样本结果，反推一件事情最有可能发生（最大概率）导致这样结果的参数值，是一类完全基于统计的系统发生树重建方法的代表，可以理解为样本所展现的是所有可能状态中概率最大的状态。这种对复杂问题概念的求解问题使我联想到贝叶斯公式，在很多求解概率的问题上都离不开它，由此，从贝叶斯公式与最大似然估计两者之间的联系和区别又对最大似然估计方法又有了更深刻的认识。最大似然估计方法为什么受欢迎？他和贝叶斯公式之间最大的不同在哪？最大似然方法估计的原理是什么？既然是通过概率模型进行求解那么在实际问题中应该选用那种模型呢？最大似然估计方法的应用有哪些？
2. 问题分析
在概率论中，了解到贝叶斯公式是一个后验概率，什么是后验概率？简单来说，后验概率是基于“结果”的信息重新修正后的概率，所获得的概率更接近实际情况。但是在实际应用中，样本数据不多，特征值的维度也不够大导致直接计算条件概率的难度较大，所以最大似然估计方法相当于贝叶斯公式的升级版，将概念密度估计转化成了参数估计，在样本数量无限多时，结果会更接近于真实值，这对我们日常生活中处理概率问题有很大帮助，这也是为什么最大似然估计这么受欢迎的原因。
同时，两者最大的区别也就出现了，那就是参数。非常能够总结最大似然估计的一句话是“模型已定，参数未知”，通过若干次试验观察其结果，得到某个参数值使样本出现的概率最大，是一种在实际问题求解中的简化方法。最大似然估计方法是建立在最大似然原理之上的，极大似然估计是建立在极大似然原理的基础上的一个统计方法，如果单从概念不能完全理解，就用一个简单的例子来介绍最大似然原理：

有两个形状大小一样的箱子里面各有10个球，第一个箱子里面有2个红球8个篮球，另一个箱子里有8个红球2个篮球，当问你觉得红色球是从哪个箱子里拿出来的时候，人们都会觉得是从第二个箱子里面拿出来的，这个推断符合日常生活中的经验事实，而最大可能就是最大似然之意，这种想法也被称为最大似然原理。这样理解起来是不是就会更容易！

接下来，就是最大似然估计模型的推导过程：
假设样本集D={x1 、x2 、…、xn}，假设样本之间都是相对独立的，注意这个假设很重要！于是便有：

所以假设似然函数为：

接下来我们求参的准则便是如名字一样最大化似然函数喽：

引入拉普拉斯修正，也就是取对数ln，所以做出下面变换：

所以最大化的目标便是：

再使用数学中的微分知识求解：

最后使偏导数为0：

由此得到参数θ，求出类条件概率密度进行判别
通过对似然估计的推导，是不是对其有更清晰的认识了呢~

应用
大家肯定会问，最大似然估计到底有什么用？
其实最大似然估计在科学、医疗、经济等领域上都有广泛的应用
例如：
求取广义线性模型之最大似然估计：
应用于求取乳腺癌死亡率之小区域估计
最大似然估计在保险精算中的应用研究
最大似然估计在GPS定位中的应用研究
最大似然估计的信息融合方法及其在水下航行器制导中的研究
关于截尾样本情形下的最大似然估计
基于最大似然估计的雷达高度计跟踪处理
广义最大似然估计在OCT无创血糖检测中的应用
总结
求最大似然估计量的一般步骤：
（1）写出似然函数；
（2）对似然函数取对数，并整理；
（3）求导数；
（4）解似然方程。

这篇文章对最大似然估计的概念以及基本推导过程进行叙述和展示，希望对一样有需求的人有帮助，最大似然估计的应用广泛，比其他估计方法更简单，当样本数量较多时收敛性也会非常好，在应用中需要结合特定的环境，因为它需要你提供样本的已知模型进而来估算参数，假设类条件概率模型正确，通常都能获得较好的结果。

参考文献：《应用概率统计》

最大似然估计方法介绍相关推荐

最大似然估计学习总结
1. 作用在已知试验结果(即是样本)的情况下,用来估计满足这些样本分布的参数,把可能性最大的那个参数作为真实的参数估计. 2. 离散型设为离散型随机变量,为多维参数向量,如果随机变量相互独立且概率 ...
最大似然估计总结笔记
最大似然估计学习总结------MadTurtle 1. 作用在已知试验结果(即是样本)的情况下,用来估计满足这些样本分布的参数,把可能性最大的那个参数作为真实的参数估计. 2. 离散型设为离散型 ...
最大似然估计(MLE)，最大后验概率估计（MAP），贝叶斯估计入门讲解
已知数据X,去拟合某个概率模型的参数θ,是最基本的机器学习过程. 本文将入门讲解3个最基本的方法:最大似然估计(Maximum Likelihood Estimation,简称MLE),最大后验概率估 ...
如何理解「最大似然估计」？参数估计、似然函数、最大似然估计
文章目录引言参数估计最大似然估计似然函数求解最大似然估计问题为什么要对似然函数取对数? "似然"与"概率"的区别机器学习中的应用参考资料引言 ...
贝叶斯公式的对数似然函数_最大似然估计和贝叶斯估计学习体会
最大释然估计和贝叶斯参数估计 Jiangxiaodong 1 引言在之前的学习中我们已经知道如何根据先验概率和类条件概率密度来设计最有分类器.但在模式识别的实际应用中,通常得不到有关问题的概率结构的 ...
估计参数的方法：最大似然估计、贝叶斯推断
一.最大似然估计假设有3个数据点,产生这3个数据点的过程可以通过高斯分布表达.这三个点分别是9.9.5.11.我们如何计算高斯分布的参数μ .σ的最大似然估计? 我们想要计算的是观测到所有数据的全概 ...
机器学习两种参数估计方法：最大似然估计和最小二乘法估计
参数估计方法一.最大似然估计原理: 最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大,也就是概率分布函数或者说是似然函数最大. 二.最小二乘法当从模型总体随机抽取n组样本观测值后 ...
用计算机求最大似然估计,用Excel软件实现最大似然估计数值计算的方法_刘文卿.pdf...
用Excel软件实现最大似然估计数值计算的方法_刘文卿.pdf 2006 年 9 月数理统计与管理 Sep , 2006 第 25 卷第 5 期 Application of Statistics ...
最大似然估计_状态估计的基本概念（2）最大似然估计和最大后验估计
(1)最大似然估计ML和最大后验估计MAP 最大似然估计量非贝叶斯方法通常是最大化似然函数: 其中被称为的最大似然估计量,它是的函数. 最大后验估计量估计随机参数的通常方法是最大化后验分布函 ...

最大似然估计方法介绍

最大似然估计方法介绍相关推荐

最新文章

热门文章