最大似然估计与最小二乘

参考：

最大似然估计，就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。
例如：一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法。

MLE可以看作一种特殊情况下的Bayesian 估计，具体来说，就是在prior (先验)是 diffuse （无知的）情况下，让posterior(后验) 分布取得极大值的系数值。我们有一些理论模型，记作 "model"，这个model 是什么，在很多实践中，就是一个模型中关键系数的值是什么这样的问题（不同的系数的值，我们称作不同的model) 。我们现在又观测到一组数据，记作"observation"。那么问题来了，给定一个model (一组关键系数的值），必然会有关于observation 的分布密度函数，所以我们知道P(observation|model) （给定一个model，observation的条件分布）的函数形式。

我们真正关心的，却是 P(model|observation) 的函数形式，也就是给定了当前的observation （observation是实际观测到的，是确定下来的），到底不同的model的概率是什么。当然，一个很贪心的做法，就是找到那个能把P(model|observation) 取到最大值的model （给定某个观测，最有可能的model）。

现在根据贝耶斯原理，

P(model|observation) = [ P(observation|model) * P(model) ]/ P(observation)

其中P(observation) 不太重要，因为我们想知道不同model 是如何影响 P(model|observation)的，或者是贪心的求P(model|observation)的最大值。而P(observation)已经固定下来了，不随model改变，所以我们无视他。

我们如果知道 P(model)（所谓的Prior) 的函数形式，那么就没有什么问题了。此时的P(model|observation)是一个关于model 的函数。报告这个P(model|observation)作为model的函数的函数形式，就叫贝耶斯估计。可是，这需要我们知道P(model)。实际中我们不知道这个玩意，所以一般我们猜一个。

我们如果承认不知道P(model)，认为我们对他是无知的话，那么P(model) = 常数 for all model，此时求P(model|observation) 最大值，也就等价于求P(observation|model) 的最大值，这就叫做MLE。

最小二乘：找到一个（组）估计值，使得实际值与估计值的距离最小。本来用两者差的绝对值汇总并使之最小是最理想的，但绝对值在数学上求最小值比较麻烦，因而替代做法是，找一个（组）估计值，使得实际值与估计值之差的平方加总之后的值最小，称为最小二乘。“二乘”的英文为least square，其实英文的字面意思是“平方最小”。这时，将这个差的平方的和式对参数求导数，并取一阶导数为零，

转载于:https://www.cnblogs.com/pengwang52/p/7753457.html

最大似然估计与最小二乘相关推荐

最小二乘与最大似然估计之间的关系
最小二乘与最大似然估计之间的关系 1.结论测量误差(测量)服从高斯分布的情况下, 最小二乘法等价于极大似然估计. 2.最大似然估计概念最大似然估计就是通过求解最大的(1)式得到可能性最 ...
最大似然估计(MLE)与最小二乘估计(LSE)的区别
最大似然估计与最小二乘估计的区别标签(空格分隔): 概率论与数理统计最小二乘估计对于最小二乘估计来说,最合理的参数估计量应该使得模型能最好地拟合样本数据,也就是估计值与观测值之差的平方和最小. ...
机器学习两种参数估计方法：最大似然估计和最小二乘法估计
参数估计方法一.最大似然估计原理: 最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大,也就是概率分布函数或者说是似然函数最大. 二.最小二乘法当从模型总体随机抽取n组样本观测值后 ...
回归算法 - 线性回归求解 θ（最大似然估计求解）
回顾线性回归的公式:θ是系数,X是特征,h(x) 是预测值. h(x) = θ0 + θ1x1 + θ2x2 + - + θnxn h(x) = Σ θixi( i=0~n ) h(x) = θTX ...
最大似然估计与损失函数
关于最大似然估计法的基本原理请参考<概率论与数理统计>P152或参考<深度学习>chpt 5.5 文章目录 1.最大似然估计的一般理论 2.最大似然估计的性质 3.最大似然估计 ...
R语言多项式线性模型：最大似然估计二次曲线
全文链接:http://tecdat.cn/?p=18348 "应用线性模型"中,我们打算将一种理论(线性模型理论)应用于具体案例.通常,我会介绍理论的主要观点:假设,主要结果,并 ...
从最大似然估计开始，你需要打下的机器学习基石
选自Medium 作者:Jonny Brooks-Bartlett 机器之心编译概率论是机器学习与深度学习的基础知识,很多形式化的分析都是以概率的形式进行讨论.而这些讨论或多或少都离不开最大似然估计 ...
最大似然估计（ML）
1. 说明最大似然估计(Maximum Likelihood Estimation, ML)是一种在给定观察数据情况下,来评估模型参数的算法.它属于一种统计方法,用来求一个样本集的相关概率密度函数的 ...
逻辑回归与最大似然估计推导
目录逻辑回归(对数几率回归) 1.广义线性模型 2.逻辑回归的假设 3. 逻辑回归的代价函数为什么LR中使用交叉熵损失函数而不使用MSE损失函数? 3. 极大似然估计 4. 利用梯度下降法求解参数 ...
最大似然估计和最小二乘法
最大似然估计:现在已经拿到了很多个样本(你的数据集中所有因变量),这些样本值已经实现,最大似然估计就是去找到那个(组)参数估计值,使得前面已经实现的样本值发生概率最大.因为你手头上的样本已经实现了,其 ...

最大似然估计与最小二乘

最大似然估计与最小二乘相关推荐

最新文章

热门文章