1 参数估计

参数估计（Parameter Estimation）是根据从总体中抽取的样本来估计总体分布中包含的未知参数的方法。包括：最小二乘估计（Least Square Estimation）、极大似然估计（Maximum Likelihood Estimation，MLE）贝叶斯估计（Bayesian Estimation）等。

参数估计问题可以描述为：总体XXX的概率密度函数为f(x∣θ)f(x|\theta )f(x∣θ)，根据观测到的一组样本(x1,x2,...,xn)∈R(x_{1},x_{2},...,x_{n})\in\mathbb R(x1,x2,...,xn)∈R，来估计总体参数θ\thetaθ的过程。

对于函数f(x∣θ)f(x|\theta )f(x∣θ)，有两个输入：xxx表示某一具体的数据，θ\thetaθ表示模型的参数。

（1）如果θ\thetaθ是已知确定的，xxx是变量，f(x∣θ)f(x|\theta )f(x∣θ)叫概率函数（Probability Function），它描述对于不同的样本点xxx，其出现的概率是多少。

（2）如果xxx是已知确定的，θ\thetaθ是变量，f(x∣θ)f(x|\theta )f(x∣θ)叫似然函数（Likelihood Function），它描述对于不同的模型参数θ\thetaθ，出现xxx这个样本点的概率是多少。

此外，在 A. Tarantola《Inverse Problem Theory and Methods for Model Parameter Estimation》一书中，关于似然函数的解释为：Likelihood function is the probability of the data given a certain value of the parameters.

2 极大似然估计（MLE）

极大似然估计是频率学派的观点，认为待估参数θ\thetaθ是客观存在的，当θ=θ^MLE\theta=\hat\theta_{MLE}θ=θ^MLE时，观测样本(x1,x2,...,xn)(x_{1},x_{2},...,x_{n})(x1,x2,...,xn)出现的可能性最大.

极大似然估计可描述为：
L(θ∣x)=f(x∣θ)=f(x1,x2,...,xn∣θ)=∏i=1nf(xi∣θ)θ^MLE=argmaxθL(θ∣x)L(\theta|x)=f(x|\theta)=f(x_{1},x_{2},...,x_{n}|\theta)=\prod_{i=1}^{n}f(x_{i}|\theta) \\ \hat\theta_{MLE}=\mathop{argmax}\limits_{\theta}L(\theta|x) L(θ∣x)=f(x∣θ)=f(x1,x2,...,xn∣θ)=i=1∏nf(xi∣θ)θ^MLE=θargmaxL(θ∣x)

因此，极大似然估计的目标为：求使得f(x∣θ)=maxf(x|\theta)=maxf(x∣θ)=max的 θ\thetaθ 的值。即：在x=x0x=x_{0}x=x0时，求一个θ0\theta_{0}θ0，使得x=x0x=x_{0}x=x0发生的概率最大。

3 贝叶斯估计

贝叶斯估计是贝叶斯学派的观点，认为待估参数θ\thetaθ也是随机变量，因此只能根据观测样本估计参数θ\thetaθ的分布。

在贝叶斯估计中，利用了先验信息、观测信息来得到后验信息。先验信息是在未获取观测数据时对总体参数θ\thetaθ已有的了解。贝叶斯公式可表示为：
P(θ∣x)=P(θ)P(x∣θ)P(x)P(\theta|x)=\frac{P(\theta)P(x|\theta)}{P(x)} P(θ∣x)=P(x)P(θ)P(x∣θ)
贝叶斯估计的数学描述为：
π(θ∣x)=f(x∣θ)π(θ)m(x)=f(x∣θ)π(θ)∫f(x∣θ)π(θ)dθ\pi(\theta|x)=\frac{f(x|\theta)\pi(\theta)}{m(x)}=\frac{f(x|\theta)\pi(\theta)}{\int{f(x|\theta)\pi(\theta)}d\theta} π(θ∣x)=m(x)f(x∣θ)π(θ)=∫f(x∣θ)π(θ)dθf(x∣θ)π(θ)
式中π(θ)\pi(\theta)π(θ)为参数θ\thetaθ的的先验分布，表示对参数θ\thetaθ的主观认识，是非样本信息。π(θ∣x)\pi(\theta|x)π(θ∣x)为参数θ\thetaθ的后验分布。因此，贝叶斯估计可认为是利用样本信息去校正先验分布，得到后验分布。

根据参数的后验概率密度分布π(θ∣x)\pi(\theta|x)π(θ∣x)可以估计参数θ\thetaθ的值（或特征）。主要有：
（1）最大后验概率（MAP）
θ^MAP=argmaxθπ(θ∣x)\hat\theta_{MAP}=\mathop{argmax}\limits_{\theta}\pi(\theta|x) θ^MAP=θargmaxπ(θ∣x)
（2）后验均值（期望）
θˉ=E(π(θ∣x))\bar{\theta}=E(\pi(\theta|x)) θˉ=E(π(θ∣x))
通常取后验分布的期望作为参数的估值。除此之外，还可以根据后验分布π(θ∣x)\pi(\theta|x)π(θ∣x)计算参数的协方差矩阵、一维边缘概率密度等。通常需要借助采样方法进行求解（如MCMC等）。

4 极大验后估计（MAP）

在贝叶斯估计中，如果考虑采用极大似然估计的思想，令后验分布极大化求解θ\thetaθ，作为参数的估计值，这就是极大后验估计。

极大验后估计可描述为：
θ^MAP=argmaxθπ(θ∣x)=argmaxθf(x∣θ)π(θ)m(x)=argmaxθf(x∣θ)π(θ)\hat\theta_{MAP}=\mathop{argmax}\limits_{\theta}\pi(\theta|x)=\mathop{argmax}\limits_{\theta}\frac{f(x|\theta)\pi(\theta)}{m(x)}=\mathop{argmax}\limits_{\theta}f(x|\theta)\pi(\theta) θ^MAP=θargmaxπ(θ∣x)=θargmaxm(x)f(x∣θ)π(θ)=θargmaxf(x∣θ)π(θ)

因此，极大验后估计的目标为：求使得π(θ∣x)=max\pi(\theta|x)=maxπ(θ∣x)=max的 θ\thetaθ 的值。即：在x=x0x=x_{0}x=x0时，求一个θ0\theta_{0}θ0，使得θ=θ0\theta=\theta_{0}θ=θ0发生的概率最大。

贝叶斯估计只能根据观测样本估计参数θ\thetaθ的分布。但计算非常困难。因此，作为贝叶斯估计的一种近似解，MAP利用了从样本中无法获得的先验信息。

参考

https://zhuanlan.zhihu.com/p/61593112
https://blog.csdn.net/Gou_Hailong/article/details/121404135
https://blog.csdn.net/u011508640/article/details/72815981

参数估计——极大似然估计与贝叶斯估计相关推荐

极大似然估计_一文读懂矩估计，极大似然估计和贝叶斯估计
概率论和数理统计是机器学习重要的数学基础. 概率论的核心是已知分布求概率,数理统计则是已知样本估整体. 概率论和数理统计是互逆的过程.概率论可以看成是由因推果,数理统计则是由果溯因. 数理统计最常见的 ...
一文读懂矩估计、极大似然估计和贝叶斯估计
概率论和数理统计是机器学习重要的数学基础. 概率论的核心是已知分布求概率,数理统计则是已知样本估整体. 概率论和数理统计是互逆的过程.概率论可以看成是由因推果,数理统计则是由果溯因. 数理统计最常见的 ...
参数估计—最大似然估计与贝叶斯估计
文章目录一参数估计二最大似然估计 2.1 参数分量 2.2 基本原理 2.3 高斯情况 2.3.1 协方差矩阵Σ\SigmaΣ已知,而均值μ\muμ未知 2.3.2 协方差矩阵Σ\SigmaΣ ...
机器学习: 简单讲极大似然估计和贝叶斯估计、最大后验估计
一.前言我在概率论:参数估计里面提到了极大似然估计,不熟悉的可以看一下,本文重点介绍后两者估计方法. 在这里两种估计方法估计的是什么?我们使用一个较为泛化的问题表示: 考虑这样一个问题:总体X的概率 ...
极大似然估计和贝叶斯估计
极大似然估计和贝叶斯估计在掷硬币实验中估计出现正面向上的概率为θ\thetaθ,通过一系列的实验就可以得到n个观测结果,把每个观测结果都用一个随机变量xix_ixi进行表示,如果抛掷的硬币正面向上 ...
正态分布均值μ的极大似然估计推导
推导下述正态分布均值的极大似然估计和贝叶斯估计. 数据x1,x2,-,xn来自正态分布N(μ,σ2),其中σ2已和. (1)根据样本x1,-,xn写出μ的极大似然估计. (2)假设μ的先验分布是正态分 ...
3.2 参数估计：极大似然估计方法 ML
3.2 极大似然估计方法 ML 极大似然估计方法是高斯提出,并利用该技术获得测量误差满足高斯分布的结论.假设随机变量满足概率密度函数 p(x∣θ)p(x|\mathbf{\theta})p(x∣θ), ...
机器学习算法（1）——贝叶斯估计与极大似然估计与EM算法之间的联系
极大似然估计在讲解极大似然估计前,需要先介绍贝叶斯分类: 贝叶斯决策: 首先来看贝叶斯分类,经典的贝叶斯公式: 其中:p(w)为先验概率,表示每种类别分布的概率:是条件概率,表示在某种类别前提下,某 ...
参数估计之矩估计和极大似然估计概述
参数估计参数估计:是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法.它是统计推断的一种基本形式,是数理统计学的一个重要分支,分为点估计和区间估计两部分. 点估计:依据样本估计总体分布中所含 ...

参数估计——极大似然估计与贝叶斯估计

极大似然估计与贝叶斯估计的理解

1 参数估计

2 极大似然估计（MLE）

3 贝叶斯估计

4 极大验后估计（MAP）

参考

参数估计——极大似然估计与贝叶斯估计相关推荐

最新文章

热门文章