快速了解：
参数估计，估计的是随机变量分布的参数。可以先去博主的另一篇文章了解随机变量及其分布。
所谓分布的参数，例如正态分布XXX~N(u,σ2)N(u,\sigma^2)N(u,σ2)，u,σu,\sigmau,σ就是正态分布的参数。
后面要讲的点估计就是已知总体的一个样本，估计分布的参数。例如知道正态分布的一个样本，估计总体参数uuu,σ\sigmaσ。

参数估计指估计分布的参数。
点估计，是已知一个样本集的情况下，估计分布的参数。

1 参数估计

随机变量XXX的分布函数已知，但它的一个或多个参数未知，根据已有样本，估计XXX分布的参数。

2 点估计

根据XXX的一个样本集估计总体未知参数的问题称为参数的点估计问题。

点估计问题的一般提法为：
设总体XXX的分布函数F(x;θ)F(x;\theta)F(x;θ)的形式已知，θ\thetaθ是待估参数。
X1,X2,⋅⋅⋅,XnX_1,X_2,\cdot \cdot \cdot,X_nX1,X2,⋅⋅⋅,Xn是XXX的一个样本集，x1,22,⋅⋅⋅,xnx_1,2_2,\cdot \cdot \cdot,x_nx1,22,⋅⋅⋅,xn是对应的样本值。
点估计问题就是要构造一个估计量θ^(X1,X2,⋅⋅⋅,Xn)\widehat \theta(X_1,X_2,\cdot \cdot \cdot,X_n)θ(X1,X2,⋅⋅⋅,Xn)，用它的观察值θ^(x1,x2,⋅⋅⋅,xn)\widehat \theta(x_1,x_2,\cdot \cdot \cdot,x_n)θ(x1,x2,⋅⋅⋅,xn)作为未知参数θ\thetaθ的近似值。我们称θ^(X1,X2,⋅⋅⋅,Xn)\widehat \theta(X_1,X_2,\cdot \cdot \cdot,X_n)θ(X1,X2,⋅⋅⋅,Xn)为θ\thetaθ的估计量，θ^(x1,x2,⋅⋅⋅,xn)\widehat \theta(x_1,x_2,\cdot \cdot \cdot,x_n)θ(x1,x2,⋅⋅⋅,xn)为θ\thetaθ的估计值。不致混淆的情况下将估计量和估计值统称为估计，并都简记为θ^\widehat\thetaθ。

由上面对点估计问题的描述，可以看出估计量是样本集的函数，对于不同的样本集θ\thetaθ的估计值一般不同。

下面的极大似然估计法即用于构造估计量。

3 极大似然估计

快速了解
以离散型随机变量为例，进行快速总结：

X1,X2,⋅⋅⋅,XnX_1,X_2,\cdot \cdot \cdot ,X_nX1,X2,⋅⋅⋅,Xn的联合分布律
X1,X2,⋅⋅⋅,XnX_1,X_2,\cdot \cdot \cdot ,X_nX1,X2,⋅⋅⋅,Xn是XXX的样本集，则X1,X2,⋅⋅⋅,XnX_1,X_2,\cdot \cdot \cdot ,X_nX1,X2,⋅⋅⋅,Xn的联合分布律为
∏i=1np(xi；θ).\prod_{i=1}^np(x_i；\theta).i=1∏np(xi；θ).
事件{X1=x1,X2=x2,⋅⋅⋅,Xn=xnX_1=x_1,X_2=x_2,\cdot \cdot \cdot ,X_n=x_nX1=x1,X2=x2,⋅⋅⋅,Xn=xn}发生的概率为下式，该事件的概率（L(θ)L(\theta)L(θ)）称为样本的似然函数。
L(θ)=L(x1,x2,⋅⋅⋅,xn；θ)=∏i=1np(xi；θ)L(\theta)=L(x_1,x_2,\cdot \cdot \cdot ,x_n；\theta)=\prod_{i=1}^np(x_i；\theta)L(θ)=L(x1,x2,⋅⋅⋅,xn；θ)=i=1∏np(xi；θ)
使似然函数L(θ)L(\theta)L(θ)达到最大的参数值θ^\widehat \thetaθ，称为参数θ\thetaθ的最大似然估计值。
p(xi；θ)p(x_i；\theta)p(xi；θ)关于θ\thetaθ可微，这时θ^\widehat \thetaθ可通过下述方程（对似然函数求导，令其等于0）获得
ddθL(θ)=0\frac{d}{d\theta}L(\theta)=0dθdL(θ)=0
因为L(θ)L(\theta)L(θ)与lnL(θ)lnL(\theta)lnL(θ)在同一θ\thetaθ处取到极值，因此，θ\thetaθ的最大似然估计也可以从下面的方程求得。从这一方程求解往往更简便。下面的方程称为对数似然方程。
ddθL(lnθ)=0\frac{d}{d\theta}L(ln\theta)=0dθdL(lnθ)=0

关于极大似然估计，下面贴上笔者标注后的浙江大学版《概率论与数理统计》的原文，这篇文章的解释实在是太过棒棒了，经典至极。

至此，困惑笔者已久的极大似然估计，通过随机变量及其分布和本文的复习总结，总算是明白了。呼~ 轻松嘤~

趣味阅读：极大似然估计的能力体现
给出一堆线性数据，用线性回归模拟，线性回归的参数很容易就能求得。
若给出另一堆数据，中间多，两边少，用线性回归就很难模拟，这适合用高斯分布曲线模拟。可是高斯分布的参数难求，这时就显示出极大似然估计的能力了。
参照网址：对数损失函数是如何度量损失的

参数估计、点估计、极大似然估计相关推荐

【数学基础】参数估计之极大似然估计
背景先来看看几个小例子: 猎人师傅和徒弟一同去打猎,遇到一只兔子,师傅和徒弟同时放枪,兔子被击中一枪,那么是师傅打中的,还是徒弟打中的? 一个袋子中总共有黑白两种颜色100个球,其中一种颜色90个, ...
一文看懂 “极大似然估计” 与 “最大后验估计” —— 极大似然估计篇
参考: 唐宇迪<人工智能数学基础>第8章 Richard O. Duda <模式分类>第三章白板机器学习 P2 - 频率派 vs 贝叶斯派频率学派还是贝叶斯学派?聊一聊机器 ...
概率论之极大似然估计
统计的基本任务是以样本推断总体,在很多场合下,总体分布的形式是已知的,需要求得未知参数,这就是数理统计的参数估计问题.参数估计分为两种:一种是点估计,一种是区间估计.前者是用一个适当的统计量作为参数的 ...
7.2 极大似然估计
7.2 极大似然估计估计类条件概率的一种常用策略是先假设其具有某种确定的概率分布形式,然后再基于训练样本对概率分布的参数进行估计,具体的说,记关于类别C的类条件概率为P(X|C),假设P(X|C ...
Python实现极大似然估计
概念现实中任何随机变量的概率分布函数都是未知的. 如果假定随机变量服从某种分布(如正态分布),可以通过统计手段来计算该分布的参数,这种方法称为参数估计. 极大似然估计(Maximum Likelih ...
什么是极大似然估计？
● 每周一言坚持一定是有毅力,但有毅力不一定能坚持. 导语统计学中,我们经常能听到极大似然估计,或者最大似然估计,它是一种参数估计方法.在机器学习中,逻辑回归就是基于极大似然估计来计算的损失函数. ...
贝叶斯网专题11：参数学习之极大似然估计
第一部分:贝叶斯网基础 1.1 信息论基础 1.2 贝叶斯网基本概念 1.3 变量独立性的图论分析第二部分:贝叶斯网推理 2.1 概率推理中的变量消元方法 2.2 团树传播算法 2.3 近似推理 2 ...
【转载】极大似然估计
原文链接:知行流浪 https://blog.csdn.net/zengxiantao1994/article/details/72787849 以前多次接触过极大似然估计,但一直都不太明白到底什么原 ...
似然函数的意义与极大似然估计
什么是概率? 简单来说,概率是一个函数,定义域是样本空间,满足非负性,规范性,可列可加性. 严格的公理化定义如下: 概率可以做什么?统计又可以做什么? 什么是先验概率,后验概率,似然? 先验概率:根据 ...

参数估计、点估计、极大似然估计

1 参数估计

2 点估计

3 极大似然估计

参数估计、点估计、极大似然估计相关推荐

最新文章

热门文章