（本文记录了学习MLE的学习笔记，学习资料为Hogg, McKean og Craig: Chapter 6. Maximum likelihood methods.）
上一篇文章中，我们讲述了MLE。MLE是一种特殊的参数估计方法。因为它是渐近有效的，它可以渐近地达到极限。
这篇文章我们来了解一下Rao-Cramer下界，它表明了所有无偏估计的下界。

Rao-Cramer Lower Bound

定理 6.2.1：定义 Y=u(X1,X2,...,Xn),E(Y)=E[u(X1,X2,...,Xn)]=k(θ)Y=u(X_1,X_2,...,X_n),\;E(Y)=E[u(X_1,X_2,...,X_n)]=k(\theta)Y=u(X1,X2,...,Xn),E(Y)=E[u(X1,X2,...,Xn)]=k(θ)，则
Var(Y)≥[k′(θ)]2nI(θ)Var(Y)\ge\dfrac{[k'(\theta)]^2}{nI(\theta)}Var(Y)≥nI(θ)[k′(θ)]2
证明：YYY的期望为
k(θ)=∫−∞∞⋅⋅⋅∫−∞∞u(x1,...,xn)f(x1;θ)⋅⋅⋅f(xn;θ)dx1⋅⋅⋅dxnk(\theta)=\displaystyle{\int^{\infty}_{-\infty}\cdot\cdot\cdot\int^{\infty}_{-\infty}u(x_1,...,x_n)f(x_1;\theta)\cdot\cdot\cdot f(x_n;\theta)dx_1\cdot\cdot\cdot dx_n}k(θ)=∫−∞∞⋅⋅⋅∫−∞∞u(x1,...,xn)f(x1;θ)⋅⋅⋅f(xn;θ)dx1⋅⋅⋅dxn
k′(θ)=∫−∞∞⋅⋅⋅∫−∞∞u(x1,...,xn)[∑1n1f(xi;θ)∂f(xi;θ)∂θ]×f(x1;θ)⋅⋅⋅f(xn;θ)dx1⋅⋅⋅dxn=∫−∞∞⋅⋅⋅∫−∞∞u(x1,...,xn)[∑1n∂log⁡f(xi;θ)∂θ]×f(x1;θ)⋅⋅⋅f(xn;θ)dx1⋅⋅⋅dxn\begin{aligned} k'(\theta)&=\displaystyle{\int^{\infty}_{-\infty}\cdot\cdot\cdot\int^{\infty}_{-\infty}u(x_1,...,x_n)\left[\sum\limits_1^n\dfrac{1}{f(x_i;\theta)}\dfrac{\partial f(x_i;\theta)}{\partial\theta}\right]\times f(x_1;\theta)\cdot\cdot\cdot f(x_n;\theta)dx_1\cdot\cdot\cdot dx_n}\\ &=\displaystyle{\int^{\infty}_{-\infty}\cdot\cdot\cdot\int^{\infty}_{-\infty}u(x_1,...,x_n)\left[\sum\limits_1^n\dfrac{\partial\log f(x_i;\theta)}{\partial\theta}\right]\times f(x_1;\theta)\cdot\cdot\cdot f(x_n;\theta)dx_1\cdot\cdot\cdot dx_n} \end{aligned}k′(θ)=∫−∞∞⋅⋅⋅∫−∞∞u(x1,...,xn)[1∑nf(xi;θ)1∂θ∂f(xi;θ)]×f(x1;θ)⋅⋅⋅f(xn;θ)dx1⋅⋅⋅dxn=∫−∞∞⋅⋅⋅∫−∞∞u(x1,...,xn)[1∑n∂θ∂logf(xi;θ)]×f(x1;θ)⋅⋅⋅f(xn;θ)dx1⋅⋅⋅dxn
我们定义 Z=∑1n[∂log⁡f(Xi;θ)/∂θ]Z=\sum\limits_1^n[\partial\log f(X_i;\theta)/\partial\theta]Z=1∑n[∂logf(Xi;θ)/∂θ]。从上一篇文章极大似然估计方法中可以得到 E(Z)=0E(Z)=0E(Z)=0，Var(Z)=nI(θ)Var(Z)=nI(\theta)Var(Z)=nI(θ)。
那么
k′(θ)=E(YZ)=E(Y)E(Z)+Cov(Y,Z)=E(Y)E(Z)+ρVar(Y)Var(Z)=E(Y)E(Z)+ρσYnI(θ)\begin{aligned} k'(\theta)=E(YZ)&=E(Y)E(Z)+Cov(Y,Z)\\ &=E(Y)E(Z)+\rho\sqrt{Var(Y)}\sqrt{Var(Z)}\\ &=E(Y)E(Z)+\rho\sigma_Y\sqrt{nI(\theta)} \end{aligned} k′(θ)=E(YZ)=E(Y)E(Z)+Cov(Y,Z)=E(Y)E(Z)+ρVar(Y)Var(Z)=E(Y)E(Z)+ρσYnI(θ)
ρ\rhoρ 是 Y,ZY, ZY,Z 的相关系数，ρ2≤1\rho^2\le1ρ2≤1
当 E(Z)=0E(Z)=0E(Z)=0 时，
ρ=k′(θ)σYnI(θ)⟹ρ2=[k′(θ)]2σY2nI(θ)≤1\rho=\dfrac{k'(\theta)}{\sigma_Y\sqrt{nI(\theta)}}\Longrightarrow\rho^2=\dfrac{[k'(\theta)]^2}{\sigma_Y^2nI(\theta)}\le1ρ=σYnI(θ)k′(θ)⟹ρ2=σY2nI(θ)[k′(θ)]2≤1
得证
Var(Y)≥[k′(θ)]2nI(θ)Var(Y)\ge\dfrac{[k'(\theta)]^2}{nI(\theta)}Var(Y)≥nI(θ)[k′(θ)]2
推论 6.2.1：根据定理 6.2.1，如果 YYY 是一个无偏估计，k(θ)=θk(\theta)=\thetak(θ)=θ, 那么 Rao-Cramer不等式变为
Var(Y)≥1nI(θ)Var(Y)\ge\dfrac{1}{nI(\theta)}Var(Y)≥nI(θ)1
我们发现右侧刚好是是MLE的渐近方差。因此，可以说MLE渐近有效。

Efficient Estimator

定义 6.2.1：在点估计条件下，令 YYY 为 θ\thetaθ 的无偏估计。当且仅当 YYY 的方差等于Rao-Cramer下界时，我们称 YYY 为 θ\thetaθ 的有效估计。

定义 6.2.2：Rao-Cramer下界与参数的任何无偏估计的实际方差之比称为该估计器的效率。

(原书中有很多非常好的例子可以帮助理解，大家感兴趣的话可以去看看原书。)

Rao-Cramer下界相关推荐

理解Rao - Cramer不等式
在可估计函数的无偏估计量中,自然希望估计量的方差尽可能小,那么估计量的方差能小到什么程度呢?有无下界?若有的话,如何去求它?Rao - Cramer不等式回答了这些问题. 一个无偏估计量希望方差最小, ...
matlab khatri rao积,Khatri-Rao乘积
补充资料:Rao-Cramér不等式 Rao-Cramér不等式 Rao - Cramer inequality 的估计量,并称b(口)为T的偏倚(b此).那么,在关于族{p(刘因}的一定正则性条件下 ...
MLAPP————第六章频率派统计
第六章频率派统计 6.1 简介在第五章我们讨论的贝叶斯统计的这套方法,在一些非统计学问题中,比如医疗诊断,垃圾邮件过滤,飞机追踪等问题上,大家都是用贝叶斯的这一套去做.但是在很多统计学问题上,却存 ...
Cramer-Rao下界
在参数估计和统计中,Cramer-Rao界限(Cramer-Rao bound, CRB)或者Cramer-Rao下界(CRLB),表示一个确定性参数的估计的方差下界.命名是为了纪念Harald Cr ...
Shoot the Bullet(ZOJ3229)（有源汇上下界最大流）
描述 ensokyo is a world which exists quietly beside ours, separated by a mystical border. It is a utop ...
[BZOJ2502]清理雪道有上下界网络流（最小流）
2502: 清理雪道 Time Limit: 10 Sec Memory Limit: 128 MB Description 滑雪场坐落在FJ省西北部的若干座山上. 从空中鸟瞰,滑雪场可以看作一个有 ...
优化思路千万种，基于下界函数的最优化效率如何？
作者丨stephenDC 来源 | 大数据与人工智能(ID:ai-big-data) 导读:生活中我们处处面临最优化的问题,比如,怎么样一个月减掉的体重最高?怎么样学习效率最高?怎么样可以最大化实现个 ...
有源汇上下界最小费用可行流 ---- P4553 80人环游世界（拆点 + 有源汇上下界最小费用可行流）
题目链接题目大意: 解题思路: 又是一道裸题 . 首先它要求第iii个点只经过ViViVi那么我们就拆点ai,ai+na_i,a_{i+n}ai,ai+n一个点为入点,一个为出点这条边的流量范围 ...
有源汇上下界最小费用可行流 ---- P4043 [AHOI2014/JSOI2014]支线剧情（模板）
题目链接题目大意: 解题思路: 有源汇上下界最小费用可行流模板题目来着先建出一个有源汇上下界可行流的图,然后注意建图的时候要把每条边的下界的费用提前加到ans里面然后再对图跑费用流,就是补齐费用 ...
有上下界网络流 ---- P4843 清理雪道(DAG图上最小路径重复边覆盖)【模板】有源汇上下界最小流
题目链接题目大意: 解题思路: 首先我们发现对于每条边至少要覆盖一次,最多覆盖无数次那么就有点像上下界网络流了[1,INF][1,INF][1,INF]的限制关系跑一边最小流就可以了!! #in ...

Rao-Cramer下界

Rao-Cramer Lower Bound

Efficient Estimator

Rao-Cramer下界相关推荐

最新文章

热门文章