克拉美罗界（CRLB）推导

在推导CRLB之前，我们先了解一下Probability Density Function (PDF-概率密度函数)，我们在估计一个参数的准确度时，所有可能的信息都通过观测的数据以及数据的PDF而变现出来、所以，估计精度直接与PDF相关。

举个例子1

如果观测到单个的样本，即
x [ 0 ] = A + ω [ 0 ] x[0] = A + \omega[0] x[0]=A+ω[0]
其中 ω ∼ N ( 0 , σ 2 ) \omega \sim N(0,\sigma^2) ω∼N(0,σ2), 希望估计出一个精确的 A A A。当 σ 2 \sigma^2 σ2较小时，估计出来的 A A A精度高。一个好的无偏估计是 A ^ = x [ 0 ] \hat A = x[0] A^=x[0],其方差刚好是 σ 2 \sigma^2 σ2。图中显示了两个具有不同方差的PDF。

我们来看看一下PDF：
p i ( x [ 0 ] ; A ) = 1 2 π σ i 2 2 e [ − ( x [ 0 ] − A ) 2 2 σ i 2 ] ( 1 ) p_i(x[0];A) = \frac{1}{\sqrt[2]{2\pi\sigma^2_i}}e^{[-\frac{(x[0]-A)^2}{2\sigma^2_i}]} \quad(1) pi(x[0];A)=22πσi2 1e[−2σi2(x[0]−A)2](1)
PDF的自然对数：
l n p ( x [ 0 ] ; A ) = − l n 2 π σ 2 2 − 1 2 σ 2 ( x [ 0 ] − A ) 2 ( 2 ) lnp(x[0];A) = -ln\sqrt[2]{2\pi\sigma^2} - \frac{1}{2\sigma^2}(x[0]-A)^2 \quad(2) lnp(x[0];A)=−ln22πσ2 −2σ21(x[0]−A)2(2)
一阶导数:
∂ l n p ( x [ 0 ] ; A ) ∂ A = 1 σ 2 ( x [ 0 ] − A ) ( 3 ) \frac{\partial lnp(x[0];A)}{\partial A} = \frac{1}{\sigma^2}(x[0]-A) \quad(3) ∂A∂lnp(x[0];A)=σ21(x[0]−A)(3)
负得二阶偏导：
− ∂ 2 l n p ( x [ 0 ] ; A ) ∂ A 2 = 1 σ 2 ( 4 ) -\frac{\partial^2 lnp(x[0];A)}{\partial A^2} = \frac{1}{\sigma^2} \quad(4) −∂A2∂2lnp(x[0];A)=σ21(4)
曲率随 σ 2 \sigma^2 σ2的减少而增加，已知 A ^ = x [ 0 ] \hat A = x[0] A^=x[0]具有方差 σ 2 \sigma^2 σ2,从而：
v a r ( A ^ ) = 1 − ∂ l n p ( x [ 0 ] ; A ) ∂ A 2 ( 5 ) var(\hat A) = \frac{1}{-\frac{\partial ln p(x[0];A)}{\partial A^2}} \quad(5) var(A^)=−∂A2∂lnp(x[0];A)1(5)

Cramer-Rao 下界推

定理：假定PDF p ( x ; θ ) p(x;\theta) p(x;θ)满足“正则”条件：
E [ ∂ l n p ( x ; θ ) ∂ θ ] = 0 ( 6 ) E[\frac{\partial ln p(x;\theta)}{\partial \theta}] = 0 \quad (6) E[∂θ∂lnp(x;θ)]=0(6)
其中数学期望是对 p ( x ; θ ) p(x;\theta) p(x;θ)求取的。那么，任何无偏估计量 θ ^ \hat \theta θ^的方差必定满足：
v a r ( θ ^ ) ≥ 1 − E [ ∂ 2 l n p ( x ; θ ) ∂ θ 2 ] ( 7 ) var(\hat \theta) \geq \frac{1}{-E[\frac{\partial^2 ln p(x;\theta)}{\partial \theta^2}]} \quad (7) var(θ^)≥−E[∂θ2∂2lnp(x;θ)]1(7)
其中导数实在 θ \theta θ的真值处计算的，数学期望是对 p ( x ; θ ) p(x;\theta) p(x;θ)求取的。而且，对于某个函数 g g g和 I I I,当且仅当：
∂ l n p ( x ; θ ) ∂ θ = 1 σ 2 ( x − θ ) \frac{\partial lnp(x; \theta)}{\partial \theta} = \frac{1}{\sigma^2}(x- \theta) ∂θ∂lnp(x;θ)=σ21(x−θ)
∂ l n p ( x ; θ ) ∂ θ = I ( θ ) ( g ( x ) − θ ) ( 8 ) \frac{\partial lnp(x; \theta)}{\partial \theta} = I(\theta)(g(x) - \theta) \quad (8) ∂θ∂lnp(x;θ)=I(θ)(g(x)−θ)(8)
时，对有 θ \theta θ达到下限的无偏估计量就可以求得。这个估计量是 θ ^ = g ( x ) \hat \theta = g(x) θ^=g(x)，它是MVU估计量，最小方差是 1 / I ( θ ) 1/I(\theta) 1/I(θ)。
由于二阶导数是与x有关得随机变量，所以（5）中得数学期望由下式给出：
E [ ∂ 2 l n p ( x ; θ ) ∂ θ 2 ] = ∫ ∂ 2 l n p ( x ; θ ) ∂ θ 2 p ( x ; θ ) d x ( 9 ) E[\frac{\partial^2 ln p(x;\theta)}{\partial \theta^2}] = \int \frac{\partial^2 ln p(x;\theta)}{\partial \theta^2} p(x;\theta)dx \quad (9) E[∂θ2∂2lnp(x;θ)]=∫∂θ2∂2lnp(x;θ)p(x;θ)dx(9)
而且，一般来说下限与 θ \theta θ有关

例子：高斯白噪声得DC电平

对例子1扩展，考虑多观测：
x [ n ] = A + w [ n ] n = 0 , 1 , ⋯ , N − 1 x[n] = A + w[n] \quad n=0,1, \cdots, N-1 x[n]=A+w[n]n=0,1,⋯,N−1
其中 w [ n ] w[n] w[n]是方差为 σ 2 \sigma^2 σ2的WGN,确定A的CRLB。

欢迎使用Markdown编辑器

你好！这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。
p ( x ; A ) = ∏ n = 0 N − 1 1 2 π σ 2 e ( [ − 1 2 σ 2 ( x [ n ] − A ) 2 ] ) = 1 ( 2 π σ 2 ) N 2 e [ − 1 2 σ 2 ∑ n = 0 N − 1 ( x [ n ] − A ) 2 ] p(x;A) = \prod_{n=0}^{N-1} \frac{1}{\sqrt{2 \pi \sigma^2}}e^{([-\frac{1}{2\sigma^2}(x[n]-A)^2])} \\ = \frac{1}{(2 \pi \sigma^2)^\frac{N}{2}}e^{[-\frac{1}{2\sigma^2}\sum_{n=0}^{N-1}(x[n]-A)^2]} p(x;A)=n=0∏N−12πσ2 1e([−2σ21(x[n]−A)2])=(2πσ2)2N1e[−2σ21∑n=0N−1(x[n]−A)2]
求出一阶导数：
∂ l n p ( x ; A ) ∂ A = ∂ ∂ A [ − l n ( 2 π σ 2 ) N 2 − 1 2 σ 2 ∑ n = 0 N − 1 ( x [ n ] − A ) 2 ] = 1 σ 2 ∑ n = 0 N − 1 ( x [ n ] − A ) = N σ 2 ( x ˉ − A ) \frac{\partial ln p(x;A)}{\partial A} = \frac{\partial}{\partial A}[-ln(2\pi \sigma^2)^{\frac{N}{2}}-\frac{1}{2\sigma^2}\sum_{n=0}^{N-1}(x[n]-A)^2] \\ = \frac{1}{\sigma^2}\sum_{n=0}^{N-1}(x[n]-A)\\ = \frac{N}{\sigma^2}(\bar x - A) ∂A∂lnp(x;A)=∂A∂[−ln(2πσ2)2N−2σ21n=0∑N−1(x[n]−A)2]=σ21n=0∑N−1(x[n]−A)=σ2N(xˉ−A)
其中 x ˉ \bar x xˉ是样本均值。再次求导，
∂ l n p ( x ; A ) ∂ A 2 = − N σ 2 \frac{\partial ln p(x;A)}{\partial A^2} = - \frac{N}{\sigma^2} ∂A2∂lnp(x;A)=−σ2N
注意到二阶导数是常数，由式（7）可得CRLB:
v a r ( A ) ≥ − N σ 2 var(A) \geq -\frac{N}{\sigma^2} var(A)≥−σ2N
最后再提几点：
1、Fisher信息： J ( A ) = − E [ ∂ 2 l n p ( x ; θ ) ∂ θ 2 ] J(A) = {-E[\frac{\partial^2 ln p(x;\theta)}{\partial \theta^2}]} J(A)=−E[∂θ2∂2lnp(x;θ)]
2、本文进行的是标量参数CRLB的推导，没有进行扩展。扩展后还存在：

矢量参数CRLB推导
一般高斯CRLB推导
渐进CRLB推导

共同学习，共同进步，多多交流