统计信号处理：(估计二) 最小方差无偏估计

最小方差无偏估计

2.1 无偏估计量

无偏估计意味着估计量的平均值为未知参数的真值。如果
E[θ^]=θ,a<θ<bE[\hat{\theta}]=\theta, a<\theta<b E[θ^]=θ,a<θ<b
说明估计量θ^\hat{\theta}θ^是无偏估计量。

例：白色高斯噪声中DC电平的无偏估计量

观测值x[n]=A+w[n]n=0,1,...,N−1x[n]=A+w[n]\ n=0,1,...,N-1x[n]=A+w[n] n=0,1,...,N−1

观测值中的参数A即所需估计的DC电平。取合理的估计量为:
A^=1N∑n=0N−1x[n]\hat{A}=\frac{1}{N}\sum_{n=0}^{N-1}x[n] A^=N1n=0∑N−1x[n]

估计量的期望为：
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ E(\hat{A})&=E[…

无偏估计量只是保证估计量的平均值为真值，相比于有偏估计量不存在系统误差。但是在多个无偏估计量的情况下，可以用多个估计量的平均获得更好的估计。
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \hat{\theta}&=…
所以求平均的估计越多，其均值会收敛到真值，且估计量的方差越小。

但是如果估计量为有偏估计E(θ^)=θ+b(θ)E(\hat{\theta})=\theta+b(\theta)E(θ^)=θ+b(θ)，那么无论对多少估计量求平均，都不会收敛到真值。

估计量的偏差：b(θ)=E(θ^)−θb(\theta)=E(\hat{\theta})-\thetab(θ)=E(θ^)−θ

为了从多个无偏估计量中选择出最佳估计量，可以采用一些最佳准则。

均方误差(mean square error,MSE)表示的是估计量偏离真值的平方偏差的统计平均值，由估计量的方差和偏差导致的误差组成。
mse(θ^)=E[(θ^−θ)2]=var(θ^)+[E(θ^)−θ]2=var(θ^)+b2(θ)mse(\hat{\theta}) =E[(\hat{\theta}-\theta)^2] \\ =var(\hat{\theta})+[E(\hat{\theta})-\theta]^2\\=var(\hat{\theta})+b^2(\theta) mse(θ^)=E[(θ^−θ)2]=var(θ^)+[E(θ^)−θ]2=var(θ^)+b2(θ)
但是如果让均方误差对修正常数求导，寻找出最小均方误差时可以发现估计量修正常数与真值有关，说明估计量是不可实现的。因此在实际运用中，需要放弃最小MSE估计。选择另外一种方法使得约束偏差为零，从而求出使得方差最小的估计量，这样得到的估计量称为最小方差无偏估计(minimum variance unbiased,MVU)

MVU的存在性：MVU表明它的方差相对其它所有估计量的方差是最小的，如果存在一个估计量的方差小于MVU的，说明MVU不存在。针对下图，可以说a图存在MVU，而b图不存在MVU。

求最小方差无偏估计量MVU

即使MVU存在，一般也很难求出。下面给出了一些可能求出的方法：

确定Cramer-Rao下限(CRLB)，然后检查估计量是否满足CRLB；
应用Rao-Blackwell-lehmann-Scheffe(RBLS)定理；
进一步限制估计不仅是无偏，而且还是线性的，在这些限制中找出MVU。

扩展到适量参数

如果θ=[θ1,θ2,...,θp]\pmb\theta=[\theta_1,\theta_2,...,\theta_p]θθθ=[θ1,θ2,...,θp]是未知参数矢量，那么估计量θ^=[θ^1,θ^2,...,θ^p]\hat{\pmb\theta}=[\hat\theta_1,\hat\theta_2,...,\hat\theta_p]θθθ^=[θ^1,θ^2,...,θ^p]如果满足
E(θ^i)=θiE(\hat\theta_i)=\theta_i E(θ^i)=θi
则说明估计量为无偏估计，那么该估计量具有E(θ^)=θE(\hat{\pmb\theta})=\pmb\thetaE(θθθ^)=θθθ。同样对于MVU，对该参数矢量中任意一个参数都有var(θ^i)var(\hat\theta_i)var(θ^i)都是最小的。