估计理论的应用

估计理论在现实生活中有很多的应用。在信号处理问题中应用估计理论，雷达可以确定飞机的位置，声纳可以确定潜艇的方位，通过语音信号可以识别语音或音素，在生物医学领域可以估计胎儿的心率，在通信领域可以估计信号的载频。在当下很火的机器学习问题中估计理论也十分重要。对于参数模型，我们需要应用合适的方法来估计模型参数。例如，线性回归应用最小二乘法估计参数，逻辑回归利用极大似然估计估计参数。

估计问题

想要构建一个良好的估计量，第一步需要建立数据的数学模型。我们用概率密度函数（PDF）来描述数据固有的随机性，PDF以未知量 θ \theta θ为参数， θ \theta θ不同，PDF也随之不同。例如，如果 N = 1 N=1 N=1， θ \theta θ表示均值，那么数据的PDF可能是一个正态分布
p ( x [ 0 ] ; θ ) = 1 2 π σ 2 exp ⁡ [ − 1 2 σ 2 ( x [ 0 ] − θ ) 2 ] p(x[0];\theta)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{1}{2\sigma^2}(x[0]-\theta)^2\right] p(x[0];θ)=2πσ2 1exp[−2σ21(x[0]−θ)2]不同的 θ \theta θ下的PDF如下图所示，可以看到 θ \theta θ影响数据的概率分布，因此我们可以根据观测的数据反过来推断 θ \theta θ。例如，如果 x [ 0 ] < 0 x[0]<0 x[0]<0，则 θ = θ 1 \theta=\theta_1 θ=θ1就比 θ = θ 2 \theta=\theta_2 θ=θ2和 θ = θ 3 \theta=\theta_3 θ=θ3更加合理。

在实际问题中，我们并不知道真实的PDF，所以我们需要选择一个不仅与问题的约束和先验知识一致，而且在数学上容易处理的PDF。

估计量的性能评估

一旦确定了PDF，问题就变成了给出最佳估计量的问题。这里我们考虑一个带噪声的DC电平数据集 x [ n ] x[n] x[n]。

将数据建模为
x [ n ] = A + w [ n ] x[n]=A+w[n] x[n]=A+w[n]其中， w [ n ] w[n] w[n]是零均值的噪声过程。我们需要根据数据 { x [ 0 ] , x [ 1 ] , … , x [ N − 1 ] } \{x[0],x[1],\ldots,x[N-1]\} {x[0],x[1],…,x[N−1]}来估计 A A A。我们可以给出两个对 A A A的估计： A ^ = 1 N ∑ n = 0 N − 1 x [ n ] \hat{A}=\frac{1}{N}\sum_{n=0}^{N-1}x[n] A^=N1∑n=0N−1x[n]和 A ˇ = x [ 0 ] \check{A}=x[0] Aˇ=x[0]。我们想知道的是哪一个估计更好。

直观上来看 A ^ \hat{A} A^更好，因为它利用了所有的数据，用平均来减小噪声的影响。在这个数据集中，真实值 A = 1 A=1 A=1，估计值 A ^ = 0.9 \hat{A}=0.9 A^=0.9、 A ˇ = 0.95 \check{A}=0.95 Aˇ=0.95， A ˇ \check{A} Aˇ更接近 A A A，但是并不意味着 A ˇ \check{A} Aˇ是比 A ^ \hat{A} A^更好的估计。因为估计是数据的函数，数据时随机变量，所以估计也是随机变量。 A ˇ \check{A} Aˇ更接近真实值只是针对这个数据集的特定现实而言的。我们想要的是在大量重复实验下得到更好的估计的估计量。下图给出了重复一百次实验后两个估计量的直方图。

很明显 A ^ \hat{A} A^是比 A ˇ \check{A} Aˇ更好的估计，因为它的估计值更多地集中在真实值 A = 1 A=1 A=1附近。在数学上，一个好的估计量我们希望它的期望尽可能地接近真实值，而且方差尽可能的小。

我们先研究这两个估计量的期望：
E ( A ^ ) = E ( 1 N ∑ n = 0 N − 1 x [ n ] ) = 1 N ∑ n = 0 N − 1 E ( x [ n ] ) = A E(\hat{A})=E\left(\frac{1}{N}\sum_{n=0}^{N-1}x[n]\right)=\frac{1}{N}\sum_{n=0}^{N-1}E(x[n])=A E(A^)=E(N1n=0∑N−1x[n])=N1n=0∑N−1E(x[n])=A E ( A ˇ ) = E ( x [ 0 ] ) = A E(\check{A})=E(x[0])=A E(Aˇ)=E(x[0])=A它们的期望相同，均为 A A A。接下来我们研究它们的方差：
V a r ( A ^ ) = V a r ( 1 N ∑ n = 0 N − 1 x [ n ] ) = 1 N 2 ∑ n = 0 N − 1 V a r ( x [ n ] ) = σ 2 N Var(\hat{A})=Var\left(\frac{1}{N}\sum_{n=0}^{N-1}x[n]\right)=\frac{1}{N^2}\sum_{n=0}^{N-1}Var(x[n])=\frac{\sigma^2}{N} Var(A^)=Var(N1n=0∑N−1x[n])=N21n=0∑N−1Var(x[n])=Nσ2 V a r ( A ˇ ) = V a r ( x [ 0 ] ) = σ 2 > V a r ( A ^ ) Var(\check{A})=Var(x[0])=\sigma^2>Var(\hat{A}) Var(Aˇ)=Var(x[0])=σ2>Var(A^)所以，我们通过计算证明了 A ^ \hat{A} A^是比 A ˇ \check{A} Aˇ更好的估计量。

采用计算机模拟来评估估计的性能是永远不能得出明确结论的。尽管它在理解问题和帮助推测上相当有价值，但是如果试验次数不够，或者在模拟中有一些技术错误，则会得到错误的结果。

在未来中，我们可能也会遇到需要在性能和计算复杂性之间折衷的问题。比如在前一个例子中， A ^ \hat{A} A^虽然有更好的性能，但是也同时需要更多的计算量。我们将会发现，最佳估计量有时很难实现，需要多维的估计和集成。在这种情况下，一个准最佳的且更容易实现的估计量可能是更好的。在做选择时，我们需要确定准最佳的估计量在计算复杂性上的减少是否可以抵消性能上的损失。

参考文献

[1] Kay, S. M. (1993). Fundamentals of statistical signal processing: estimation theory. Prentice-Hall, Inc…

下一章，我们将介绍最小方差无偏估计。

【检测与估计理论（Detection and Estimation Theory）】一、估计简介（Introduction of Estimation）相关推荐

LIVE 预告 | CVPR 2021 预讲 · 旷视专场，覆盖目标检测、蒸馏、图像降噪、人体姿态估计等...
CVPR 2021 大会将于6月19日至 25日线上举行.为促进同行之间的交流与合作,智源社区近期举办了系列CVPR 2021预讲报告,其中实验室系列将汇聚国内顶尖高校和企业实验室的研究人员为大家分享 ...
Human Pose Estimation人体姿态估计综述调研
给定一幅图像或一段视频,人体姿态估计就是去恢复其中人体关节点位置的过程. 数据集 LSP 地址:http://sam.johnson.io/research/lsp.htm 样本数:2K 关节点个数: ...
【机器学习基本理论】详解最大后验概率估计（MAP）的理解
[机器学习基本理论]详解最大后验概率估计(MAP)的理解 https://mp.weixin.qq.com/s/dQxN46wEbFrpvV369uOHdA 最大似然估计(Maximum likeli ...
HeadPose Estimation头部姿态估计头部朝向(Android)
HeadPose Estimation头部姿态估计头部朝向(Android) 目录 HeadPose Estimation头部姿态估计头部朝向(Android) 0.前言 1.HeadPose 2.p ...
测试信号分析-估计理论的基本原理
估计理论的基本原理随机信号序的统计量估计随机信号序列 x(n),有限长度均值.相关函数.功率谱密度函数的估计式为 m ^ = 1 N ∑ x ( n ) \hat m = \frac{1}{N} ...
目标检测数据集The Object Detection Dataset
目标检测数据集The Object Detection Dataset 在目标检测领域,没有像MNIST或Fashion MNIST这样的小数据集.为了快速测试模型,我们将组装一个小数据集.首先,我们 ...
CV之PoseEstimation：Pose Estimation人体姿态估计(AI识人,OpenPose+DeepCut+RMPE+Mask RCNN)的简介、案例应用之详细攻略
CV之PoseEstimation:Pose Estimation人体姿态估计(AI识人,OpenPose+DeepCut+RMPE+Mask RCNN)的简介.案例应用之详细攻略目录 Pose E ...
简单粗糙的指尖检测方法（FingerTips Detection）
简单粗糙的指尖检测方法(FingerTips Detection) zouxy09@qq.com http://blog.csdn.net/zouxy09 在人机交互领域,如果可以比较好的检测指尖,对 ...
计算机硬件检测与维修理论试题,计算机硬件检测与维修试题10.doc
计算机硬件检测与维修试题10 计算机硬件检测与维修理论试题十一.单项选择 1.液晶显示器画面出现闪动的现象,原因可能是(). A.数据线与显卡接口接触不良 B.操作系统有问题 C.显示器与主板不兼 ...

【检测与估计理论（Detection and Estimation Theory）】一、估计简介（Introduction of Estimation）