统计信号处理知识点总结_统计信号处理-简单看看克拉美罗界

各种研究领域(包括无线定位方向)都会碰到参数估计的问题，这时常常会看到克拉美罗界 (Cramér–Rao bound) 这个东西。很多随机信号的书都会介绍什么是克拉美罗界，但初学者学起来往往很吃力，本文从直观上简单讨论一下克拉美罗界的各个方面。

什么是参数估计问题

假设一种最简单的情况：

一个物理量为

$A$ ，我们使用某种方式去观测它，观测值为

$x$ ，由于存在噪声，此时

$x=A+\omega$ ，

$\omega$ 为高斯噪声，

$\omega \sim N(0,\sigma ^{2})$ 。

这种情况下，我们自然会直接使用观测值

$x$ 去估计

$A$ ，这时就会存在估计的误差，直观地理解，噪声的方差

$\sigma ^{2}$ 越大，估计就可能越不准确。

为什么要讨论克拉美罗界

讨论克拉美罗界就是为了使用这个标准来衡量无偏估计量的性能。

采用上面的方式，使用

$\hat{A}=x$ 去估计

$A$ ，这个估计值会在真实值附近波动(看作随机变量)。我们需要使用一些标准来衡量这种估计的好坏，一个标准是估计值的平均，这里的这个估计量是无偏估计量。另一标准是这个估计值波动的剧烈程度，也就是方差。上面这个问题中，克拉美罗界就等于这个方差。

可是为什么不直接讨论方差而要去计算克拉美罗界呢，因为方差是针对某一种特定的估计量(或者理解为估计方式)而言的，在上面的例子中，方差是估计量

$\hat{A}$ 的方差(

$\hat{A}=x$ )。对于稍微复杂一点点的问题，对

$A$ 的可以有各种不同的估计量，它们分别的方差是不同的。显然，对于无偏估计量而言，方差越小的估计方式性能越好，但是这个方差有一个下界，就是我们的克拉美罗界。

直观地理解克拉美罗界

克拉美罗界本身不关心具体的估计方式，只是去反映：利用已有信息所能估计参数的最好效果。

还是上面那个参数估计问题，当我们观察到

$x$ 的时候，我们可以知道真实值

$A$ 的概率密度分布是以

$x$ 为均值，

$\sigma ^{2}$ 为方差的正态分布，即:

$p(x;A)=\frac{1}{\sqrt{2\pi \sigma ^{2}}}exp^{-\frac{1}{2\sigma ^{2}}(x-A)^{2}}$

上图给出了两个似然函数的例子，直观地看，似然函数的“尖锐”性决定了我们估计位置参数

$A$ 的精度。这个“尖锐”性可以用对数似然函数峰值处的负的二阶导数来度量，即对数似然函数的曲率(对数似然函数就是在似然函数的基础山加一个自然对数，这样有利于计算)。计算过程我就不写了，有兴趣的可以自己算算，算完之后结果为：

$1/\sigma ^{2}$ ，这里正好是噪声的方差的倒数，也就是噪声越小，对数似然函数越尖锐。

所以，可以这样理解，似然函数的“尖锐”程度的倒数(即对数似然函数的二阶导的倒数)，就是克拉美罗界。

不同的估计量(估计方式)是什么意思

让我们来分析一个稍微复杂一点点的参数估计问题：

一个物理量为

$A$ ，我们使用某种方式去观测它，观测值为

$x[0]$ 和

$x[1]$ ，这是两个不同时刻的观测结果，一样的高斯噪声

$\omega \sim N(0,\sigma ^{2})$ 。

这种情况下，我们要估计

$A$ ，正常人可能会采用估计量

$\hat{A}=0.5*x[0] + 0.5*x[1]$ ，即前后两个观测的平均，也有人可能觉得这样计算量有点大，于是总是直接使用

$\hat{A}=x[0]$ 去估计

$A$ ，也有人觉得第二个观测值可能会受到系统影响而不准确，他更相信前面的观察值，于是总采取这样的估计量

$\hat{A}=0.8*x[0] + 0.2*x[1]$ 。这三个估计量都是无偏的：

估计量

$\hat{A}=0.5*x[0] + 0.5*x[1]$ 的方差为：

$(0.5)^{2}\sigma ^{2}+(0.5)^{2}\sigma^{2}$

估计量

$\hat{A}=0.8*x[0] + 0.2*x[1]$ 的方差为：

$(0.8)^{2}\sigma ^{2}+(0.2)^{2}\sigma^{2}$

估计量

$\hat{A}=x[0]$ 的方差为：

$\sigma ^{2}$

比较上面的三种估计量，第一种的方差最小，它的估计效果较好。实际上，如果第二个观测值真的不太准确，也就是后一个高斯噪声较大，这样的话也许第二个估计量就比较合适了。

因此，不同的考虑方式可以产生各种不同的估计算法，这些不同的估计量都是在真实值附近波动的随机变量(有的有偏，有的无偏)，它们分别的方差也是不一样的，但是数学家们证明了：任何无偏估计量的方差必定大于等于克拉美罗界。

克拉美罗界的基本计算

我们假设这两次观察互相独立，仅受相同的高斯白噪声影响，那么根据已有的信息，真实值

$A$ 的似然函数为两个正态的概率密度分布相乘：(注意：pdf实际上应该再进行归一化处理，但是我们之后使用对数似然函数，乘不乘归一化系数都无所谓，对数之后变成了常数，求导的时候就没了)

$p(x;A)=\prod_{n=0}^{1}\frac{1}{\sqrt{2\pi \sigma ^{2}}}exp^{-\frac{1}{2\sigma ^{2}}(x[n]-A)^{2}}$

与之前一样，可以计算出对数似然函数的二阶导数，得到结果为:

$\sigma ^{2}/2$ 。实际上，当观测数目为

$N$ 的时候，这个值将会是

$\sigma ^{2}/N$ 。也就是说，使用多个观测值的信息时，对数似然函数越“尖锐”。这个二阶导数(曲率)更一般的度量是(下面用

$\theta$ 来表示要估计的参数

$A$ )：

$-E[\frac{\partial ^{2}ln\, p(x;\theta )}{\partial \theta ^{2}}]$

它度量了对数似然函数的平均曲率(很多情况下曲率与

$x$ 的值有关，取数学期望使得它仅为

$\theta$ 的函数)，被称为数据

$x$ 的Fisher信息

$I(\theta )$ ，直观地理解，信息越多，下限越低，它具有信息测度的基本性质(非负的、独立观测的可加性)。一般来说，Fisher信息的倒数就是克拉美罗界了，任何无偏估计量

$\hat{\theta}$ 的方差满足：

$var(\hat{\theta})\geqslant\frac{1}{-E[\frac{\partial ^{2}ln\, p(x;\theta )}{\partial \theta ^{2}}]}$

大多情况下，这个不等式的右边(克拉美罗界)是

$\theta$ 的函数。

克拉美罗界的标准定义

(定理：Cramer-Rao下限----标量参数)

假定PDF

$p(x;\theta )$ 满足“正则”条件(对于所有的

$\theta$ )：

$E[\frac{\partial ln\, p(x;\theta )}{\partial \theta }]=0$

其中数学期望是对

$p(x;\theta )$ 求取的。那么，任何无偏估计量

$\hat{\theta }$ 的方差必定满足：

$var(\hat{\theta})\geqslant\frac{1}{-E[\frac{\partial ^{2}ln\, p(x;\theta )}{\partial \theta ^{2}}]}$

其中导数是在

$\theta$ 的真值处计算的，数学期望是对

$p(x;\theta )$ 求取的。而且，对于某个函数

$g$ 和

$I$ ，当且仅当

$\frac{\partial ln\, p(x;\theta )}{\partial \theta }=I(\theta )(g(x)-\theta )$

时，对所有

$\theta$ 达到下限的无偏估计量就可以求得。这个估计量是

$\hat{\theta }=g(x)$ ，它是MVU估计量(最小方差无偏估计)，最小方差是

$1/I(\theta )$ 。

总结

估计一个参数，根据已有信息得到了似然函数(或者pdf)，这个pdf的“尖锐”程度的倒数(即对数似然函数的二阶导的倒数)就是克拉美罗界。克拉美罗界的计算不依赖具体的估计方式，它可以用来作为一个衡量估计方式好坏的标准，即估计量的方差越靠近克拉美罗界，效果越好。

(注：本文主要参考《统计信号处理基础-估计与检测理论》-国外电子与通信教材系列)

关于作者：目前主要研究领域为机器学习与无线定位技术，欢迎讨论与指正！

统计信号处理知识点总结_统计信号处理-简单看看克拉美罗界相关推荐

详解统计信号处理之克拉美罗界
各种研究领域(包括无线定位方向)都会碰到参数估计的问题,这时常常会看到克拉美罗界 (Cramér–Rao bound) 这个东西.很多随机信号的书都会介绍什么是克拉美罗界,但初学者学起来往往很吃力,本 ...
详解统计信号处理之克拉美罗界
各种研究领域(包括无线定位方向)都会碰到参数估计的问题,这时常常会看到克拉美罗界 (Cramér–Rao bound) 这个东西.很多随机信号的书都会介绍什么是克拉美罗界,但初学者学起来往往很吃力,本 ...
统计信号处理知识点总结_概率论与数理统计之二维离散性随机变量及其分布的知识点总结...
二维随机变量的联合分布函数: 二维随机变量的联合分布函数二维离散型随机变量的概率分布: 二维随机变量的概率分布二维离散型随机变量的边缘分布: 二维离散型随机变量的边缘分布二维离散型随机变量的条件 ...
统计源期刊目录_统计源期刊是什么意思
统计源期刊是什么意思?统计源期刊全称中国科技论文统计源期刊,也就是我们常说的科技核心期刊,科技核心期刊是我国核心期刊体系中的一类,在国内个人评职晋升.学术评估中占据着重要地位,统计源期刊也是根据期刊多 ...
python统计数组元素个数_统计二维数组里元素的个数
记录一下一个问题的解决,里面涉及几个函数的用法,当作复习啦. 先说明一下问题.数据表里面的字段 content 存储了一个以逗号分割的字符串,最大有20个数,最大数字为40.比如3,24,33,40类 ...
java 统计文本行数_统计文本文件的行数，单词书，字节数
[java]代码库import java.io.*; /** * 统计文本文件的行数,单词书,字节数 */ class WordCount { public static int words = 1; ...
autolisp统计相同元素个数_统计学习基础知识
统计:广义上讲,统计是一门"收集.整理.分析和解释数据或信息的科学".统计是有关数据的科学,设计数据的收集.分类.汇总.分析以及数字信息的解释. 统计方法是一种用于研究.分析和学习 ...
python统计单词个数算法_统计一篇英文文章单词个数，取出出现频次前10的单词（Python实现）...
题目: 用python实现统计一篇英文文章内每个单词的出现频率,并返回出现频率最高的前10个单词及其出现次数. 常规解法怎么判定单词? 1 不是字母的特殊字符作为分隔符分割字符串 (避免特殊字符的处 ...
现代信号处理张贤达_清华信号处理著名学者张贤达去世，享年74岁
3月4日,清华大学自动化系官微发布讣告,教育部首批长江学者奖励计划特聘教授.信号处理领域著名科学家张贤达因病医治无效,于 2020 年3 月 2 日 14 时 17分在北京逝世,享年 74岁.因正处全 ...
python统计元音字母个数_统计字符串中各元音字母(即A,E,I,O,U)的个数。
下列给定函数中,函数 fun 的功能是:统计字符串中各元音字母 ( 即 A , E , I , O , U) 的个数.注意:字母不分大小写.例如,输入 THIs is a boot ,则应输出是 1 ...

统计信号处理知识点总结_统计信号处理-简单看看克拉美罗界

统计信号处理知识点总结_统计信号处理-简单看看克拉美罗界相关推荐

最新文章

热门文章