现代信号处理——参数估计理论（Fisher信息与克拉美罗（Cramer-Rao）下界）

假定随机信号x(t)隐藏有真实参数θ，根据信号的一次实现x，可以得到θ的一个估计子。一个自然会问的问题是，这一估计子是否是最优的呢？这个问题实际上可等价叙述为：在真实参数θ给定的情况下，根据信号实现值x能够得到的最优估计子应该使用什么标准评价呢？

为了回答上面的问题，不妨将x当作一随机变量看待，现在对条件分布密度函数f(x|θ)的质量进行评估。这样一种评价测度称为随机变量x的品质函数(score function)。

在真实参数θ已知的条件下，样本x获得估计量是否最优，可由品质函数来评估。

一、品质函数：

定义：当真实参数θ已给定的条件下，随机变量x的品质函数V定义为条件分布密度函数的对数lnp(x|θ)相对于真实参数θ的偏导数，即

由于品质函数的均值为零，故其方差等于品质函数的二阶矩，即var[V(x)]=E{V2(x)}。品质函数的方差在评价无偏估计子性能时具有重要的意义。

二、fisher信息：

定义：品质函数V(x)的方差称为fisher信息，用J(θ)表示，定义为：

Cramer-Rao下界是所有无偏估计子所能够达到的最低方差，利用它可以定义最有效的估计子，常简称为优效估计子。

三、无偏估计子 $\hat{\theta }$ 称为是优效的，若其方差达到Cramer-Rao下界，即 $var(\hat{\theta })=\frac{1}{J(\theta )}$

Fisher信息是描述从观测数据能够得到的θ的“信息”的测度。它给出了利用观测数据估计参数θ所引起的方差的下界。但是，需要注意的是，满足这一下界的估计子有的时候可能不存在。

例1：已知某观测样本x(n)=A+w(n),(n=0,1,…,N-1)其中w(n)是高斯白噪声，且方差为 $\sigma ^{2}$ ，均值为0。估计未知量A。

参考视频与文献：

https://www.bilibili.com/video/BV1wS4y1D7ng?p=4&vd_source=77c874a500ef21df351103560dada737

现代信号处理（第三版）张贤达（编著）

现代信号处理——参数估计理论（Fisher信息与克拉美罗（Cramer-Rao）下界）相关推荐

【学习笔记】Cramer-Rao Lower Bound 克拉美-罗界
Cramér–Rao bound 参考来源: CSDN:克拉美-罗下界(Cramer-Rao Lower Bound,CRLB) CSDN:详解统计信号处理之克拉美罗界 Cramer-Rao下界 TU ...
非随机参数估计的克拉美罗界（Cramer-Rao Bounds）
更新日志: 2020.10.24:发布目录 1 简介 2 克拉美罗界的定义 3 示例 3.1 理论案例 3.2 实验验证 4 证明 4.1 不等式的证明 4.2 等号成立条件 4.3 补充性质 5 ...
详解统计信号处理之克拉美罗界
各种研究领域(包括无线定位方向)都会碰到参数估计的问题,这时常常会看到克拉美罗界 (Cramér–Rao bound) 这个东西.很多随机信号的书都会介绍什么是克拉美罗界,但初学者学起来往往很吃力,本 ...
详解统计信号处理之克拉美罗界
各种研究领域(包括无线定位方向)都会碰到参数估计的问题,这时常常会看到克拉美罗界 (Cramér–Rao bound) 这个东西.很多随机信号的书都会介绍什么是克拉美罗界,但初学者学起来往往很吃力,本 ...
Cramér-Rao bound 克拉美罗界（转）
转自 https://www.cnblogs.com/rubbninja/p/4512765.html 各种研究领域(包括无线定位方向)都会碰到参数估计的问题,这时常常会看到克拉美罗界 (Cramér ...
克拉美-罗下界（Cramer-Rao Lower Bound，CRLB）
1. 估计量的衡量标准对于参数估计问题,目前存在着很多估计算法.那么如何去衡量一个估计器(estimator, 也称估计量或估计算法)的性能,我们主要考量以下三个方面无偏性(unbiased).对 ...
克拉美罗下界 CRLB的计算
克拉美罗下界 Cramer-Rao Lower Bound (CRLB)可以用于计算无偏估计中能够获得的最佳估计精度,因此经常用于计算理论能达到的最佳估计精度,和评估参数估计方法的性能(是否接近CRL ...
有偏估计、无偏估计、正则条件、克拉美罗下界
一.正则条件正则条件是指在陈述某一个定理时,常常需要限定这些定理的使用范围.如果超出这个范围,则会导致定理所描述的内容不成立.用于限定这个使用范围的限定条件被称为"正则条件" ...
克拉美罗界（CRLB）推导
克拉美罗界(CRLB)推导在推导CRLB之前,我们先了解一下Probability Density Function (PDF-概率密度函数),我们在估计一个参数的准确度时,所有可能的信息都通过观测 ...

现代信号处理——参数估计理论（Fisher信息与克拉美罗（Cramer-Rao）下界）

现代信号处理——参数估计理论（Fisher信息与克拉美罗（Cramer-Rao）下界）相关推荐

最新文章

热门文章