有偏估计、无偏估计、正则条件、克拉美罗下界

一、正则条件
正则条件是指在陈述某一个定理时，常常需要限定这些定理的使用范围。如果超出这个范围，则会导致定理所描述的内容不成立。用于限定这个使用范围的限定条件被称为“正则条件”。

二、有偏、无偏估计
无偏估计：估计量的数学期望等于被估参数的真实值，则称此估计量为被估参数的无偏估计。(例：样本均值的期望等于总体均值，所以样本均值为无偏估计）
有偏估计：估计量的数学期望不等于被估参数的真实值，则为有偏估计。(例：样本方差的期望是有偏估计）

举例：
某市所有的高三学生进行了一次数学联考，考试成绩服从1~150的正态分布，那么他们的平均分是多少？
如果将所有学生的成绩累和起来计算均值，这个值叫做总体期望，计算量较为庞大（现实中我们往往不这样计算，只通过采集样本估计）
所以现在给全市的50所高中每一所打一个电话，让他们随机选一名学生的成绩报上来，这样就得到了50个学生的成绩，这50个学生的成绩就是取到的第一个样本组，从而可以算出样本组1的平均数；
再重新给全市50所高中打一个电话，让他们随机选一名学生的成绩报上来，这样又得到了50个学生的成绩，这是取到的第二个样本组，可算出样本组2的平均数；
继续给全市50所高中打一个电话，让他们随机选一名学生的成绩报上来，这样又得到了第三组50个学生的成绩，这是取到第三组样本，同样算出样本组3的平均数；
继续打电话，到最后得到了十组样本的平均数。这时发现这十组样本的平均数符合正态分布，此时就可以用最大似然数估计求得这个正态分布的期望。而十组样本的平均数的期望(均值)，就极其接近总体的期望，这称之为无偏估计（unbiased estimation）。而将单独每一组样本的平均数说是总体平均值的做法，就是有偏估计（biased estimation）。

三、克拉美罗下界（Cramer_Rao bound）
讨论克拉美罗下界是为了使用这个标准来衡量无偏估计量的性能，克拉美罗下界没有具体的估计方式，只是来反映用已有信息估计参数的最好效果。
总的来说，估计一个参数，根据已有信息得到了似然函数，这个似然函数“尖锐”程度（曲率）的倒数（即对数似然函数的二阶导的倒数）就是克拉美罗下界。克拉美罗下界的计算不依赖具体的估计方式，它作为一个用来衡量估计方式好坏的标准，即估计量的方差越靠近克拉美罗下界，效果越好（图像越尖锐、曲率值越大）。
关于克拉美罗下界的更为详细的介绍，参考以下链接：
统计信号处理，简单看看克拉美罗界
克拉美罗下界，CRLB的计算

有偏估计、无偏估计、正则条件、克拉美罗下界相关推荐

克拉美-罗下界（Cramer-Rao Lower Bound，CRLB）
1. 估计量的衡量标准对于参数估计问题,目前存在着很多估计算法.那么如何去衡量一个估计器(estimator, 也称估计量或估计算法)的性能,我们主要考量以下三个方面无偏性(unbiased).对 ...
克拉美罗下界 CRLB的计算
克拉美罗下界 Cramer-Rao Lower Bound (CRLB)可以用于计算无偏估计中能够获得的最佳估计精度,因此经常用于计算理论能达到的最佳估计精度,和评估参数估计方法的性能(是否接近CRL ...
非随机参数估计的克拉美罗界（Cramer-Rao Bounds）
更新日志: 2020.10.24:发布目录 1 简介 2 克拉美罗界的定义 3 示例 3.1 理论案例 3.2 实验验证 4 证明 4.1 不等式的证明 4.2 等号成立条件 4.3 补充性质 5 ...
【学习笔记】Cramer-Rao Lower Bound 克拉美-罗界
Cramér–Rao bound 参考来源: CSDN:克拉美-罗下界(Cramer-Rao Lower Bound,CRLB) CSDN:详解统计信号处理之克拉美罗界 Cramer-Rao下界 TU ...
详解统计信号处理之克拉美罗界
各种研究领域(包括无线定位方向)都会碰到参数估计的问题,这时常常会看到克拉美罗界 (Cramér–Rao bound) 这个东西.很多随机信号的书都会介绍什么是克拉美罗界,但初学者学起来往往很吃力,本 ...
详解统计信号处理之克拉美罗界
各种研究领域(包括无线定位方向)都会碰到参数估计的问题,这时常常会看到克拉美罗界 (Cramér–Rao bound) 这个东西.很多随机信号的书都会介绍什么是克拉美罗界,但初学者学起来往往很吃力,本 ...
Cramér-Rao bound 克拉美罗界（转）
转自 https://www.cnblogs.com/rubbninja/p/4512765.html 各种研究领域(包括无线定位方向)都会碰到参数估计的问题,这时常常会看到克拉美罗界 (Cramér ...
克拉美罗界（CRLB）推导
克拉美罗界(CRLB)推导在推导CRLB之前,我们先了解一下Probability Density Function (PDF-概率密度函数),我们在估计一个参数的准确度时,所有可能的信息都通过观测 ...
现代信号处理——参数估计理论（Fisher信息与克拉美罗（Cramer-Rao）下界）
假定随机信号x(t)隐藏有真实参数θ,根据信号的一次实现x,可以得到θ的一个估计子.一个自然会问的问题是,这一估计子是否是最优的呢?这个问题实际上可等价叙述为:在真实参数θ给定的情况下,根据信号实现值 ...

有偏估计、无偏估计、正则条件、克拉美罗下界

有偏估计、无偏估计、正则条件、克拉美罗下界相关推荐

最新文章

热门文章