如何理解无偏估计量？

现实中常常有这样的问题，比如，想知道全体女性的身高均值 $\mu$ ，但是没有办法把每个女性都进行测量，只有抽样一些女性来估计全体女性的身高：

那么根据抽样数据怎么进行推断？什么样的推断方法可以称为“好”？

1 无偏性

比如说我们采样到的女性身高分别为：

$\{x_1,x_2,\cdots,x_n\}$

那么：

$\overline{X}=\frac{x_1+x_2+\cdots+x_n}{n}$

是对 $\mu$ 不错的一个估计，为什么？因为它是无偏估计。

首先，真正的全体女性的身高均值 $mu$ ，我们是不知道，只有上帝才知道，在图中就画为虚线：

我们通过采样计算出 $\overline{X}$ ：

会发现，不同采样得到的 $\bar{X}$ 是围绕 $\mu$ 左右波动的：

这有点像打靶，只要命中在靶心周围，还算不错的成绩：

如果用以下式子去估计方差 $\sigma^2$ ：

$\displaystyle S^2=\frac{1}{n}\sum_{i=1}^{n}(X_i-\overline{X})^2$

根据“为什么样本方差的分母是 n-1？”的解释，就会产生偏差：

这个偏差经过计算，就是：

$\frac{1}{n}\sigma^2$

这种偏差就好像瞄准镜歪了，是系统性的：

就此而言，无偏估计要好于有偏估计。

2 有效性

打靶的时候，右边的成绩肯定更优秀：

进行估计的时候也是，估计量越靠近目标，效果越“好”。这个“靠近”可以用方差来衡量。

比如，仍然对 $\mu$ 进行估计，方差越小，估计量的分布越接近 $\mu$ ：

有效估计和无偏估计是不相关的：

举个例子，从 $N(\mu,\sigma^2)$ 中抽出10个样本：

$\{x_1,x_2,\cdots,x_n\}$

下面两个都是无偏估计量：

$\displaystyle T_1=\frac{x_1+x_3+2x_{10}}{4}\quad T_2=\frac{1}{10}\sum^{10}_{i=1}x_i$

但是后者比前者方差小，后者更有效。

并且在现实中不一定非要选无偏估计量，比如：

如果能接受点误差，我倒觉得选择右边这个估计量更好。

3 一致性

之前说了，如果用以下式子去估计方差 $\sigma^2$ ：

$\displaystyle S^2=\frac{1}{n}\sum_{i=1}^{n}(X_i-\overline{X})^2$

会有一个偏差：

$\frac{1}{n}\sigma^2$

可以看到，随着采样个数 $n$ 的增加，这个偏差会越来越小。那么这个估计就是“一致”的。

如果样本数够多，其实这种有偏但是一致的估计量也是可以选的。

4 总结

判断一个估计量“好坏”，至少可以从以下三个方面来考虑：

无偏
有效
一致

实际操作中，要找到满足三个方面的量有时候并不容易，可以根据情况进行取舍。

文章的最新版本在（可能会有后续更新）：如何理解无偏估计量？

如何理解无偏估计量？相关推荐

正态分布、期望和均值的区别、有偏和无偏估计量（方差）的理解
资料众说纷纭,莫衷一是,综合资料一二三,分析了期望和均值的区别,分析了(有偏和无偏估计量)方差. 感谢那神. 分析: 此处包含方差的一个公式,方差 = 平方的期望 - 期望的平方期望:期望叫做总体 ...
加权最小二乘法的理解
文章目录那什么什么是加权最小二乘法? 异方差的修正在需要人为地改变观测量的权重的应用场合中,都会涉及到加权最小二乘法的应用. 那什么什么是加权最小二乘法? 加权最小二乘法的概念: 加权最小二乘是对 ...
参数估计:对无偏性的理解
在学习概率论的"参数估计"一章时有一些概念没能理解清楚,尤其是参数估计量的性质.在反复翻书的过程中总算搞清楚了一些,在这里记录一下我的理解无偏性一般书上讲到的第一个性质就是这个 ...
通用解题法——回溯算法（理解+练习）
积累算法经验,积累解题方法--回溯算法,你必须要掌握的解题方法! 什么是回溯算法呢? 回溯算法实际上一个类似枚举的搜索尝试过程,主要是在搜索尝试过程中寻找问题的解,当发现已不满足求解条件时,就&quo ...
stream流对象的理解及使用
我的理解:用stream流式处理数据,将数据用一个一个方法去 . (点,即调用) 得到新的数据结果,可以一步达成. 有多种方式生成 Stream Source: 从 Collection 和数组 Co ...
Linux shell 学习笔记（11）— 理解输入和输出（标准输入、输出、错误以及临时重定向和永久重定向）
1. 理解输入和输出 1.1 标准文件描述符 Linux 系统将每个对象当作文件处理.这包括输入和输出进程.Linux 用文件描述符(file descriptor)来标识每个文件对象.文件描述符是一 ...
java局部变量全局变量,实例变量的理解
java局部变量全局变量,实例变量的理解局部变量可以理解为写在方法中的变量. public class Variable {//类变量static String name = "小明&q ...
智能文档理解:通用文档预训练模型
预训练模型到底是什么,它是如何被应用在产品里,未来又有哪些机会和挑战? 预训练模型把迁移学习很好地用起来了,让我们感到眼前一亮.这和小孩子读书一样,一开始语文.数学.化学都学,读书.网上游戏等,在脑子 ...
熵,交叉熵,散度理解较为清晰
20210511 https://blog.csdn.net/qq_35455503/article/details/105714287 交叉熵和散度自己给自己编码肯定是最小的其他的编码都会比这个 ...

如何理解无偏估计量？

如何理解无偏估计量？相关推荐

最新文章

热门文章