样本总体方差有偏估计和无偏估计的理解

学习概统的时候大家应该都知道有偏估计是

$\frac{1}{n} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2$

如果把x的均值换成确定的值u那么就是无偏的，原因后面说明

无偏估计是

$S^{2}=\frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\bar{X})^{2}$

是关于方差的无偏估计，那么为什么一个是/(n-1），为什么一个是/n呢

首先我们清楚几个公式，

D(x)= $\sigma ^{2}$

E(x)= $\mu$

有一个重要的假设，就是随机选取的样本 $X_{i}$ 与总体样本同分布，它的意思就是说他们的统计特性是完全一样的，即他们的期望值一样，他们的方差值也是一样的：

$E(X_{i})=E(X)=\mu$

$D(X_{i})=D(X)=\sigma ^{2}$

由于每个样本的选取是随机的，因此可以假设 $X_{1},X_{2},...,X_{n}$ 不相关(意味着协方差为0，即 $Cov(X_{i},X{j})=0,i\neq j$ )，根据方差性质就有:

$D(X_{i}+X_{j})=D(X_{i})+D(X_{j})+2Cov(X_{i},X_{j})=D(X_{i})+D(X_{j})=2\sigma ^{2}$

方差的基本公式：

$D(X)=E(X^2)-E^2(X)$

$E(\bar{X})=E(\frac{1}{n}\sum_{i=1}^{n}X_{i} )=\frac{1}{n}\sum_{i=1}^{n}E(X_{i})=\mu$

$D(\bar X)=D(\frac{1}{n}\sum_{i=1}^{n}X_{i})$

$=\frac{n\sigma ^2}{n^2}=\frac{\sigma ^2}{n}$

这个公式比较重要，注意我们估计的均值的方差不为0，说明他本身不是一个确定的值，是有一定的波动范围的，并且由于我们不能完全估计所有的样本来得到均值，选取的是一部分的样本，所以方差是比总的方差小。

无偏估计的一个定义是：估计量的数学期望等于被估计参数的真实值，则称此此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。

我们可以通过下面的对方差求均值来看她的均值

$E(S^{2})=E(\frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\bar{X})^{2})=\frac{1}{n-1}E(\sum_{i=1}^{n}X_{i}^2-n \bar{X}^{2})$

$=\frac{1}{n-1}(\sum_{i=1}^{n}E(X_{i}^2)-nE(\bar{X}^{2}) )$

$=\frac{1}{n-1}(\sum_{i=1}^{n}[D(X_{i})+E^2(X_{i})]-n[D(\bar{X})+E^{2}(\bar{X}) ])$

$=\frac{1}{n-1}(\sum_{i=1}^{n}[\sigma ^2+\mu^2]-n[\frac{1}{n}\sigma ^2+\mu^{2} ])=\sigma ^2$

这个推导的关键在于，样本的均值并不等于实际的均值，他有一定的波动，（如果是实际的均值u，那么结果就是无偏的），当用样本的均值代替实际的均值u的时候，实际的方差的均值也会受到样本均值的方差的影响，从而偏离实际方差，所以要修正就要/n-1。所以他称为无偏估计。

样本总体方差有偏估计和无偏估计的理解相关推荐

样本估计量的有偏估计和无偏估计
0.背景有一组独立同分布的样本{x1,x2,...,xm}\{x_{1},x_{2},...,x_{m}\}{x1,x2,...,xm}服从高斯分布p(xi)=N(xi;μ,σ2)p(x_{i ...
(史上最全总结)总体方差，样本方差，标准差，抽样方差，标准误差，均方误差，协方差 ...........
文章目录数学期望 \color{blue}数学期望数学期望总体和样本 \color{blue}总体和样本总体和样本方差 \color{blue} 方差方差 1. 总体方差 \color{b ...
总体方差与样本方差分母的小小区别，n还是n-1？
总体方差与样本方差分母的小小区别,n还是n-1? 引入方差概念方差计算无偏估计样本方差公式相关参考链接样本方差的自由度是n-1 引入方差概念方差是在概率论和统计方差衡量随机变量或一组数 ...
期望、方差、协方差、相关系数理解
期望.方差.协方差.相关系数理解一.期望赌金分配问题: 有两个赌徒A和B,他们俩下赌金之后,约定谁先赢满5局,谁就获得全部赌金.对于有两个赌徒A和B,他们俩下赌金之后,约定谁先赢满5局,谁就获得全 ...
简单抽样技术——简单随机样本方差是总体方差的无偏估计
来一点废话,帮助大家理解概率的精髓: 1) 只要谈估计,那就是告诉你一种方法,利用这个方法可以管中规豹似的获取某个统计量(这个统计量很可能限于人力物力无法真正获取,而我们又很想知道). 2) 只要是谈 ...
统计|如何理解和进行两个总体方差的假设检验
本博文源于<商务统计>,旨在研究两个总体方差的假设检验问题. 例子:现有工厂两台机器,测得加工零件直径,标准规格10mm,现需要判断两台机器加工精度是否存在差异实验分析一台机器的零件的 ...
总体方差、样本方差、自由度的理解
对于一组数据,它有两个方差可以求#总体方差和样本方差#叫样本方差以为着先得称为样本,样本个数必须要小于总体个数,因此样本所能取得的最大数量就是总体N-1就是自由度.
样本服从正态分布，证明样本容量n乘样本方差与总体方差之比服从卡方分布x^2(n)...
样本服从正态分布,证明样本容量n乘样本方差与总体方差之比服从卡方分布x^2(n) 正态分布的n阶中心矩参见: http://www.doc88.com/p-334742692198.html 转载于: ...
样本方差是总体方差的无偏估计
总体均值 μ=1N∑xi\mu = \frac{1}{N}\sum x_iμ=N1∑xi, 总体方差 σ2=1N∑i(xi−μ)2\sigma^2 = \frac{1}{N}\sum_i (x_i ...

样本总体方差有偏估计和无偏估计的理解

样本总体方差有偏估计和无偏估计的理解相关推荐

最新文章

热门文章