样本方差的分母

随机变量的方差描述的是变量的离散程度,$$\text{Var}(X)=E[(X-\mu)^2]=E[{1\over n}\sum_{i=1}^n (X_i-\mu)2]=\sigma2$$

而样本方差是对整体方差做的无偏估计:\(s^2={\sum_{i=1}^n(X_i-\bar X)^2\over n-1}\).

无偏估计

上中学时第一次学习样本方差时便对分母n-1感到疑惑,为什么不是n呢?当年没有细究.现在消减一些困惑吧_.

为什么分母为n不行?

注意到公式中使用了最大似然法,用\(\bar X\)来估算整体的均值\(\mu\),

设\(\mathbb S^2={1 \over n}\sum_{i=1}^n(X_i-\bar X)^2\),则有

\[\begin{align}

E[\mathbb S^2] &=E[{1\over n}\sum_{i=1}^n(X_i-\bar X)^2] \\

&= E[{1\over n}\sum_{i=1}^n [(X_i-\mu)+(\mu-\bar X)]^2] \\

&= E[[{1\over n}\sum_{i=1}^n (X_i-\mu)^2]-(\bar X-\mu)^2] \\

&=\text{Var}(X)-E[(\bar X-\mu)^2] \\

&= \sigma^2-{1\over n}\sigma^2={n-1\over n}\sigma^2 \tag{*}\\

&\le \sigma^2

\end{align}

\]

其中,$$E[(\bar X-\mu)^2] = \text{Var}(\bar X)=\text{Var}({1\over n}\sum_{i=1}^n X_i)={1\over n2}\sum_{i=1}n \text{Var}(X_i)={\sigma^2\over n}$$

可以看到,分母为n时对整体方差的估计可能会变小,只有当\(\bar X=\mu\)时才是无偏估计,因此我们可以将分母变小来使方差更接近真实值. 那么分母该为多少呢？

为什么分母n-1行?

对上式(*)变形得到\(\text{Var}(X) =\sigma^2= \frac{n}{n-1}\mathbb{E}[\mathbb S^2]=\frac{\sum_{i=1}^n(X_i-\bar X)}{n-1}\), 因此\({\sum_{i=1}^n(X_i-\bar X)^2\over n-1}\)是\(\sigma^2\)的无偏估计.

因此样本方差等于总体方差减样本均值的方差。如果用样本均值去估计总体均值，对总体方差的估计是有偏差的，偏差是样本均值的方差。需要做Bessel's correction去修正偏差，让偏差的期望等于0。

当然了，当n很大的时候，其实除以n和除以n-1的区别并不大。随着样本的增多，两者都会收敛到真实的总体方差。

方差是协方差的特殊情况，就是当两个变量x与y相等时候的情况。既然我们已经知道样本方差为什么是除以n-1。那么样本协方差也是一样的道理。

有偏

分母是m-1的情况下，估计值是总体方差的无偏估计。

分母是m的情况下，值是最大似然估计。

分母是m+1的情况下，值是最小MSE(Mean Squared Error) 的估计。

如果觉得样本够大，那么用m-1是不错的，因为在大样本下，参数的方差就算大一点儿也不会多多少，影响也不会大到哪儿去。

如果要保证信息利用充分，那我肯定选择最大似然估计的方差。

如果样本数量较小，我就选择最小MSE，因为此时无偏性其实不是第一准则，因为无偏导致了大方差是不可取的行为。

统计是一门很灵活的学科，不同的数据，会有不同的方法来处理。