为什么样本的方差和样本的二阶中心矩并不一样

问题引入：

很多同学会很奇怪一个问题，那就是为什么样本的二阶中心矩m2=1n∑i=1n(Xi−X‾)2m_2=\frac{1}{n} \sum_{i = 1}^{n}(X_i - \overline{X})^2m2=n1∑i=1n(Xi−X)2和样本的方差S2=1n−1∑i=1n(Xi−X‾)2S^2 = \frac{1}{n-1} \sum_{i=1}^{n}(X_i - \overline{X})^2S2=n−11∑i=1n(Xi−X)2相差一个常数因子n−1n\frac{n-1}{n}nn−1，即
m2=n−1nS2m_2 = \frac{n-1}{n}S^2 m2=nn−1S2
这就涉及到估计量的无偏性问题。

1.发现问题

首先我们假设总体分布的期望和方差分别为μ\muμ和σ2\sigma^2σ2
下面我们来看看问题所在。
首先我们假设S2S^2S2和m2m_2m2一样为1n∑i=1n(Xi−X‾)2\frac{1}{n}\sum_{i=1}^{n}(X_i-\overline{X})^2n1∑i=1n(Xi−X)2，那么有如下推导：
S2=1n∑i=1n(Xi−X‾)2=1n∑i=1n(Xi−μ+μ−X‾)2=1n∑i=1n[(Xi−μ)2+2(Xi−μ)(μ−X‾)+(μ−X‾)2]=1n∑i=1n(Xi−μ)2+2n∑i=1n(Xi−μ)(μ−X‾)+1n∑i=1n(μ−X‾)2=1n∑i=1n(Xi−μ)2+2n(μ−X‾)∑i=1n(Xi−μ)+1n∑i=1n(μ−X‾)2S^2 = \frac{1}{n}\sum_{i=1}^{n}(X_i - \overline{X})^2 = \frac{1}{n} \sum_{i=1}^{n}(X_i - \mu + \mu - \overline{X})^2 \\ =\frac{1}{n} \sum_{i = 1}^{n}[(X_i - \mu)^2 + 2(X_i-\mu)(\mu-\overline{X}) + (\mu - \overline{X})^2] \\=\frac{1}{n}\sum_{i=1}^{n}(X_i-\mu)^2 + \frac{2}{n}\sum_{i=1}^{n}(X_i-\mu)(\mu-\overline{X})+\frac{1}{n}\sum_{i=1}^{n}(\mu-\overline{X})^2\\=\frac{1}{n}\sum_{i=1}^{n}(X_i-\mu)^2 + \frac{2}{n}(\mu-\overline{X})\sum_{i=1}^{n}(X_i-\mu)+\frac{1}{n}\sum_{i=1}^{n}(\mu-\overline{X})^2 S2=n1i=1∑n(Xi−X)2=n1i=1∑n(Xi−μ+μ−X)2=n1i=1∑n[(Xi−μ)2+2(Xi−μ)(μ−X)+(μ−X)2]=n1i=1∑n(Xi−μ)2+n2i=1∑n(Xi−μ)(μ−X)+n1i=1∑n(μ−X)2=n1i=1∑n(Xi−μ)2+n2(μ−X)i=1∑n(Xi−μ)+n1i=1∑n(μ−X)2
注意此时 ∵∑i=1nXi=∑i=1nX‾\because \sum_{i=1}^{n}X_i=\sum_{i=1}^{n}\overline{X}∵∑i=1nXi=∑i=1nX，∴\therefore∴ 继续推导有：
S2=1n∑i=1n(Xi−μ)2+2n(μ−X‾)∑i=1n(X‾−μ)+1n∑i=1n(μ−X‾)2=1n∑i=1n(Xi−μ)2−2n∑i=1n(μ−X‾)2+1n∑i=1n(μ−X‾)2=1n∑i=1n(Xi−μ)2−1n∑i=1n(μ−X‾)2=Var(Xi)−Var(X‾)=σ2−Var(X‾)S^2 = \frac{1}{n}\sum_{i=1}^{n}(X_i-\mu)^2 + \frac{2}{n}(\mu-\overline{X})\sum_{i=1}^{n}(\overline{X}-\mu)+\frac{1}{n}\sum_{i=1}^{n}(\mu-\overline{X})^2 \\ =\frac{1}{n}\sum_{i=1}^{n}(X_i-\mu)^2 - \frac{2}{n}\sum_{i=1}^{n}(\mu-\overline{X})^2+\frac{1}{n}\sum_{i=1}^{n}(\mu-\overline{X})^2\\ = \frac{1}{n}\sum_{i=1}^{n}(X_i-\mu)^2 - \frac{1}{n}\sum_{i=1}^{n}(\mu-\overline{X})^2\\=Var(X_i)-Var(\overline{X})=\sigma^2 - Var(\overline{X}) S2=n1i=1∑n(Xi−μ)2+n2(μ−X)i=1∑n(X−μ)+n1i=1∑n(μ−X)2=n1i=1∑n(Xi−μ)2−n2i=1∑n(μ−X)2+n1i=1∑n(μ−X)2=n1i=1∑n(Xi−μ)2−n1i=1∑n(μ−X)2=Var(Xi)−Var(X)=σ2−Var(X)
再次打断，∵\because∵方差有如下性质：
1.若ccc常数，则Var(cX)=c2Var(X)Var(cX)=c^2Var(X)Var(cX)=c2Var(X)[推导很简单，不解释了]
2.Var(X1+X2+...+Xn)=Var(X1)+Var(X2)+...+Var(Xn)Var(X_1+X_2+...+X_n) = Var(X_1) + Var(X_2) +...+Var(X_n)Var(X1+X2+...+Xn)=Var(X1)+Var(X2)+...+Var(Xn)
且每个样本XiX_iXi都可视为一个随机变量，其分布同于总体分布，因此其方差也同于总体方差
∴Var(X‾)=Var(1n∑i=1nXi)=1n2Var(∑i=1nXi)=1n2∑i=1nVar(Xi)=1n2⋅n⋅Var(Xi)=1nσ2\therefore Var(\overline{X})=Var(\frac{1}{n}\sum_{i=1}^{n}X_i)=\frac{1}{n^2}Var(\sum_{i=1}^{n}X_i)\\=\frac{1}{n^2}\sum_{i=1}^{n}Var(X_i)=\frac{1}{n^2}\cdot n\cdot Var(X_i) = \frac{1}{n}\sigma^2 ∴Var(X)=Var(n1i=1∑nXi)=n21Var(i=1∑nXi)=n21i=1∑nVar(Xi)=n21⋅n⋅Var(Xi)=n1σ2
∴\therefore∴ 继续推导有：
S2=σ2−Var(X‾)=σ2−1nσ2=n−1nσ2S^2=\sigma^2 - Var(\overline{X})=\sigma^2 - \frac{1}{n}\sigma^2=\frac{n-1}{n}\sigma^2 S2=σ2−Var(X)=σ2−n1σ2=nn−1σ2
至此就会发现用m2m_2m2来估计σ2\sigma^2σ2是不准确的。

2.证明问题

okay，那么接下来我们需要证明样本方差S2=1n−1∑i=1n(Xi−X‾)2S^2 = \frac{1}{n-1}\sum_{i=1}^{n}(X_i-\overline{X})^2S2=n−11∑i=1n(Xi−X)2是总体分布方差σ2\sigma^2σ2的 无偏估计。
∑i=1n(Xi−X‾)2=∑i=1n[(Xi−μ)−(X‾−μ)]2=∑i=1n(Xi−μ)2−2(X‾−μ)∑i=1n(Xi−μ)+∑i=1n(X‾−μ)2=∑i=1n(Xi−μ)2−2(X‾−μ)∑i=1n(Xi−μ)+n(X‾−μ)2\sum_{i=1}^{n}(X_i-\overline{X})^2=\sum_{i=1}^{n}[(X_i-\mu)-(\overline{X}-\mu)]^2\\=\sum_{i=1}^{n}(X_i-\mu)^2-2(\overline{X}-\mu)\sum_{i=1}^{n}(X_i - \mu)+\sum_{i=1}^{n}(\overline{X}-\mu)^2 \\=\sum_{i=1}^{n}(X_i-\mu)^2-2(\overline{X}-\mu)\sum_{i=1}^{n}(X_i - \mu)+n(\overline{X}-\mu)^2 i=1∑n(Xi−X)2=i=1∑n[(Xi−μ)−(X−μ)]2=i=1∑n(Xi−μ)2−2(X−μ)i=1∑n(Xi−μ)+i=1∑n(X−μ)2=i=1∑n(Xi−μ)2−2(X−μ)i=1∑n(Xi−μ)+n(X−μ)2
注意此时 ∵∑i=1n(Xi−μ)=n(X‾−μ)\because \sum_{i=1}^{n}(X_i-\mu)=n(\overline{X}-\mu)∵∑i=1n(Xi−μ)=n(X−μ)，∴\therefore∴继续有：
∑i=1n(Xi−X‾)2=∑i=1n(Xi−μ)2−2n(X‾−μ)2+n(X‾−μ)2=∑i=1n(Xi−μ)2−n(X‾−μ)2\sum_{i=1}^{n}(X_i-\overline{X})^2=\sum_{i=1}^{n}(X_i-\mu)^2-2n(\overline{X}-\mu)^2+n(\overline{X}-\mu)^2\\=\sum_{i=1}^{n}(X_i-\mu)^2-n(\overline{X}-\mu)^2 i=1∑n(Xi−X)2=i=1∑n(Xi−μ)2−2n(X−μ)2+n(X−μ)2=i=1∑n(Xi−μ)2−n(X−μ)2
∵\because∵ 样本均值是总体分布均值的无偏估计
∴E(Xi)=E(X‾)=μ\therefore E(X_i)=E(\overline{X})=\mu∴E(Xi)=E(X)=μ
∴\therefore∴有：
E[∑i=1n(Xi−μ)2]=∑i=1nE(Xi−μ)2=∑i=1nVar(Xi)=nσ2E[n(X‾−μ)2]=nE(X‾−μ)2=nVar(X‾)=n⋅1n2∑i=1nVar(Xi)=n⋅nn2⋅σ2=σ2E[\sum_{i=1}^{n}(X_i-\mu)^2]=\sum_{i=1}^nE(X_i-\mu)^2=\sum_{i=1}^{n}Var(X_i)=n\sigma^2\\ E[n(\overline{X}-\mu)^2]=nE(\overline{X}-\mu)^2=nVar(\overline{X})=n\cdot \frac{1}{n^2}\sum_{i=1}^{n}Var(X_i)=n\cdot \frac{n}{n^2}\cdot \sigma^2\\=\sigma^2 E[i=1∑n(Xi−μ)2]=i=1∑nE(Xi−μ)2=i=1∑nVar(Xi)=nσ2E[n(X−μ)2]=nE(X−μ)2=nVar(X)=n⋅n21i=1∑nVar(Xi)=n⋅n2n⋅σ2=σ2
因此最终有：
E(S2)=1n−1E(∑i=1n(Xi−X‾)2)=1n−1E(∑i=1n(Xi−μ)2−n(X‾−μ)2)=1n−1(nσ2−σ2)=σ2E(S^2)=\frac{1}{n-1}E(\sum_{i=1}^{n}(X_i-\overline{X})^2)=\frac{1}{n-1}E(\sum_{i=1}^{n}(X_i-\mu)^2-n(\overline{X}-\mu)^2)\\=\frac{1}{n-1}(n\sigma^2-\sigma^2)=\sigma^2 E(S2)=n−11E(i=1∑n(Xi−X)2)=n−11E(i=1∑n(Xi−μ)2−n(X−μ)2)=n−11(nσ2−σ2)=σ2
至此说明了样本方差S2=1n−1∑i=1n(Xi−X‾)2S^2 = \frac{1}{n-1}\sum_{i=1}^{n}(X_i-\overline{X})^2S2=n−11∑i=1n(Xi−X)2是总体分布方差σ2\sigma^2σ2的 无偏估计。