概率论基础 - 9 - 中心极限定理

中心极限定理（Central Limit Theorem，CTL），是指概率论中讨论随机变量序列部分和分布渐近于正态分布的一类定理。。

概述

定理是数理统计学和误差分析的理论基础，指出了大量随机变量近似服从正态分布的条件。它是概率论中最重要的一类定理，有广泛的实际应用背景。在自然界与生产中，一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布的。中心极限定理就是从数学上证明了这一现象。 ——百度百科

中心极限定理（CLT）指出，如果样本量足够大，则变量均值的采样分布将近似于正态分布，而与该变量在总体中的分布无关。

独立同分布

设随机变量X1,X2,…,XnX_1, X_2,\dots,X_nX1,X2,…,Xn独立同分布，且具有数学期望μ\muμ和方差σ2\sigma^2σ2，前nnn个变量之和为{%raw%}$\overline S = \sum\limits_{i = 1}^n {{X_i}} \${%endraw%}
那么S‾n\overline S_nSn的期望和方差为nμn\munμ和nσ2n\sigma^2nσ2，S‾n\overline S_nSn的标准化变量为：

Yn=S‾n−nμnσY_n=\frac{\overline S_n - n\mu}{\sqrt n\sigma} Yn=nσSn−nμ

定义

中心极限定理的内容为：YnY_nYn的概率分布函数Fn(x)F_n(x)Fn(x)对于任意xxx满足：

{%raw%}
lim⁡n→∞Fn(x)=lim⁡n→∞P{Yn≤x}=lim⁡n→∞P{∑k=1nXk−nμnσ≤x}=∫−∞x12πe−t2/2dt=Φ(x)\begin{array}{c} \lim _{n \rightarrow \infty} F_{n}(x)=\lim \limits_{n \rightarrow \infty} P\left\{Y_{n} \leq x\right\}=\lim \limits_{n \rightarrow \infty} P\left\{\frac{\sum_{k=1}^{n} X_{k}-n \mu}{\sqrt{n} \sigma} \leq x\right\} \\ =\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}} e^{-t^{2} / 2} d t=\Phi(x) \end{array} limn→∞Fn(x)=n→∞limP{Yn≤x}=n→∞limP{nσ∑k=1nXk−nμ≤x}=∫−∞x2π1e−t2/2dt=Φ(x)
{%endraw%}

证明

通过观察某个分布的采样均值可以发现近似服从正态分布，我们的目标就是证明这个变量与正态分布的特征函数相同

引入一些特征函数的结论
正态分布的特征函数：

{%raw%}
φ(t)=e−t22{\varphi (t)}{ = {e^{ - \frac{{{t^2}}}{2}}}} φ(t)=e−2t2

{%endraw%}

标准正态分布的特征函数

随机变量XiX_iXi的特征函数用φx(t){\varphi_x (t)}φx(t)表示
S‾n\overline S_nSn的特征函数为：

{%raw%}
φSn(t)=[φx(t)]n{\varphi_{S_n} (t)}=[{\varphi_x (t)}]^n φSn(t)=[φx(t)]n

{%endraw%}

独立变量和的特征函数

XiX_iXi均值X‾=1nSn‾\overline X=\frac{1}{n}\overline {S_n}X=n1Sn的特征函数：

{%raw%}
φX‾(t)=φSn(tn)=[φx(tn)]n{\varphi_{\overline X} (t)}={\varphi_{S_n} (\frac{t}{n})}=[{\varphi_x (\frac{t}{n})}]^n φX(t)=φSn(nt)=[φx(nt)]n

{%endraw%}

常数线性变换的特征函数

{%raw%}Yn=S‾n−nμnσ=X‾−μσn=nσX‾−nσμY_n=\frac{\overline S_n - n\mu}{\sqrt n\sigma}=\frac{\overline X - \mu}{\frac{\sigma}{\sqrt n}}=\frac{\sqrt n}{\sigma}\overline X - \frac{\sqrt n}{\sigma} \muYn=nσSn−nμ=nσX−μ=σnX−σnμ {%endraw%}的特征函数：

{%raw%}
φy(t)=ei(−nσμ)t⋅φxˉ(nσt)=ei(−nσμ)t⋅[φx(tσn)]n\varphi_{y}(t)=e^{i\left(-\frac{\sqrt{n}}{\sigma} \mu\right) t} \cdot \varphi_{\bar{x}}\left(\frac{\sqrt{n}}{\sigma} t\right)=e^{i\left(-\frac{\sqrt{n}}{\sigma} \mu\right) t} \cdot\left[\varphi_{x}\left(\frac{t}{\sigma \sqrt{n}}\right)\right]^{n} φy(t)=ei(−σnμ)t⋅φxˉ(σnt)=ei(−σnμ)t⋅[φx(σnt)]n

{%endraw%}

思路1

取对数：

{%raw%}
$$
\begin{aligned}
\ln \varphi_{y}(t)&=\ln \left{e^{i\left(-\frac{\sqrt{n}}{\sigma} \mu\right) t} \cdot\left[\varphi_{x}\left(\frac{t}{\sigma \sqrt{n}}\right)\right]^{n}\right}\
&=-i \frac{\sqrt{n}}{\sigma} \mu t+n \ln \left[\varphi_{x}\left(\frac{t}{\sigma \sqrt{n}}\right)\right]\
&=\frac{-i \mu \frac{t}{\sigma \sqrt{n}}+\ln \left[\varphi_{x}\left(\frac{t}{\sigma \sqrt{n}}\right)\right]}{\frac{1}{n}}\

\end{aligned}
$$

{%endraw%}

令p=tσnp=\frac{t}{\sigma \sqrt{n}}p=σnt, 当 $ n \rightarrow \infty $ 时, $ p \rightarrow 0$ 又：

{%raw%}
$$
\begin{aligned}

&\varphi_{x}(0)=\int_{-\infty}^{\infty} f(x) d x=1\
&\varphi_{x}^{{\prime}(0)=\int_{-\infty}}{\infty} i x f(x) d x=i \mu\
&\varphi_{x}^{\prime \prime}(0)=\int_{-\infty}^{\infty}-x{2} f(x) d x=-E\left(X^{{2}\right)=-\mu}{2}-\sigma^{2}\
\end{aligned}
$$

{%endraw%}

有：

{%raw%}
$$
\begin{aligned}

\lim {n \rightarrow \infty} \ln \varphi{y}(t)&=\lim {n \rightarrow \infty} \frac{-i \mu \frac{t}{\sigma \sqrt{n}}+\ln \left[\varphi{x}\left(\frac{t}{\sigma \sqrt{n}}\right)\right]}{\frac{1}{n}}\
&=\frac{t^{2}}{\sigma{2}} \lim {p \rightarrow 0} \frac{-i \mu p+\ln \left[\varphi{x}§\right]}{p^{2}} \quad(\text { 洛必达) }\
&=\frac{t^{2}}{\sigma{2}} \lim {p \rightarrow 0} \frac{-i \mu+\frac{1}{\varphi{x}§} \cdot \varphi_{x}^{\prime}§}{2 p} \quad(\text { 洛必达 })\
&=\frac{t^{2}}{\sigma{2}} \lim {p \rightarrow 0} \frac{\varphi{x}^{\prime \prime}§ \cdot \varphi_{x}§-\varphi_{x}^{\prime}§ \cdot \varphi_{x}^{{\prime}§}{2\left[\varphi_{x}§\right]}{2}}\
&=\frac{t^{2}}{\sigma{2}} \cdot \frac{\varphi_{x}^{\prime \prime}(0) \cdot \varphi_{x}(0)-\varphi_{x}^{\prime}(0) \cdot \varphi_{x}^{{\prime}(0)}{2\left[\varphi_{x}(0)\right]}{2}}\
&=\frac{t^{2}}{\sigma{2}} \cdot \frac{\left(-\mu^{2}-\sigma{2}\right) \cdot 1-i \mu \cdot i \mu}{2 \cdot 1}\
&=-\frac{t^{2}}{2}
\end{aligned}
$$

{%endraw%}

思路2

{%raw%}
Yn=nXˉ−μσn=∑i=1nηiσnηi=Xi−μφ(t)=E(eitYn)=E(eitη1σn⋅eitη2σn⋅…⋅eitηnσn)=[ϕ(tσn)]n\begin{array}{l} Y_{n}=\frac{n \bar{X}-\mu}{\sigma \sqrt{n}}=\frac{\sum_{i=1}^{n} \eta_{i}}{\sigma \sqrt{n}} \\\quad \eta_{i}=X_{i}-\mu \\ \varphi(t)=E\left(e^{i t Y_{n}}\right)=E\left(e^{i t \frac{\eta_{1}}{\sigma \sqrt{n}}} \cdot e^{i t \frac{\eta_{2}}{\sigma \sqrt{n}}} \cdot \ldots \cdot e^{i t \frac{\eta_{n}}{\sigma \sqrt{n}}}\right)=\left[\phi\left(\frac{t}{\sigma \sqrt{n}}\right)\right]^{n} \end{array} Yn=σnnXˉ−μ=σn∑i=1nηiηi=Xi−μφ(t)=E(eitYn)=E(eitσnη1⋅eitσnη2⋅…⋅eitσnηn)=[ϕ(σnt)]n
{%endraw%}

ϕ(t)\phi(t)ϕ(t) 为 ηi\eta_{i}ηi 的特征函数
ϕ(tσn)\phi\left(\frac{t}{\sigma \sqrt{n}}\right)ϕ(σnt) 在0点处的泰勒展开形式为:

{%raw%}
ϕ(tσn)=ϕ(0)+ϕ′(0)tσn+ϕ′′(0)2!(tσn)2+o((tσn)2)=1+0−t22n+o((tσn)2)\begin{aligned} \phi\left(\frac{t}{\sigma \sqrt{n}}\right)=\phi(0) &+\phi^{\prime}(0) \frac{t}{\sigma \sqrt{n}}+\frac{\phi^{\prime \prime}(0)}{2 !}\left(\frac{t}{\sigma \sqrt{n}}\right)^{2}+o\left(\left(\frac{t}{\sigma \sqrt{n}}\right)^{2}\right) \\ &=1+0-\frac{t^{2}}{2 n}+o\left(\left(\frac{t}{\sigma \sqrt{n}}\right)^{2}\right) \end{aligned} ϕ(σnt)=ϕ(0)+ϕ′(0)σnt+2!ϕ′′(0)(σnt)2+o((σnt)2)=1+0−2nt2+o((σnt)2)
{%endraw%}

所以, φ(t)\varphi(t)φ(t) 为:

{%raw%}
φ(t)=(1−t22n+o((tσn)2))(−2nt2)×(−t22)=e−t22,n→+∞\varphi(t)=\left(1-\frac{t^{2}}{2 n}+o\left(\left(\frac{t}{\sigma \sqrt{n}}\right)^{2}\right)\right)^{\left(-\frac{2 n}{t^{2}}\right) \times\left(-\frac{t^{2}}{2}\right)}=e^{-\frac{t^{2}}{2}}, n \rightarrow+\infty φ(t)=(1−2nt2+o((σnt)2))(−t22n)×(−2t2)=e−2t2,n→+∞
{%endraw%}

都得出结论

即有：

{%raw%}
lim⁡n→∞φy(t)=e−t22\lim _{n \rightarrow \infty} \varphi_{y}(t)={e^{ - \frac{{{t^2}}}{2}}} n→∞limφy(t)=e−2t2

{%endraw%}

YnY_nYn特征函数与正态分布相同，故有当$ n \rightarrow \infty时，时，时，Y_n$服从正态分布的结论

应用思路

均值方差为μ\muμ和σ2\sigma^2σ2，的独立同分布的随机变量XiX_iXi前nnn项之和S‾n\overline S_nSn的标准变化量YnY_nYn，当nnn充分大时，其分布近似于标准正态分布
即在nnn充分大时，S‾n\overline S_nSn分布近似于N(nμ,nσ2)N(n\mu,n\sigma^2)N(nμ,nσ2)
一般情况下，很难求出nnn个随机变量之和的分布函数。因此当nnn充分大时，可以通过正态分布来做理论上的分析或者计算

独立不同分布

Liapunov定理：设随机变量 X1,X2,⋯,Xn,⋯X_{1}, X_{2}, \cdots, X_{n}, \cdotsX1,X2,⋯,Xn,⋯ 相互独立, 具有数学期望和方差:
E[Xk]=μk,Var⁡[Xk]=σk2\mathbb{E}\left[X_{k}\right]=\mu_{k}, \operatorname{Var}\left[X_{k}\right]=\sigma_{k}^{2} E[Xk]=μk,Var[Xk]=σk2
记: Bn2=∑k=1nσk2B_{n}^{2}=\sum_{k=1}^{n} \sigma_{k}^{2}Bn2=∑k=1nσk2 若存在正数 δ,\delta,δ, 使得当 n→∞n \rightarrow \inftyn→∞ 时，有：

{%raw%}
1Bn2+δ∑k=1nE[∣Xk−μk∣2+δ]→0\frac{1}{B_{n}^{2+\delta}} \sum_{k=1}^{n} \mathbb{E}\left[\left|X_{k}-\mu_{k}\right|^{2+\delta}\right] \rightarrow 0 Bn2+δ1k=1∑nE[∣Xk−μk∣2+δ]→0

{%endraw%}

则随机变量之和 SXn‾=∑k=1nXk\overline{S X_{n}}=\sum_{k=1}^{n} X_{k}SXn=∑k=1nXk 的标准变化量:

{%raw%}
Zn=SXn‾−E[SXn‾]Var⁡[SXn‾]=SXn‾−∑k=1nμkBnZ_{n}=\frac{\overline{S X_{n}}-\mathbb{E}\left[\overline{S X_{n}}\right]}{\sqrt{\operatorname{Var}\left[\overline{S X_{n}}\right]}}=\frac{\overline{S X_{n}}-\sum_{k=1}^{n} \mu_{k}}{B_{n}} Zn=Var[SXn]SXn−E[SXn]=BnSXn−∑k=1nμk
{%endraw%}

概率分布函数 Fn(x)F_{n}(x)Fn(x) 对于任意 xxx 满足:

{%raw%}
lim⁡n→∞Fn(x)=lim⁡n→∞P{Zn≤x}=lim⁡n→∞P{∑k=1nXk−∑k=1nμkBn≤x}=∫−∞x12πe−t2/2dt=Φ(x)\begin{array}{c} \lim _{n \rightarrow \infty} F_{n}(x)=\lim _{n \rightarrow \infty} P\left\{Z_{n} \leq x\right\}=\lim _{n \rightarrow \infty} P\left\{\frac{\sum_{k=1}^{n} X_{k}-\sum_{k=1}^{n} \mu_{k}}{B_{n}} \leq x\right\} \\ =\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}} e^{-t^{2} / 2} d t=\Phi(x) \end{array} limn→∞Fn(x)=limn→∞P{Zn≤x}=limn→∞P{Bn∑k=1nXk−∑k=1nμk≤x}=∫−∞x2π1e−t2/2dt=Φ(x)
{%endraw%}

其物理意义为：

相互独立的随机变量 X1,X2,⋯,Xn,⋯X_{1}, X_{2}, \cdots, X_{n}, \cdotsX1,X2,⋯,Xn,⋯ 之和 SXn‾=∑k=1nXk\overline{S X_{n}}=\sum_{k=1}^{n} X_{k}SXn=∑k=1nXk 的衍生随机变量序列 Zn=SXn‾−∑k=1nμkBn,Z_{n}=\frac{\overline{S X_{n}}-\sum_{k=1}^{n} \mu_{k}}{B_{n}},Zn=BnSXn−∑k=1nμk, 当 nnn 充分大时, 其分布近似与标准正态分布。
这里并不要求 X1,X2,⋯,Xn,⋯X_{1}, X_{2}, \cdots, X_{n}, \cdotsX1,X2,⋯,Xn,⋯ 同分布。

棣莫佛－拉普拉斯定理

Demoiver-Laplace 定理：设随机变量序列 ηn,n=1,2,…\eta_{n}, n=1,2, \ldotsηn,n=1,2,… 服从参数为 (n,p)(n, p)(n,p) 的二项分布，其中 0<p<10<p<10<p<1 则对于任意 xxx, 有:

{%raw%}
lim⁡n→∞P{ηn−npnp(1−p)≤x}=∫−∞x12πe−t2∣2dt=Φ(x)\lim _{n \rightarrow \infty} P\left\{\frac{\eta_{n}-n p}{\sqrt{n p(1-p)}} \leq x\right\}=\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}} e^{-t^{2} \mid 2} d t=\Phi(x) n→∞limP{np(1−p)ηn−np≤x}=∫−∞x2π1e−t2∣2dt=Φ(x)
{%endraw%}

该定理表明, 正态分布是二项分布的极限分布。当 nnn 充分大时，可以利用正态分布来计算二项分布的概率。

参考资料

https://baike.baidu.com/item/%E4%B8%AD%E5%BF%83%E6%9E%81%E9%99%90%E5%AE%9A%E7%90%86/829451?fr=aladdin
https://baijiahao.baidu.com/s?id=1665261046335447411&wfr=spider&for=pc
http://www.huaxiaozhuan.com/%E6%95%B0%E5%AD%A6%E5%9F%BA%E7%A1%80/chapters/2_probability.html
https://www.zhihu.com/question/25956080/answer/1375064657
https://zhuanlan.zhihu.com/p/93738110