UA MATH563 概率论的数学基础中心极限定理12 强大数定律版本2：Etemadi定理

这一讲我们介绍强大数定律(Strong law of large number, SLLN)的另一个版本：

强大数定律 假设X1,⋯,Xn,n≥1X_1,\cdots,X_n,n\ge 1X1,⋯,Xn,n≥1是两两独立、同分布的随机变量，E∣X1∣<∞E|X_1|<\inftyE∣X1∣<∞，则
Xˉ→asEX1\bar X \to_{as} EX_1Xˉ→asEX1

说明
几乎必然收敛强于均方收敛，所以称这个结果为强大数定律、而均方收敛的结果为弱大数定律。目前最好的证明由Etemadi (1981)给出，在此之前被普遍接受的版本是概率论祖师爷Kolmogorov提供的，Kolmogorov版本的条件是X1,⋯,Xn,n≥1X_1,\cdots,X_n,n\ge 1X1,⋯,Xn,n≥1是iid的随机变量，且E∣X1∣<∞E|X_1|<\inftyE∣X1∣<∞。

证明思路

第一步，
对一般随机变量，我们可以做类似一般可测函数的正部与负部分解：
X=X+−X−X = X^+-X^-X=X+−X−

其中X+=max⁡(X,0),X−=max⁡(−X,0)X^+ = \max(X,0),X^- = \max(-X,0)X+=max(X,0),X−=max(−X,0)。

我们验证一下{Xn+}\{X_n^+\}{Xn+}也满足定理的条件：

因为Xn,XmX_n,X_mXn,Xm独立，因此Xn+,Xm+X_n^+,X_m^+Xn+,Xm+作为它们的函数也独立；
E∣Xn∣=EXn++EXn−<∞⇒EXn+<∞E|X_n|=EX_n^++EX_n^-<\infty \Rightarrow EX_n^+<\inftyE∣Xn∣=EXn++EXn−<∞⇒EXn+<∞

这说明正部满足定理条件。也就是说如果非负随机变量满足SLLN，那么
Xˉ=Sn/n=1n∑i=1nXi+−1n∑i=1nXi−→a.s.EX1+−EX1−=EX1\bar X = S_n/n = \frac{1}{n}\sum_{i=1}^n X_i^+ -\frac{1}{n}\sum_{i=1}^n X_i^- \to_{a.s.} EX_1^+-EX_1^- = EX_1Xˉ=Sn/n=n1i=1∑nXi+−n1i=1∑nXi−→a.s.EX1+−EX1−=EX1

于是我们可以利用与构造Lebesgue积分类似的思路，把一般随机变量简化为非负随机变量进行讨论。

第二步，
现在我们假设XnX_nXn都是非负随机变量，使用Truncation trick(截断法，这是分析、概率论等数学领域很常用的技巧，把讨论的对象分为有界、无界的两部分分别讨论)：
Yn=Xn1Xn≤n={Xn,ifXn≤n0,otherwiseY_n = X_n1_{X_n \le n} = \begin{cases} X_n, \ if X_n \le n \\ 0,\ otherwise \end{cases}Yn=Xn1Xn≤n={Xn, ifXn≤n0, otherwise

计算
∑nP(Xn≠Yn)=∑nP(Xn>n)=∑nP(X1>n)<∞\sum_n P(X_n \ne Y_n)=\sum_n P(X_n>n)=\sum_n P(X_1>n)<\inftyn∑P(Xn=Yn)=n∑P(Xn>n)=n∑P(X1>n)<∞

最后这个不等式用的是Borel-Cantelli引理的引理1：E∣X∣<∞E|X|<\inftyE∣X∣<∞，的充要条件是∀ϵ>0\forall \epsilon>0∀ϵ>0，
∑n≥0P(∣X∣>nϵ)<∞\sum_{n \ge 0}P(|X|>n\epsilon)<\inftyn≥0∑P(∣X∣>nϵ)<∞

因为E∣X1∣<∞E|X_1|<\inftyE∣X1∣<∞，于是∑nP(X1>n)<∞\sum_n P(X_1>n)<\infty∑nP(X1>n)<∞，根据Borel-Cantelli引理1，
P(Xn≠Yni.o.)=0P(X_n \ne Y_n\ i.o.)=0P(Xn=Yn i.o.)=0

定义Tn=Y1+⋯+YnT_n = Y_1+ \cdots +Y_nTn=Y1+⋯+Yn，P(Xn≠Yni.o.)=0P(X_n \ne Y_n\ i.o.)=0P(Xn=Yn i.o.)=0说明P(Xn=Yne.v.)=1P(X_n = Y_n\ e.v.)=1P(Xn=Yn e.v.)=1，所以依概率1我们有
lim⁡nTn/n=lim⁡nSn/n\lim_n T_n/n=\lim_n S_n/nnlimTn/n=nlimSn/n

这个结果说明我们不但可以把问题从一般随机变量简化为非负随机变量，还可以进一步简化为有界的非负随机变量。

第三步，

Claim：
∀ϵ>0\forall \epsilon>0∀ϵ>0，α>1\alpha>1α>1，k(n)=⌊αn⌋,∀nk(n)=\lfloor \alpha^n \rfloor,\forall nk(n)=⌊αn⌋,∀n，
∑n≥1P(∣Tk(n)−ETk(n)∣k(n)>ϵ)<∞\sum_{n \ge 1}P(\frac{|T_{k(n)}-ET_{k(n)}|}{k(n)}>\epsilon)<\inftyn≥1∑P(k(n)∣Tk(n)−ETk(n)∣>ϵ)<∞

如果这个结果成立，根据Borel-Cantelli引理1，
P(∣Tk(n)−ETk(n)∣k(n)>ϵi.o.)=0P(\frac{|T_{k(n)}-ET_{k(n)}|}{k(n)}>\epsilon\ i.o.)=0P(k(n)∣Tk(n)−ETk(n)∣>ϵ i.o.)=0

于是
∣Tk(n)−ETk(n)∣k(n)→a.s.0\frac{|T_{k(n)}-ET_{k(n)}|}{k(n)} \to_{a.s.} 0k(n)∣Tk(n)−ETk(n)∣→a.s.0

基于这个结果我们可以说明定理对有界非负随机变量成立，这就是证明SLLN的完整的三个步骤。

下面贴一个Durrett整理的证明：