UA MATH563 概率论的数学基础中心极限定理16 Kolmogorov 3-series定理

考虑∑n≥1an\sum_{n \ge 1}a_n∑n≥1an，这个级数收敛的充要条件是它的部分和收敛，对于实数序列，这个条件又等价于它的部分和序列是Cauchy序列：∀ϵ>0\forall \epsilon>0∀ϵ>0,∃L\exists L∃L, ∀N,M>L,N<M\forall N,M>L,N<M∀N,M>L,N<M，
∣∑n=N+1Man∣<ϵ|\sum_{n =N+1}^M a_n |<\epsilon∣n=N+1∑Man∣<ϵ

我们想知道的是对于随机变量序列能不能有类似的结论？或者能不能给出随机变量序列必然收敛的充要条件？

引理
假设{Xi}i≥1\{X_i\}_{i \ge 1}{Xi}i≥1独立，EXi=0EX_i=0EXi=0并且∑n≥1Var(Xn)\sum_{n \ge 1}Var(X_n)∑n≥1Var(Xn)收敛，则∑n≥1Xn\sum_{ n\ge 1}X_n∑n≥1Xn几乎必然收敛。

证明
下面先给出一个有用的不等式：
P(∣X+Y∣>2ϵ)≤P(∣X∣>ϵ)+P(∣Y∣>ϵ)P(|X+Y| >2\epsilon) \le P(|X| >\epsilon)+P(|Y|>\epsilon)P(∣X+Y∣>2ϵ)≤P(∣X∣>ϵ)+P(∣Y∣>ϵ)

因为{∣X+Y∣≤2ϵ}⊃{∣X∣≤ϵ}∩{∣Y∣≤ϵ}\{|X+Y|\le2\epsilon\} \supset \{|X| \le \epsilon\} \cap \{|Y| \le \epsilon\}{∣X+Y∣≤2ϵ}⊃{∣X∣≤ϵ}∩{∣Y∣≤ϵ}，取补集后根据概率的次可加性就可以得到这个不等式了。

记rM=sup⁡n,m≥M∣Sn−Sm∣r_M = \sup_{n,m \ge M}|S_n-S_m|rM=supn,m≥M∣Sn−Sm∣，其中Sk=∑i=1kXiS_k = \sum_{i=1}^k X_iSk=∑i=1kXi，我们需要说明rM→as0r_M \to_{as}0rM→as0，根据Kolmogorov maximal不等式，
P(max⁡N≤m≤M∣Sm−SN∣>ϵ)≤Var(SM−SN)ϵ2=∑i=N+1MVar(Xi)ϵ2P(\max_{N \le m \le M}|S_m-S_N|>\epsilon) \le \frac{Var(S_M-S_N)}{\epsilon^2} = \sum_{i=N+1}^M \frac{Var(X_i)}{\epsilon^2}P(N≤m≤Mmax∣Sm−SN∣>ϵ)≤ϵ2Var(SM−SN)=i=N+1∑Mϵ2Var(Xi)

∑n≥1Var(Xn)\sum_{n \ge 1}Var(X_n)∑n≥1Var(Xn)收敛说明它的部分和序列是Cauchy序列，因此∑i=N+1MVar(Xi)\sum_{i=N+1}^M Var(X_i)∑i=N+1MVar(Xi)收敛到0，于是，P(rM>2ϵ)=P(sup⁡n,m≥M∣Sn−Sm∣>2ϵ)≤P(sup⁡m,n≥M∣Sn−SM∣>ϵ)+P(sup⁡m,n≥M∣Sm−SM∣>ϵ)=2P(sup⁡m,n≥M∣Sm−SM∣>ϵ)≤2∑i=M+1∞Var(Xi)ϵ2→0,asM→∞P(r_M>2\epsilon) = P(\sup_{n,m \ge M}|S_n-S_m|>2\epsilon) \\ \le P(\sup_{m,n \ge M }|S_n-S_M|>\epsilon)+P(\sup_{m,n \ge M}|S_m-S_M|>\epsilon) \\ = 2P(\sup_{m,n \ge M}|S_m-S_M|>\epsilon) \le 2\sum_{i=M+1}^{\infty} \frac{Var(X_i)}{\epsilon^2} \to 0,\ as\ M \to \inftyP(rM>2ϵ)=P(n,m≥Msup∣Sn−Sm∣>2ϵ)≤P(m,n≥Msup∣Sn−SM∣>ϵ)+P(m,n≥Msup∣Sm−SM∣>ϵ)=2P(m,n≥Msup∣Sm−SM∣>ϵ)≤2i=M+1∑∞ϵ2Var(Xi)→0, as M→∞

于是rM→P0r_M \to_P 0rM→P0，我们可以找到rMr_MrM的一个子列{rMk}\{r_{M_k}\}{rMk}使得rMk→a.s.0r_{M_k} \to_{a.s.}0rMk→a.s.0，又因为rM(w)↓0r_M(w) \downarrow 0rM(w)↓0给定w∈Ωw \in \Omegaw∈Ω，于是rM→as0r_M \to_{as}0rM→as0。

Kolmogorov 3-series Theorem
假设{Xi}i≥1\{X_i\}_{i \ge 1}{Xi}i≥1独立，A>0A > 0A>0，定义Yi=Xi1∣Xi∣≤AY_i = X_i1_{|X_i| \le A}Yi=Xi1∣Xi∣≤A，则∑n≥1Xn\sum_{n \ge 1}X_n∑n≥1Xn几乎必然收敛的充要条件是：

∑n≥1P(∣Xn∣>A)<∞\sum_{n \ge 1}P(|X_n| > A)<\infty∑n≥1P(∣Xn∣>A)<∞
∑n≥1E[Yn]\sum_{n \ge 1}E[Y_n]∑n≥1E[Yn]收敛
∑n≥1Var(Yn)\sum_{n \ge 1}Var(Y_n)∑n≥1Var(Yn)收敛

证明
必要性是非常简单的，根据∑n≥1Xn\sum_{n \ge 1}X_n∑n≥1Xn几乎必然收敛直接就可以得到1、2、3这三条性质。

说明充分性：假设1、2、3成立，定义Zi=Yi−EYiZ_i=Y_i-EY_iZi=Yi−EYi，则ZiZ_iZi是独立零均值的随机变量，∑n≥1Var(Zn)=∑n≥1Var(Yn)\sum_{n \ge 1}Var(Z_n)=\sum_{n \ge 1}Var(Y_n)∑n≥1Var(Zn)=∑n≥1Var(Yn)收敛，于是根据引理，∑n≥1Zn\sum_{n \ge 1}Z_n∑n≥1Zn几乎必然收敛。
∑n≥1Zn=∑n≥1Yn−∑n≥1E[Yn]\sum_{n \ge 1}Z_n = \sum_{n \ge 1}Y_n - \sum_{n \ge 1}E[Y_n]n≥1∑Zn=n≥1∑Yn−n≥1∑E[Yn]

其中∑n≥1E[Yn]\sum_{n \ge 1}E[Y_n]∑n≥1E[Yn]收敛，因此∑n≥1Yn\sum_{n \ge 1}Y_n∑n≥1Yn几乎必然收敛。因为Yn=Xn1∣Xn∣≤AY_n = X_n1_{|X_n| \le A}Yn=Xn1∣Xn∣≤A，于是
P(Yn≠Xn)=P(∣Xn∣>A)P(Y_n \ne X_n) = P(|X_n| > A)P(Yn=Xn)=P(∣Xn∣>A)

根据1，∑n≥1P(∣Xn∣>A)<∞\sum_{n \ge 1}P(|X_n| > A)<\infty∑n≥1P(∣Xn∣>A)<∞，于是，由Borel-Cantelli引理1，
P(Yn≠Xni.o.)=0,P(Yn=Xne.v.)=1P(Y_n \ne X_n\ i.o.)=0,P(Y_n = X_n\ e.v.)=1P(Yn=Xn i.o.)=0,P(Yn=Xn e.v.)=1

所以∀w∈Ω\forall w \in \Omega∀w∈Ω, ∃N(w)\exists N(w)∃N(w), ∀n>N(w)\forall n >N(w)∀n>N(w), Yn(w)=Xn(w)Y_n(w)=X_n(w)Yn(w)=Xn(w)，于是∑n≥1Xn\sum_{n \ge 1}X_n∑n≥1Xn几乎必然收敛。

例
i) 根据Kolmogorov 3-series Theorem，如果{Xi}i≥1\{X_i\}_{i \ge 1}{Xi}i≥1独立，∣Xi∣≤c|X_i| \le c∣Xi∣≤c，因为∑n≥1P(∣Xn∣≥c)=0<∞\sum_{n \ge 1}P(|X_n| \ge c)=0<\infty∑n≥1P(∣Xn∣≥c)=0<∞，Yi=Xi1∣Xi∣≤cY_i = X_i1_{|X_i| \le c}Yi=Xi1∣Xi∣≤c, ∑n≥1E[Yn]=∑n≥1E[Xn]\sum_{n \ge 1}E[Y_n]=\sum_{n \ge 1}E[X_n]∑n≥1E[Yn]=∑n≥1E[Xn]，同样的，∑n≥1Var(Yn)=∑n≥1Var(Xn)\sum_{n \ge 1}Var(Y_n)=\sum_{n \ge 1}Var(X_n)∑n≥1Var(Yn)=∑n≥1Var(Xn)，则∑n≥1Xn\sum_{n \ge 1}X_n∑n≥1Xn几乎必然收敛等价于∑n≥1E[Xn],∑n≥1Var(Xn)\sum_{n \ge 1}E[X_n],\sum_{n \ge 1}Var(X_n)∑n≥1E[Xn],∑n≥1Var(Xn)收敛。

ii) 考虑交错级数∑n≥1(−1)n/nQ\sum_{n \ge 1}(-1)^n/n^Q∑n≥1(−1)n/nQ，这个级数条件收敛如果Q>0Q>0Q>0，绝对收敛如果Q>1Q>1Q>1，如果我们随机化这个级数，引入ϵn\epsilon_nϵn满足P(ϵn=1)=1/2,P(ϵn=−1)=1/2P(\epsilon_n=1)=1/2,P(\epsilon_n = -1)=1/2P(ϵn=1)=1/2,P(ϵn=−1)=1/2，考虑级数∑n≥1ϵn/nQ\sum_{n \ge 1}\epsilon_n/n^Q∑n≥1ϵn/nQ，因为Eϵn/nQ=0E\epsilon_n/n^Q=0Eϵn/nQ=0，所以∑n≥1E[ϵn/nQ]\sum_{n \ge 1}E[\epsilon_n/n^Q]∑n≥1E[ϵn/nQ]收敛，又因为Var(ϵn/Q)=1/n2QVar(\epsilon_n/Q)=1/n^{2Q}Var(ϵn/Q)=1/n2Q，于是∑n≥1Var(ϵn/nQ)\sum_{n \ge 1}Var(\epsilon_n/n^Q)∑n≥1Var(ϵn/nQ)收敛除非Q>1/2Q>1/2Q>1/2。根据i)，∑n≥1ϵn/nQ\sum_{n \ge 1}\epsilon_n/n^Q∑n≥1ϵn/nQ几乎必然收敛如果Q>1/2Q>1/2Q>1/2。