UA MATH563 概率论的数学基础中心极限定理11 强大数定律版本1：四阶矩有界

这一讲我们介绍基于四阶矩条件的强大数法则(Strong Law of Large Number, SLLN)

基于四阶矩条件的强大数定律
假设X1,⋯,Xn,n≥1X_1,\cdots,X_n,n\ge 1X1,⋯,Xn,n≥1是独立同分布的随机变量，EX14<∞EX_1^4<\inftyEX14<∞，则
Xˉ→asEX1\bar X \to_{as} EX_1Xˉ→asEX1

证明
我们需要用到Borel-Cantelli引理:

Borel-Cantelli引理1 如果∑n≥1P(An)<∞\sum_{n \ge 1}P(A_n)<\infty∑n≥1P(An)<∞，则P(Ani.o.)=0P(A_n\ i.o.)=0P(An i.o.)=0

Borel-Cantelli引理2 如果AnA_nAn互相独立，且∑n≥1P(An)=∞\sum_{n \ge 1}P(A_n) = \infty∑n≥1P(An)=∞，则P(Ani.o.)=1P(A_n\ i.o.)=1P(An i.o.)=1

定义Xi′=Xi−μX'_i=X_i-\muXi′=Xi−μ，则EXi′=0EX_i'=0EXi′=0，并且
E[Xi′]4=E[Xi−μ]4≤8(EXi4+μ4)<∞E[X_i']^4 = E[X_i-\mu]^4 \le 8(EX_i^4+\mu^4)<\inftyE[Xi′]4=E[Xi−μ]4≤8(EXi4+μ4)<∞

(根据Jensen不等式，(a+b)4=24[(a+b)/2]4≤8(a4+b4)(a+b)^4=2^4[(a+b)/2]^4 \le 8(a^4+b^4)(a+b)4=24[(a+b)/2]4≤8(a4+b4))

于是我们只需要说明：假设X1,⋯,Xn,n≥1X_1,\cdots,X_n,n\ge 1X1,⋯,Xn,n≥1是独立同分布的随机变量，EX1=0EX_1=0EX1=0，EX14<∞EX_1^4<\inftyEX14<∞，则
Xˉ→as0\bar X \to_{as} 0Xˉ→as0

也就是∀ϵ>0\forall \epsilon>0∀ϵ>0，
P(∣Xˉ∣>ϵi.o.)=0⇔P(∣Xˉ∣≤ϵe.v.)=1P(|\bar X|>\epsilon\ i.o.)=0 \Leftrightarrow P(|\bar X| \le \epsilon\ e.v.)=1P(∣Xˉ∣>ϵ i.o.)=0⇔P(∣Xˉ∣≤ϵ e.v.)=1

后者等价于
P(∩k{∣Xˉ∣≤1/ke.v.})=1P(\cap_k \{|\bar X| \le 1/k\ e.v.\})=1P(∩k{∣Xˉ∣≤1/k e.v.})=1

根据Borel-Cantelli引理中的引理2，P(∪n≥mAn)=1,∀m≥1⇒P(∩m≥1∪n≥mAn)=1P(\cup_{n \ge m}A_n)=1,\forall m \ge 1 \Rightarrow P(\cap_{m \ge 1}\cup_{n \ge m}A_n)=1P(∪n≥mAn)=1,∀m≥1⇒P(∩m≥1∪n≥mAn)=1

我们只需要
∀k,P(∣Xˉ∣≤1/ke.v.)=1\forall k,P(|\bar X| \le 1/k\ e.v.)=1∀k,P(∣Xˉ∣≤1/k e.v.)=1

或者
∀k,P(∣Xˉ∣>1/ki.o.)=0\forall k,P(|\bar X| > 1/k\ i.o.)=0∀k,P(∣Xˉ∣>1/k i.o.)=0

如果我们仿照弱大数定律的证明，考虑Chebyshev不等式，那就是
P(∣Xˉ∣>1/k)≤Var(X1)k2nP(|\bar X|>1/k) \le \frac{Var( X_1)k^2}{n}P(∣Xˉ∣>1/k)≤nVar(X1)k2

显然这个上界关于nnn求和的级数是发散的，因此我们需要一个更小的上界。

引理四阶矩的Chebyshev不等式 （用Markov不等式导出）
P(∣Xˉ∣>ϵ)≤E[Sn4]n4ϵ4,Sn=nXˉP(|\bar X|>\epsilon) \le \frac{E[S_n^4]}{n^4\epsilon^4},S_n = n\bar XP(∣Xˉ∣>ϵ)≤n4ϵ4E[Sn4],Sn=nXˉ

其中
E[Sn4]=E∑i,j,k,lXiXjXkXlE[S_n^4] = E \sum_{i,j,k,l}X_iX_jX_kX_lE[Sn4]=Ei,j,k,l∑XiXjXkXl

因为EXi=0,∀iEX_i=0,\forall iEXi=0,∀i，所以这个式子中只有Xi2Xj2X_i^2X_j^2Xi2Xj2以及Xi4X_i^4Xi4的期望不为0，前者有C42Cn2=3n(n−1)C_4^2C_n^2=3n(n-1)C42Cn2=3n(n−1)项，后者有nnn项，于是
E[Sn4]=nE[X14]+3n(n−1)(EX12)2E[S_n^4]=nE[X_1^4]+3n(n-1)(EX_1^2)^2E[Sn4]=nE[X14]+3n(n−1)(EX12)2

于是
P(∣Xˉ∣>1/k)≤E[Sn4]k4n4∼1n2P(|\bar X|>1/k) \le \frac{E[S_n^4]k^4}{n^4} \sim \frac{1}{n^2}P(∣Xˉ∣>1/k)≤n4E[Sn4]k4∼n21

因此，根据Borel-Cantelli引理1，∀k,P(∣Xˉ∣>1/ki.o.)=0\forall k,P(|\bar X| > 1/k\ i.o.)=0∀k,P(∣Xˉ∣>1/k i.o.)=0。