UA MATH563 概率论的数学基础中心极限定理1 随机变量序列的收敛

这一讲开始介绍概率论中非常重要的结果——中心极限定理。从应用的角度讲，我们希望概率论为我们提供处理随机变量序列的工具，因为在随机过程、数理统计等领域，我们要处理的对象都是随机变量序列。根据独立性可以把这类工具分为两类：中心极限定理和鞅论。中心极限定理及相关结果处理的是独立可分也就是iid的随机变量序列，鞅论处理的是存在相关性的随机变量序列。

中心极限定理回答的问题是具有特定性质的随机变量序列会收敛到什么分布、收敛的速率是多少，这些结果可以用来对随机变量序列进行渐近分析；另外，中心极限定理还可以提供一些概率不等式(参考高维统计那个系列)，这些不等式反映随机变量序列concentration probability与tail probability的上界和下界，它们也是非常重要的结果，在监督学习与统计计算等领域经常用来估计算法复杂度与样本量需求。

这一讲是中心极限定理的第一讲，主要是介绍一下随机变量序列几种不同类型的收敛，并叙述一下不同收敛类型之间的关系。

在概率空间(Ω,F,P)(\Omega,\mathcal{F},P)(Ω,F,P)上有一列随机变量{Xn}\{X_n\}{Xn}以及一个随机变量XXX，

几乎必然收敛 Xn→asXX_n \to_{as} XXn→asX等价于
P({w:Xn(w)→X(w)})=1P(\{w:X_n(w) \to X(w)\})=1P({w:Xn(w)→X(w)})=1

依概率收敛 Xn→PXX_n \to_P XXn→PX等价于
∀ϵ>0,lim⁡n→∞P(∣Xn−X∣>ϵ)=0\forall \epsilon>0,\lim_{n \to \infty}P(|X_n-X|>\epsilon)=0∀ϵ>0,n→∞limP(∣Xn−X∣>ϵ)=0

Lp收敛 Xn→LpXX_n \to_{L^p} XXn→LpX等价于
lim⁡n→∞E∣Xn−X∣p=0\lim_{n \to \infty}E|X_n-X|^p =0n→∞limE∣Xn−X∣p=0

依分布收敛 Xn→dXX_n \to_d XXn→dX等价于
FXn→FX,pointwiseF_{X_n} \to F_X,pointwiseFXn→FX,pointwise

几乎必然收敛蕴涵依概率收敛，依概率收敛的序列存在一个几乎必然收敛的子列

实分析已经证明了几乎处处收敛与依测度收敛的相关结果了，直接用到概率空间就是上面这个叙述，所以此处不再给出证明。这个结果在概率论中非常重要，因为几乎必然收敛是一个比较强的条件，当它可以由更弱的依概率收敛序列的某个子列实现时，所有需要几乎必然收敛的定理都可以将条件放松为依概率收敛，比如Fatou、MCT和DCT，以及随机变量序列的BCT(bounded convergence theorem): Xn→X,a.s.X_n \to X,a.s.Xn→X,a.s., XnX_nXn有界，则EXn→EXEX_n \to EXEXn→EX，进而由这些期望收敛定理导出的其他结果也可以由更弱的依概率收敛的条件导出。

需要注意的是用依概率收敛代替几乎必然收敛还需要一个引理：假设序列{an}\{a_n\}{an}满足，∀{ank}⊂{an}\forall \{a_{n_k}\} \subset \{a_n\}∀{ank}⊂{an}, ∃{ankl}⊂{ank}\exists \{a_{n_{k_l}}\} \subset \{a_{n_k}\}∃{ankl}⊂{ank}，ankl→aa_{n_{k_l}} \to aankl→a，则an→aa_n \to aan→a

几乎必然收敛蕴涵Lp收敛，Lp收敛蕴涵依概率收敛

前半句话可以直接由控制收敛定理得到，后半句话可以用Markov不等式，
P(∣Xn−X∣>ϵ)=E[1∣Xn−X∣>ϵ]≤E[(∣Xn−X∣ϵ)p1∣Xn−X∣>ϵ]≤E[∣Xn−X∣p]ϵp→0P(|X_n-X|>\epsilon)=E[1_{|X_n-X|>\epsilon}] \\\le E[(\frac{|X_n-X|}{\epsilon})^p1_{|X_n-X|>\epsilon}] \le \frac{E[|X_n-X|^p]}{\epsilon^p} \to 0P(∣Xn−X∣>ϵ)=E[1∣Xn−X∣>ϵ]≤E[(ϵ∣Xn−X∣)p1∣Xn−X∣>ϵ]≤ϵpE[∣Xn−X∣p]→0

Lp的一致可积的依概率收敛的随机变量序列Lp收敛

例依概率收敛但不L1收敛的例子
P(Xn=0)=1−1n,P(Xn=n)=1nP(X_n=0)=1-\frac{1}{n},P(X_n=n)=\frac{1}{n}P(Xn=0)=1−n1,P(Xn=n)=n1

则
lim⁡n→∞P(∣Xn∣>ϵ)=lim⁡n→∞P(∣Xn∣=n)=lim⁡n→∞1n=0\lim_{n \to \infty}P(|X_n|>\epsilon) = \lim_{n \to \infty}P(|X_n|=n)=\lim_{n \to \infty}\frac{1}{n}=0n→∞limP(∣Xn∣>ϵ)=n→∞limP(∣Xn∣=n)=n→∞limn1=0

计算
EXn=0(1−1n)+n(1n)=1→1,asn→∞EX_n = 0(1-\frac{1}{n})+n(\frac{1}{n})=1 \to 1,as\ n \to \inftyEXn=0(1−n1)+n(n1)=1→1,as n→∞

因此EXnEX_nEXn不会收敛到0.