三个极限定理与四种收敛性

文章目录

Intro
- 依概率收敛
- 弱大数定律
- 几乎必然收敛
- 强大数定律
- 依分布收敛
- 中心极限定理
- r阶收敛
- 收敛的强弱关系
弱大数定律与依概率收敛
- 依概率收敛的命题
- - 与r阶收敛的关系
- 切比雪夫WLLN
- 马尔可夫WLLN
- 伯努利WLLN
- 泊松WLLN
强大数定律与几乎必然收敛
- Borel-cantelli引理
- 与其他收敛的关系
- Borel-Cantelli's SLLN
- Kolmogorov's SLLN
中心极限定理与依分布收敛
- 与其他收敛的关系
- 依分布收敛的等价条件
- Lindeberg-Levy CLT
- Lindeberg-Feller's CLT

Intro

主要包括两个方面：极限定理们（intro部分以Bernoulli试验为例）和收敛性。极限定理包括：中心极限定理（CLT），强大数定律（SLLN），弱大数定律（WLLN）。收敛性包括：依概率收敛、依分布收敛、几乎必然收敛、r阶收敛。

依概率收敛

设ξ1,⋯,ξn\xi_1,\cdots,\xi_nξ1,⋯,ξn是一列随机变量，ξ\xiξ是随机变量，如果对∀ϵ>0\forall \epsilon>0∀ϵ>0都有
lim⁡n→∞P(∣ξn−ξ∣≥ϵ)=0\lim_{n\to\infty}P(|\xi_n-\xi|\ge\epsilon) = 0 n→∞limP(∣ξn−ξ∣≥ϵ)=0
则称ξn\xi_nξn依概率收敛到ξ\xiξ，记为ξn→Pξ.\xi_n\overset{P}\to\xi.ξn→Pξ.

定义中的≥ϵ\ge\epsilon≥ϵ可以改为>ϵ>\epsilon>ϵ。原因如下：

如果ξn\xi_nξn依概率收敛到ξ\xiξ，由于
P(∣ξn−ξ∣≥ϵ)≥P(∣ξn−ξ∣>ϵ)≥0P(|\xi_n-\xi|\ge\epsilon)\ge P(|\xi_n-\xi|>\epsilon) \ge 0 P(∣ξn−ξ∣≥ϵ)≥P(∣ξn−ξ∣>ϵ)≥0
故
lim⁡n→∞P(∣ξn−ξ∣>ϵ)=0\lim_{n\to\infty} P(|\xi_n-\xi|>\epsilon) = 0 n→∞limP(∣ξn−ξ∣>ϵ)=0
另一方面，假设对∀ϵ>0\forall \epsilon > 0∀ϵ>0,
lim⁡n→P(∣ξn−ξ∣>12ϵ)=0P(∣ξn−ξ∣≥ϵ)≤P(∣ξn−ξ∣>12ϵ)\lim_{n\to}P(|\xi_n-\xi|>\frac12\epsilon) = 0\\ P(|\xi_n - \xi|\ge \epsilon) \le P(|\xi_n - \xi|>\frac12\epsilon) n→limP(∣ξn−ξ∣>21ϵ)=0P(∣ξn−ξ∣≥ϵ)≤P(∣ξn−ξ∣>21ϵ)
因此由夹逼原理，反面也成立。

弱大数定律

ξ1,ξ2,⋯,ξn\xi_1,\xi_2,\cdots,\xi_nξ1,ξ2,⋯,ξn是一列随机变量，Sn=∑i=1nξiS_n = \sum_{i=1}^n \xi_iSn=∑i=1nξi，
Snbn−an→P0\dfrac{S_n}{b_n}-a_n\overset{P}\to 0 bnSn−an→P0
则称XnX_nXn满足弱大数定律。

对于Bernoulli试验场合，可以直接验证：
P(∣Snn−EX∣≥ϵ)≤var(Sn)n2ϵ2=pqnϵ2→0P(|\frac{S_n}{n}-EX|\ge\epsilon) \le \dfrac{var(S_n)}{n^2\epsilon^2} = \dfrac{pq}{n\epsilon^2}\to0 P(∣nSn−EX∣≥ϵ)≤n2ϵ2var(Sn)=nϵ2pq→0
因此BernoulliBernoulliBernoulli试验满足弱大数定律，频率作为一个随机变量随机变量Snn\dfrac{S_n}{n}nSn依概率收敛到均值。

几乎必然收敛

如果
P(lim⁡n→∞ξn=ξ)=1P(\lim_{n\to\infty}\xi_n = \xi) = 1 P(n→∞limξn=ξ)=1
则称ξn\xi_nξn几乎必然收敛到ξ\xiξ，记作ξn→a.s.ξ\xi_n\overset{a.s.}\to\xiξn→a.s.ξ。

强大数定律

如果
Snbn−an→a.s.0\frac{S_n}{b_n}-a_n\overset{a.s.}\to 0 bnSn−an→a.s.0
则称ξn\xi_nξn满足强大数定律。

依分布收敛

如果lim⁡n→∞Fξn(x)=Fξ(x)\lim_{n\to\infty}F_{\xi_n}(x) = F_{\xi}(x)limn→∞Fξn(x)=Fξ(x)对Fξ(x)F_{\xi}(x)Fξ(x)的连续点都成立，则称ξn\xi_nξn依分布收敛到ξ\xiξ，记作ξn→dξ.\xi_n\overset{d}\to\xi.ξn→dξ.

中心极限定理

Sn∗=Sn−ESnvarSnS_n^* = \frac{S_n-ES_n}{\sqrt{varS_n}} Sn∗=varSnSn−ESn

若Sn∗→dZ∼N(0,1)S_n^*\overset{d}\to Z\sim N(0,1)Sn∗→dZ∼N(0,1)，则称ξn\xi_nξn满足中心极限定理。

r阶收敛

如果
lim⁡n→∞E∣ξn−ξ∣r=0\lim_{n\to\infty} E|\xi_n-\xi|^r = 0 n→∞limE∣ξn−ξ∣r=0
则称ξnr\xi_nrξnr阶收敛到ξ\xiξ。记作ξn→rξ\xi_{n}\overset{r}\to \xiξn→rξ.

收敛的强弱关系

最强：rrr阶收敛、几乎必然收敛，两者不能互相推导。

居中：依概率收敛

最弱：依分布收敛

弱大数定律与依概率收敛

依概率收敛的命题

唯一性：ξn→Pξ,ξn→Pη\xi_n\overset{P}\to\xi,\xi_n\overset{P}\to\etaξn→Pξ,ξn→Pη，则ξ=a.s.η\xi \overset{a.s.}= \etaξ=a.s.η.

证明：
∀ϵ>0,P(∣ξ−η∣>ϵ)=P(∣ξ−ξn+ξn−η∣>ϵ)≤P(∣ξ−ξn∣>12ϵ)+P(∣ξn−η∣>12ϵ)P(∣ξ−η∣≠0)=lim⁡ϵ→0P(∣ξ−η∣>ϵ)=0\forall \epsilon > 0, P(|\xi-\eta| > \epsilon) = P(|\xi-\xi_n+\xi_n-\eta| > \epsilon) \le P(|\xi-\xi_n|>\frac12 \epsilon)+P(|\xi_n-\eta|>\frac12\epsilon)\\ P(|\xi-\eta| \ne 0) = \lim_{\epsilon \to 0}P(|\xi-\eta|>\epsilon) = 0 ∀ϵ>0,P(∣ξ−η∣>ϵ)=P(∣ξ−ξn+ξn−η∣>ϵ)≤P(∣ξ−ξn∣>21ϵ)+P(∣ξn−η∣>21ϵ)P(∣ξ−η∣=0)=ϵ→0limP(∣ξ−η∣>ϵ)=0
Xn→PX⇒Xn−X→P0X_n\overset{P}\to X\Rightarrow X_n-X\overset{P}\to 0Xn→PX⇒Xn−X→P0.

证明：
∀ϵ>0,lim⁡n→∞P(∣Xn−X−0∣>ϵ)=0\forall \epsilon > 0, \lim_{n\to\infty}P(|X_n-X- 0|>\epsilon) = 0 ∀ϵ>0,n→∞limP(∣Xn−X−0∣>ϵ)=0
Xn→PX,Xn−Xm→P0(n,m→∞)X_n\overset{P}\to X,X_n-X_m\overset{P}\to0(n,m\to\infty)Xn→PX,Xn−Xm→P0(n,m→∞).

证明：
P(∣Xn−Xm∣>ϵ)≤P(∣Xn−X∣>12ϵ)+P(∣Xm−X∣>12ϵ)→0P(|X_n-X_m|>\epsilon) \le P(|X_n-X|>\frac12\epsilon)+P(|X_m-X|>\frac12\epsilon) \to 0 P(∣Xn−Xm∣>ϵ)≤P(∣Xn−X∣>21ϵ)+P(∣Xm−X∣>21ϵ)→0
Xn→PX,Yn→PY⇒Xn±Yn→PX±YX_n\overset{P}\to X,Y_n\overset P \to Y\Rightarrow X_n\pm Y_n\overset P\to X\pm YXn→PX,Yn→PY⇒Xn±Yn→PX±Y.

证明：
P(∣Xn+Yn−X−Y∣≥ϵ)≤P(∣Xn−X∣≥12ϵ)+P(∣Yn−Y∣≥12ϵ)→0P(|X_n+Y_n-X-Y|\ge\epsilon) \le P(|X_n-X|\ge\frac12\epsilon) + P(|Y_n-Y|\ge\frac12\epsilon)\to 0 P(∣Xn+Yn−X−Y∣≥ϵ)≤P(∣Xn−X∣≥21ϵ)+P(∣Yn−Y∣≥21ϵ)→0
Xn→PX⇒kXn→PkXX_n\overset P\to X\Rightarrow kX_n\overset{P}\to kXXn→PX⇒kXn→PkX.

证明：
P(∣kXn−kX∣≥ϵ)=P(Xn−X∣≥ϵk)→0P(|kX_n-kX|\ge\epsilon) = P(X_n-X|\ge\frac \epsilon k)\to 0 P(∣kXn−kX∣≥ϵ)=P(Xn−X∣≥kϵ)→0
Xn→PX⇒Xn2→PX2X_n\overset P\to X\Rightarrow X_n^2\overset P\to X^2Xn→PX⇒Xn2→PX2.

证明：对随机变量XXX，对任意δ>0\delta>0δ>0，存在充分大的M>0M>0M>0，使得
P(∣X∣>M2)<δ4P(|X|> \frac M2) <\frac\delta 4\\ P(∣X∣>2M)<4δ
这时候，存在充分大的nnn满足
P(∣Xn−X∣>M2)<δ4P(|X_n-X|>\frac M2) < \frac \delta 4 P(∣Xn−X∣>2M)<4δ

则
P(∣Xn∣>M)<P(∣X∣>M2)+P(∣Xn−X∣>M2)<δ2P(|X_n|>M) < P(|X|>\frac M2) + P(|X_n-X|>\frac M2) < \frac \delta 2 P(∣Xn∣>M)<P(∣X∣>2M)+P(∣Xn−X∣>2M)<2δ

再对满足上述要求的nnn提更高的要求：对任意的∀ϵ>0\forall \epsilon > 0∀ϵ>0，使得
P(∣Xn−X∣≥ϵM)<δ2P(|X_n-X|\ge\frac{\epsilon}{M}) < \frac\delta 2 P(∣Xn−X∣≥Mϵ)<2δ
综上，
P(∣Xn∣∣Xn−X∣>ϵ)<P(∣Xn−X∣>ϵM)+P(∣Xn∣>M)<δP(|X_n||X_n-X|>\epsilon) < P(|X_n-X|>\frac{\epsilon}{M}) + P(|X_n|>M) < \delta P(∣Xn∣∣Xn−X∣>ϵ)<P(∣Xn−X∣>Mϵ)+P(∣Xn∣>M)<δ

P(∣X∣∣Xn−X∣>ϵ)<δP(|X||X_n-X| > \epsilon) < \delta P(∣X∣∣Xn−X∣>ϵ)<δ

梳理一下逻辑：给定一个ϵ>0\epsilon>0ϵ>0后，对任意的δ\deltaδ都有当nnn充分大时，P(∣Xn2−XnX∣>ϵ)<δ,P(∣XXn−X2∣)<δP(|X_n^2-X_nX|>\epsilon) < \delta,P(|XX_n-X^2|)<\deltaP(∣Xn2−XnX∣>ϵ)<δ,P(∣XXn−X2∣)<δ.即
Xn2−XnX→P0,XXn−X2→P0.X_n^2-X_nX\overset P\to 0, XX_n-X^2\overset P\to 0. Xn2−XnX→P0,XXn−X2→P0.
由命题5，
Xn2−X2→P0X_n^2-X^2\overset P \to 0 Xn2−X2→P0
Xn→Pa,Yn→Pb,a,bX_n\overset P\to a, Y_n\overset P\to b,a,bXn→Pa,Yn→Pb,a,b常数，证明XnYn→Pab.X_nY_n\overset P\to ab.XnYn→Pab.

证明：

由和的性质，Xn+Yn→Pa+bX_n+Y_n\overset P \to a+bXn+Yn→Pa+b，再由平方的性质，Xn2+Yn2+2XnYn→Pa2+b2+2abX_n^2+Y_n^2+2X_nY_n\overset P \to a^2+b^2+2abXn2+Yn2+2XnYn→Pa2+b2+2ab，再由平方的性质得
XnYn→Pab.X_nY_n\overset P\to ab. XnYn→Pab.
Xn→P1⇒Xn−1→P1.X_n\overset P\to 1\Rightarrow X_n^{-1}\overset P\to 1.Xn→P1⇒Xn−1→P1.

证明：
P(∣1Xn−1∣>ϵ)≤P(∣1−Xn∣>12ϵ)+P(∣Xn∣<12)→0P(|\frac1 {X_n}-1|>\epsilon) \le P(|1-X_n|>\frac12\epsilon)+P(|X_n|<\frac12)\to0 P(∣Xn1−1∣>ϵ)≤P(∣1−Xn∣>21ϵ)+P(∣Xn∣<21)→0
Xn→Pa,Yn→Pb,a,bX_n\overset P\to a,Y_n\overset P\to b,a,bXn→Pa,Yn→Pb,a,b常数,b≠0,⇒XnYn−1→Pab−1.b\ne 0,\Rightarrow X_nY_n^{-1}\overset P \to ab^{-1}.b=0,⇒XnYn−1→Pab−1.

证明：略。
Xn→PX,YX_n\overset P \to X,YXn→PX,Y是随机变量，证明：XnY→PXYX_nY\overset P\to XYXnY→PXY.

证明：
P(∣XnY−XY∣>ϵ)<P(∣Y∣>M)+P(∣Xn−X∣>ϵM)→0P(|X_nY-XY|>\epsilon) < P(|Y|>M) + P(|X_n-X|>\frac \epsilon M) \to 0 P(∣XnY−XY∣>ϵ)<P(∣Y∣>M)+P(∣Xn−X∣>Mϵ)→0
Xn→PX,Yn→PYX_n\overset P\to X,Y_n\overset P\to YXn→PX,Yn→PY，则XnYn→PXY.X_nY_n\overset P\to XY.XnYn→PXY.

证明：
Xn−X→P0,Yn−Y→P0,XnYn−XYn−XnY+XY→P0.X_n-X\overset P\to 0,Y_n-Y\overset P\to 0,X_nY_n-XY_n-X_nY+XY\overset P\to 0. Xn−X→P0,Yn−Y→P0,XnYn−XYn−XnY+XY→P0.
Xn→PXX_n\overset P\to XXn→PX，ggg是RRR上的连续函数，试证：g(Xn)→Pg(X).g(X_n)\overset P\to g(X).g(Xn)→Pg(X).

证明：考虑在[−M,M][-M,M][−M,M]上的性质。不妨假设Xn,XX_n,XXn,X都在[−M,M][-M,M][−M,M]内，否则最后加上他们超出这个范围的概率，这个概率可以很小。

对任意ϵ>0,∃δ>0,∣x−y∣<δ,∣g(x)−g(y)∣<ϵ.\epsilon>0,\exists \delta>0,|x-y|<\delta,|g(x)-g(y)|<\epsilon.ϵ>0,∃δ>0,∣x−y∣<δ,∣g(x)−g(y)∣<ϵ.（一致连续）
P(∣g(Xn)−g(X)∣>ϵ)<P(∣Xn−X∣≥δ)+P(∣g(Xn)−g(X)∣>ϵ,∣Xn−X∣<δ)→0P(|g(X_n)-g(X)|>\epsilon) < P(|X_n-X|\ge\delta) + P(|g(X_n)-g(X)|>\epsilon,|X_n-X|<\delta) \to 0 P(∣g(Xn)−g(X)∣>ϵ)<P(∣Xn−X∣≥δ)+P(∣g(Xn)−g(X)∣>ϵ,∣Xn−X∣<δ)→0

总结一下，所有的性质包括：

（1）四则运算封闭：Xn→X,Yn→YX_n\to X,Y_n\to YXn→X,Yn→Y，无论X,YX,YX,Y是常数或是随机变量，都满足四则运算封闭。

（2）连续函数作用封闭。

（3）柯西收敛定理。

与r阶收敛的关系

r阶收敛可以推出依概率收敛，原因如下
P(∣Xn−X∣≥ϵ)≤E∣Xn−X∣rϵrP(|X_n-X|\ge\epsilon) \le E\dfrac{|X_n-X|^r}{\epsilon^r} P(∣Xn−X∣≥ϵ)≤Eϵr∣Xn−X∣r
于是，当我们要证明依概率收敛，一般采用的方式就是利用切比雪夫不等式或者计算r阶矩。

切比雪夫WLLN

假设X1,X2,⋯X_1,X_2,\cdotsX1,X2,⋯两两不相关，且var(Xi)≤Mvar(X_i)\le Mvar(Xi)≤M（∀i,\forall i,∀i,方差有界），则
Sn−ESnn→P0.\dfrac{S_n-ES_n}{n} \overset P\to 0. nSn−ESn→P0.

证明：
P(∣Sn−ESnn∣≥ϵ)≤var(Sn)n2ϵ2≤Mnϵ2→0P(|\dfrac{S_n-ES_n}{n}|\ge\epsilon) \le \dfrac{var(S_n)}{n^2\epsilon^2} \le \dfrac{M}{n\epsilon^2}\to0 P(∣nSn−ESn∣≥ϵ)≤n2ϵ2var(Sn)≤nϵ2M→0

马尔可夫WLLN

把切比雪夫方差有界的条件改为var(Sn)=o(n2)var(S_n) = o(n^2)var(Sn)=o(n2)。

伯努利WLLN

就是之前证明过的，bernoulli场合的试验。注意的是和前面两个不一样，这里要求随机变量独立。

泊松WLLN

Bernoulli的投币中，改成每次投的硬币都不一样，即概率为p1,p2,⋯,pk,⋯p_1,p_2,\cdots,p_k,\cdotsp1,p2,⋯,pk,⋯。

强大数定律与几乎必然收敛

由几乎必然收敛的定义，
P(lim⁡n→∞ξn=ξ)=1P(\lim_{n\to\infty} \xi_n = \xi) = 1 P(n→∞limξn=ξ)=1
ω∈{lim⁡n→∞ξn(ω)=ξ(ω)}\omega\in\{\lim_{n\to\infty}\xi_n(\omega)= \xi(\omega)\}ω∈{limn→∞ξn(ω)=ξ(ω)}的意思是说，
∀ϵ>0,∃N≥1,∀n≥N,∣ξn(ω)−ξ(ω)∣<ϵ\forall \epsilon > 0,\exists N \ge 1,\forall n\ge N,|\xi_n(\omega)-\xi(\omega)|<\epsilon ∀ϵ>0,∃N≥1,∀n≥N,∣ξn(ω)−ξ(ω)∣<ϵ
那么ω∉{lim⁡n→∞ξn(ω)=ξ(ω)}=A\omega\notin\{\lim_{n\to\infty}\xi_n(\omega) = \xi(\omega)\} = Aω∈/{limn→∞ξn(ω)=ξ(ω)}=A的意思是说，
∃ϵ>0,∀N≥1,∃n≥N,∣ξn(ω)−ξ(ω)∣≥ϵ\exists \epsilon > 0,\forall N\ge 1,\exists n \ge N,|\xi_n(\omega)-\xi(\omega)|\ge \epsilon ∃ϵ>0,∀N≥1,∃n≥N,∣ξn(ω)−ξ(ω)∣≥ϵ
读解这个事件，记事件An,ϵ={ω:∣{ξn(ω)−ξ(ω)∣>ϵ}A_{n,\epsilon} = \{\omega:|\{\xi_n(\omega)-\xi(\omega)| > \epsilon\}An,ϵ={ω:∣{ξn(ω)−ξ(ω)∣>ϵ}，它与n,ϵn,\epsilonn,ϵ有关。
A=⋃ϵ>0⋂N≥1⋃n≥NAn,ϵA = \bigcup_{\epsilon>0}\bigcap_{N\ge1}\bigcup_{n\ge N} A_{n,\epsilon}\\ A=ϵ>0⋃N≥1⋂n≥N⋃An,ϵ
注意到，ϵ→0\epsilon\to0ϵ→0的过程中，后面那个事件列是单调上升的，而AAA就是这个事件列单调上升的极限。又
P(A)=0P(A) = 0 P(A)=0
则
P(⋂N≥1⋃n≥NAn,ϵ)=0,∀ϵ>0P(\bigcap_{N\ge1}\bigcup_{n\ge N}A_{n,\epsilon}) = 0,\forall \epsilon>0 P(N≥1⋂n≥N⋃An,ϵ)=0,∀ϵ>0
再观察这个事件列。当N→∞N\to\inftyN→∞的过程中，⋃n≥NAn,ϵ\bigcup_{n\ge N}A_{n,\epsilon}⋃n≥NAn,ϵ单调下降，对NNN取交，实际上是
lim sup⁡n→∞An,ϵ=⋂N≥1⋃n≥NAn,ϵ=↓lim⁡N→∞⋃n≥NAn,ϵ\limsup_{n\to\infty} A_{n,\epsilon}=\bigcap_{N\ge 1}\bigcup_{n\ge N}A_{n,\epsilon} = \downarrow\lim_{N\to\infty} \bigcup_{n\ge N} A_{n,\epsilon} n→∞limsupAn,ϵ=N≥1⋂n≥N⋃An,ϵ=↓N→∞limn≥N⋃An,ϵ
从另一个角度看，把交集读解为“任意”，并集读解为“存在”，上极限事件也可以认为是：对任意的NNN，都存在NNN之后的一个nnn，使得AnA_nAn发生。因此AnA_nAn发生了无穷多次。更本质地，如果ω∈lim sup⁡n→∞An\omega\in\limsup_{n\to\infty} A_nω∈n→∞limsupAn，那么给定一个NNN，存在NNN之后的nnn使得ω∈An\omega\in A_nω∈An，记这个n=n1n=n_1n=n1，再根据任意性，存在n1n_1n1之后的n2n_2n2使得ω∈An2,⋯\omega\in A_{n_2},\cdotsω∈An2,⋯因此，ω\omegaω可以使AnA_nAn发生无穷多次。故我们也把上极限事件称为Ani.o.A_ni.o.Ani.o.（infinitely often）。这样一来，结论就是：

几乎必然收敛⟺\iff⟺对∀ϵ\forall \epsilon∀ϵ，P(An,ϵi.o.)=0.P(A_{n,\epsilon}i.o.) = 0.P(An,ϵi.o.)=0.

Borel-cantelli引理

令s=∑n=1∞P(An).s = \sum_{n=1}^\infty P(A_n).s=∑n=1∞P(An).

（1）若s<∞s<\inftys<∞，则P(Ani.o.)=0.P(A_ni.o.)=0.P(Ani.o.)=0.

（2）若A1,A2,⋯A_1,A_2,\cdotsA1,A2,⋯相互独立，s=∞s=\inftys=∞，则P(Ani.o.)=1P(A_ni.o.) = 1P(Ani.o.)=1.

证明：

（1）
P(Ani.o.)=P(lim⁡N→∞⋃n≥NAn)≤P(⋃n≥NAn)≤∑n=N∞P(An)→0.P(A_ni.o.) = P(\lim_{N\to\infty}\bigcup_{n\ge N} A_{n})\le P(\bigcup_{n\ge N}A_n)\le\sum_{n=N}^\infty P(A_n) \to 0. P(Ani.o.)=P(N→∞limn≥N⋃An)≤P(n≥N⋃An)≤n=N∑∞P(An)→0.
（2）
P(Ani.o.)=P(lim⁡N→∞⋃n≥NAn)=lim⁡N→∞P(⋃n≥NAn)lim⁡N→∞P(⋃n≥NAn)=lim⁡n→∞(1−P(⋂n=N∞An))=1−lim⁡N→∞∏n=N∞(1−P(An))≥1−e−∑n=N∞P(An)→1P(A_n i.o.) = P(\lim_{N\to\infty}\bigcup_{n\ge N} A_n) = \lim_{N\to\infty} P(\bigcup_{n\ge N}A_n)\\ \lim_{N\to \infty} P(\bigcup_{n\ge N} A_n) = \lim_{n\to\infty}(1-P(\bigcap_{n=N}^\infty A_n)) = 1-\lim_{N\to\infty}\prod_{n=N}^\infty (1-P(A_n)) \ge 1-e^{-\sum_{n=N}^\infty} P(A_n)\to 1 P(Ani.o.)=P(N→∞limn≥N⋃An)=N→∞limP(n≥N⋃An)N→∞limP(n≥N⋃An)=n→∞lim(1−P(n=N⋂∞An))=1−N→∞limn=N∏∞(1−P(An))≥1−e−∑n=N∞P(An)→1

因此，我们可以用
P(∣ξ1−ξ∣>ϵ)+P(∣ξ2−ξ∣>ϵ)+⋯<∞P(|\xi_1-\xi|>\epsilon) + P(|\xi_2-\xi|>\epsilon) +\cdots <\infty P(∣ξ1−ξ∣>ϵ)+P(∣ξ2−ξ∣>ϵ)+⋯<∞
来证明ξn→a.s.ξ\xi_n\overset{a.s.}\to\xiξn→a.s.ξ.

与其他收敛的关系

ξn→a.s.ξ⇒ξn→Pξ\xi_n\overset{a.s.} \to \xi \Rightarrow \xi_n\overset{P}\to \xi\\ ξn→a.s.ξ⇒ξn→Pξ

但是，ξn→Pξ\xi_n\overset{P}\to \xiξn→Pξ，则存在ξn\xi_nξn的一个子列几乎必然收敛到ξ\xiξ.

反过来，如果对于ξn\xi_nξn的任意一个子列，都存在一个更小的子列使得ξni\xi_{n_i}ξni几乎必然收敛到ξ\xiξ，则ξn\xi_nξn依概率收敛到ξ\xiξ.

Borel-Cantelli’s SLLN

如果X1,X2,⋯X_1,X_2,\cdotsX1,X2,⋯相互独立，E(Xi−EXi)4≤M,∀iE(X_i-EX_i)^4\le M,\forall iE(Xi−EXi)4≤M,∀i，则
Sn−ESnn→a.s.0.\dfrac{S_n-ES_n}{n}\overset{a.s.}\to 0. nSn−ESn→a.s.0.
证明：不妨设EXi=0EX_i = 0EXi=0，否则令Yi=Xi−EXiY_i = X_i-EX_iYi=Xi−EXi，Sn−ESn=X1+⋯+Xn−EX1−⋯−EXn=Y1+⋯+Yn.S_n-ES_n = X_1+\cdots+X_n-EX_1-\cdots -EX_n = Y_1+\cdots+Y_n.Sn−ESn=X1+⋯+Xn−EX1−⋯−EXn=Y1+⋯+Yn.

则由chebyshev Inequality，
P(∣Snn∣≥ϵ)≤ESn4n4ϵ4P(|\dfrac{S_n}{n}|\ge\epsilon) \le \dfrac{ES_n^4}{n^4\epsilon^4} P(∣nSn∣≥ϵ)≤n4ϵ4ESn4
计算Sn4S_n^4Sn4，它包含下面这些项的期望：
Xi4,Xi3Xj,Xi2XjXk,Xi2Xj2,XiXjXkXlX_i^4,X_i^3X_j,X_i^2X_jX_k,X_i^2X_j^2,X_iX_jX_kX_l Xi4,Xi3Xj,Xi2XjXk,Xi2Xj2,XiXjXkXl
其中只有Xi4,Xi2Xj2X_i^4,X_i^2X_j^2Xi4,Xi2Xj2的期望不为0。则
ESn4=∑i=1nEXi4+∑i<jEXi2Xj2≤nM+∑i<jEXi4EXj4≤nM+Cn2C42M≤3n2MES_n^4 = \sum_{i=1}^n EX_i^4 + \sum_{i<j} EX_i^2 X_j^2\le nM + \sum_{i<j}\sqrt{EX_i^4EX_j^4} \le nM + C_n^2C_4^2M \le 3n^2M ESn4=i=1∑nEXi4+i<j∑EXi2Xj2≤nM+i<j∑EXi4EXj4≤nM+Cn2C42M≤3n2M
因此
P(An)≤3Mn2ϵ4∑n=1∞P(An)=3Mϵ4∑n=1∞1n2<∞P(A_n)\le \frac{3M}{n^2\epsilon^4}\\ \sum_{n=1}^\infty P(A_n) = \frac {3M}{\epsilon^4}\sum_{n=1}^\infty\frac1{n^2} <\infty P(An)≤n2ϵ43Mn=1∑∞P(An)=ϵ43Mn=1∑∞n21<∞
由Borel−CantelliBorel-CantelliBorel−Cantelli引理，几乎必然收敛成立。

Kolmogorov’s SLLN

这个定律叙述的是i.i.d.序列的强大数定律。

假设X1,⋯X_1,\cdotsX1,⋯独立同分布，若EXEXEX存在，则Snn→a.s.EX\dfrac{S_n}{n}\overset{a.s.}\to EXnSn→a.s.EX.

这条的直观含义是，期望的时间平均会几乎必然收敛到空间平均。

反过来，如果Snn→a.s.a∈R\dfrac{S_n}{n}\overset{a.s.}\to a\in \RnSn→a.s.a∈R，则EX∃,EX=a.EX\exists,EX = a.EX∃,EX=a.

假如某列随机变量YnY_nYn几乎必然收敛到YYY，则YYY是退化的。因为YYY与自己独立。P(Y≤a)=P(Y≤a)P(Y≤a)P(Y\le a) = P(Y\le a)P(Y\le a)P(Y≤a)=P(Y≤a)P(Y≤a)，于是必然存在某个aaa使得P(Y≤a)=1P(Y\le a ) = 1P(Y≤a)=1，之前都是0。YYY在点aaa的概率就为1.

中心极限定理与依分布收敛

与其他收敛的关系

依概率收敛可以推出依分布收敛。

如果依分布收敛到C∈RC\in \RC∈R，则可以推出依概率收敛到CCC.

证明：不妨设C=0C = 0C=0，若不然，考虑ξn−C\xi_n-Cξn−C。
P(∣ξn∣≤ϵ)≥Fξn(ϵ)−Fξn(−ϵ)→F(ϵ)−F(−ϵ)=1P(|\xi_n|\le \epsilon) \ge F_{\xi_n}(\epsilon) - F_{\xi_{n}}(-\epsilon) \to F(\epsilon)-F(-\epsilon) = 1 P(∣ξn∣≤ϵ)≥Fξn(ϵ)−Fξn(−ϵ)→F(ϵ)−F(−ϵ)=1

依分布收敛的等价条件

（1）ξn→dξ⟺Ef(ξn)→Ef(ξ),∀f:R→R\xi_n\overset{d}\to \xi \iff Ef(\xi_n)\to Ef(\xi),\forall f:\R\to\Rξn→dξ⟺Ef(ξn)→Ef(ξ),∀f:R→R有界连续。

（2）ξn→dξ⟺fξn(t)→fξ(t),∀t.\xi_n\overset d\to\xi\iff f_{\xi_n}(t)\to f_{\xi}(t),\forall t.ξn→dξ⟺fξn(t)→fξ(t),∀t.

若fξn(t)→f(t),∀tf_{\xi_n}(t)\to f(t),\forall tfξn(t)→f(t),∀t，且在t=0t=0t=0处连续，则fff是特征函数。

Lindeberg-Levy CLT

假设X1,X2,⋯X_1,X_2,\cdotsX1,X2,⋯独立同分布，0<var(X)<∞.0<var(X)<\infty.0<var(X)<∞.则
Sn∗→dZ∼N(0,1)S_n^*\overset{d}\to Z\sim N(0,1) Sn∗→dZ∼N(0,1)
应用：
P(Sn≤x)=P(Sn∗≤x∗)=Φ(x∗)=p,x∗=x−ESnvar(Sn)P(S_n\le x)=P(S_n^*\le x^*) = \Phi(x*)=p,x^* = \dfrac{x-ES_n}{\sqrt{var(S_n)}} P(Sn≤x)=P(Sn∗≤x∗)=Φ(x∗)=p,x∗=var(Sn)x−ESn
三类问题：

已知n,xn,xn,x，求ppp.

[例]浦丰试验投掷硬币4040次，正面2048次，计算当重复浦丰试验时，正面出现的频率和概率之差的偏离程度不大于浦丰试验中所发生的的偏离的概率。

解：

依题意得要求
p=P(∣S40404040−12∣≤284040)p = P(|\dfrac {S_{4040}}{4040}-\frac12|\le \frac{28}{4040}) p=P(∣4040S4040−21∣≤404028)
标准化：
p=P(∣S4040∗∣≤5640404040)=2Φ(∗)−1p = P(|S_{4040}^*|\le \dfrac{56\sqrt {4040}}{4040}) = 2 \Phi(*) - 1 p=P(∣S4040∗∣≤4040564040)=2Φ(∗)−1
已知x,px,px,p，求nnn.

[例]某品牌往常的市场占有率为15%，今公司决定再做一次抽样调查，要求误差小于1%的概率达到95%，问至少要抽多少户？

解：

依题意得要求最小的xxx满足
P(∣Sn−0.15nn∣≤0.01)≥0.95P(|\dfrac{S_n-0.15n}{n}|\le0.01)\ge 0.95\\ P(∣nSn−0.15n∣≤0.01)≥0.95
标准化
P(∣Sn∗∣≤0.01n0.15∗0.85)≥0.95P(|S_n^{*}|\le \frac{0.01\sqrt{n}}{\sqrt{0.15*0.85}})\ge0.95 P(∣Sn∗∣≤0.15∗0.850.01n)≥0.95
已知n,pn,pn,p，求xxx.

懒得列举了。

注意：当用正态分布逼近二项分布时，需要用修正公式调整：
P(k1≤Sn≤k2)=Φ(k2−npnpq)−Φ(k1−npnpq)P(k_1\le S_n\le k_2) = \Phi(\dfrac{k_2-np}{\sqrt{npq}}) - \Phi(\dfrac{k_1-np}{\sqrt{npq}}) P(k1≤Sn≤k2)=Φ(npqk2−np)−Φ(npqk1−np)
[例]车间有200台车床，每台的功率为1千瓦，开动频率为60%，要求正常生产的把握至少为99.9%，问：需要多少千瓦电力？

解：

求的是
P(S200≤x)≥0.999P(S_{200}\le x)\ge0.999 P(S200≤x)≥0.999
让
Φ(x−200∗0.6+0.5200∗0.6∗0.4)−Φ(−200∗0.6−0.5200∗0.6∗0.4)≥0.999\Phi(\dfrac{x-200*0.6+0.5}{\sqrt{200*0.6*0.4}}) - \Phi(\dfrac{-200*0.6-0.5}{\sqrt{200*0.6*0.4}}) \ge 0.999 Φ(200∗0.6∗0.4x−200∗0.6+0.5)−Φ(200∗0.6∗0.4−200∗0.6−0.5)≥0.999

Lindeberg-Feller’s CLT

叙述：X1,X2,⋯X_1,X_2,\cdotsX1,X2,⋯相互独立，EXk=μk,var(Xk)=σk2.EX_k = \mu_k,var(X_k) = \sigma_k^2.EXk=μk,var(Xk)=σk2.记
Bn2=∑k=1nσk2B_n^2 = \sum_{k=1}^n \sigma_k^2 Bn2=k=1∑nσk2
LindebergLindebergLindeberg条件：
1Bn2∑k=1nE∣Xk−μk∣21{∣Xk−μk∣>ϵBn}→0,∀ϵ>0\dfrac{1}{B_n^2}\sum_{k=1}^n E|X_k-\mu_k|^2 1_{\{|X_k-\mu_k|>\epsilon B_n\}} \to 0,\forall \epsilon > 0 Bn21k=1∑nE∣Xk−μk∣21{∣Xk−μk∣>ϵBn}→0,∀ϵ>0
中心极限定理：
Sn∗=Sn−ESnvarSn→dZ∼N(0,1)S_n^* = \dfrac{S_n-ES_n}{\sqrt{varSn}}\overset{d}\to Z\sim N(0,1) Sn∗=varSnSn−ESn→dZ∼N(0,1)
FellerFellerFeller条件：
KaTeX parse error: Undefined control sequence: \and at position 66: …B_n\to\infty\ \̲a̲n̲d̲ ̲\frac{\sigma_n}…
则成立LindebergLindebergLindeberg条件的充要条件是中心极限定理成立且FellerFellerFeller条件成立。