UA MATH563 概率论的数学基础中心极限定理23 概率测度族的紧性

给定一个度量可测空间(Ω,F)(\Omega,\mathcal{F})(Ω,F)，度量为ddd，我们可以在这个可测空间上定义概率测度，用C\mathcal{C}C表示这个可测空间上所有可能的概率测度，接下来我们试图研究C\mathcal{C}C的紧性。之所以要讨论概率测度族的紧性是因为我们前几讲讨论的是概率测度的收敛，我们希望概率测度的极限也是概率测度，特别是在中心极限定理中，我们希望极限分布也能是一个分布，因此我们需要紧的概率测度族。

例概率测度的极限可能不是概率测度，比如μn=aδn+(1−a)v\mu_n = a\delta_n+(1-a)vμn=aδn+(1−a)v，其中vvv是概率测度，不妨假设v=δ0v = \delta_0v=δ0，则
Fn(x)={1−a,x<n1,x≥n→1−aF_n(x) = \begin{cases} 1-a, x<n \\ 1,x \ge n \end{cases} \to 1-aFn(x)={1−a,x<n1,x≥n→1−a

显然F(x)=1−aF(x)=1-aF(x)=1−a不是一个cdf。我们称这样的概率测度它取极限后存在"mass loss"。

Helly定理
假设FnF_nFn是实数上的一列累积分布函数，则存在它的子列FnkF_{n_k}Fnk使得
Fnk→FF_{n_k} \to FFnk→F

其中FFF是非减、右连续、取值在[0,1][0,1][0,1]上的函数，这样的收敛在老文献被称为vague convergence。

说明
尽管FFF本身不是一个累积分布函数，但是根据FFF我们可以导出一个Lebesgue-Stieltjes测度μF\mu_FμF，并基于μF\mu_FμF导出一个概率测度。

证明
∀q∈Q\forall q \in \mathbb{Q}∀q∈Q，存在FnF_nFn的子列收敛到G(q)G(q)G(q)，定义
F(x)=inf⁡{G(q):q>x,q∈Q}F(x) = \inf\{G(q):q>x,q \in \mathbb{Q}\}F(x)=inf{G(q):q>x,q∈Q}

验证FFF是一个非减、右连续、取值在[0,1][0,1][0,1]上的函数即可。

概率测度的紧性
称{Fn}\{F_n\}{Fn}或者{μn}\{\mu_n\}{μn}是紧的(tight)，如果∀ϵ>0\forall \epsilon>0∀ϵ>0，∃K\exists K∃K紧集，K⊂ΩK \subset \OmegaK⊂Ω，使得
sup⁡nμn(KC)<∞\sup_n \mu_n(K^C)<\inftynsupμn(KC)<∞

也就是说存在一个概率1的紧集。

定理
假设{Fn}\{F_n\}{Fn}是一列分布，它的每个子列的极限都是分布的充要条件是FnF_nFn是紧的。

证明
⇐\Leftarrow⇐：如果FnF_nFn是紧的，FnkF_{n_k}Fnk是它的一个子列，Fnk→FF_{n_k} \to FFnk→F，我们需要说明FFF也是分布。

根据Helly定理，存在一个子列FnklF_{n_{k_l}}Fnkl收敛到GGG，因为Fnk→FF_{n_k} \to FFnk→F，所以F=GF=GF=G，于是FFF也是非减、右连续、取值在[0,1][0,1][0,1]上的函数。

因为FnF_nFn是紧的，∀ϵ>0,∃M>0\forall \epsilon>0,\exists M>0∀ϵ>0,∃M>0，sup⁡nP(∣Xn∣>M)<ϵsup⁡n(Fn(−M)+1−Fn(M))<ϵ\sup_nP(|X_n| >M)<\epsilon \\ \sup_n (F_n(-M)+1-F_n(M))<\epsilonnsupP(∣Xn∣>M)<ϵnsup(Fn(−M)+1−Fn(M))<ϵ

不妨假设MMM是一个连续点(分布函数的连续点是稠密的)，如果x>Mx>Mx>M，则
F(x)≥F(M)=lim⁡Fnk(M)≥1−ϵF(x) \ge F(M) = \lim F_{n_k}(M) \ge 1-\epsilonF(x)≥F(M)=limFnk(M)≥1−ϵ

于是lim⁡x→∞F(x)=1\lim_{x \to \infty} F(x) = 1limx→∞F(x)=1，类似地可以说明lim⁡x→−∞F(x)=0\lim_{x \to -\infty}F(x) = 0limx→−∞F(x)=0。

⇒\Rightarrow⇒:假设FnF_nFn不紧，∃ϵ>0\exists \epsilon>0∃ϵ>0，∀M>0\forall M>0∀M>0，sup⁡nP(∣Xn∣>M)>ϵ\sup_n P(|X_n|>M)>\epsilonsupnP(∣Xn∣>M)>ϵ，也就是对于每一个MMM，我们总是可以找到一个FnMF_{n_M}FnM，使得
sup⁡n(FnM(−M)+1−FnM(M))>ϵ\sup_n (F_{n_M}(-M)+1-F_{n_M}(M))>\epsilonnsup(FnM(−M)+1−FnM(M))>ϵ

根据Helly定理，我们总是可以找到一个收敛的子列，基于它的极限可以构造一个L-S测度，我们记它的极限为FFF，给定l<Ml<Ml<M，且lll也是连续点，则
F(−l)+(1−F(l))=lim⁡(FnM(−M)+1−FnM(M))>ϵF(-l)+(1-F(l)) = \lim (F_{n_M}(-M)+1-F_{n_M}(M))>\epsilonF(−l)+(1−F(l))=lim(FnM(−M)+1−FnM(M))>ϵ

于是根据极限的保号性，
lim⁡lF(−l)+(1−F(l))>ϵ\lim_{l}F(-l)+(1-F(l)) >\epsilonllimF(−l)+(1−F(l))>ϵ

这与基于FFF可以构造一个L-S测度矛盾。

在上面的定理中，我们证明紧性的方法是反证法，紧性不成立可以导出与Helly定理矛盾的结果，于是我们可以得到紧性。但反证法在实际问题的应用中比较麻烦，我们希望导出一些更“好用”的结果。

紧性的充分条件 sup⁡nE∣Xn∣α<∞,∀α>0\sup_n E|X_n|^{\alpha}<\infty,\forall \alpha>0supnE∣Xn∣α<∞,∀α>0

说明

μn([−M,M]C)=P(∣Xn∣>M)=P(∣Xn∣α>Mα)≤E∣Xn∣αMα≤sup⁡nE∣Xn∣αMα\mu_n([-M,M]^C) = P(|X_n|>M) = P(|X_n|^{\alpha}>M^{\alpha}) \\ \le \frac{E|X_n|^{\alpha}}{M^{\alpha}} \le \frac{\sup_n E|X_n|^{\alpha}}{M^{\alpha}}μn([−M,M]C)=P(∣Xn∣>M)=P(∣Xn∣α>Mα)≤MαE∣Xn∣α≤MαsupnE∣Xn∣α

取Mα>const./ϵM^{\alpha}>const. / \epsilonMα>const./ϵ即可。