UA MATH563 概率论的数学基础中心极限定理5 Renyi定理

这是独立随机变量及其性质的一个应用，假设X1,⋯,Xn∼iidFX_1,\cdots,X_n \sim_{iid} FX1,⋯,Xn∼iidF，其中FFF连续可微。

引理 P(Xi≠Xj)=1,∀i≠jP(X_i \ne X_j) = 1,\forall i \ne jP(Xi=Xj)=1,∀i=j
证明我们来说明X,YX,YX,Y独立同分布于FFF，则P(X=Y)=0P(X=Y)=0P(X=Y)=0，这个结果非常类似在平面中，直线的Lebesgue测度为0，虽然结论非常直观，但是我们要处理的对应也是可能取到无穷的，这在分析上会带来一些困难，但我们可以用truncation技巧，任选一个正数M>0M>0M>0，
{X=Y}={X=Y,∣X∣,∣Y∣≤M}∩{X=Y,∣X∣,∣Y∣>M}\{X=Y\}=\{X=Y,|X| ,|Y| \le M\} \cap \{X=Y,|X|,|Y|>M\}{X=Y}={X=Y,∣X∣,∣Y∣≤M}∩{X=Y,∣X∣,∣Y∣>M}

先考虑第二项，根据独立性
P({X=Y,∣X∣,∣Y∣>M})≤P(∣X∣,∣Y∣>M)=P(∣X∣>M)P(∣Y∣>M)=[1−F(M)+F(−M)]2P(\{X=Y,|X|,|Y|>M\}) \le P(|X|,|Y|>M) \\ = P(|X|>M)P(|Y|>M)=[1-F(M)+F(-M)]^2P({X=Y,∣X∣,∣Y∣>M})≤P(∣X∣,∣Y∣>M)=P(∣X∣>M)P(∣Y∣>M)=[1−F(M)+F(−M)]2

根据累积分布函数的性质，当MMM足够大时，即∃δ>0\exists \delta >0∃δ>0，∀M>δ\forall M > \delta∀M>δ，
F(−M)<ϵ,1−F(M)<ϵ,∀ϵ>0F(-M)<\epsilon,1-F(M)<\epsilon,\forall \epsilon>0F(−M)<ϵ,1−F(M)<ϵ,∀ϵ>0

下面考虑第一项，对于∣X∣,∣Y∣≤M|X| ,|Y| \le M∣X∣,∣Y∣≤M的区域，我们可以把它分解成(2Mn)2(2Mn)^2(2Mn)2个小区域，并且只有对角线区域，也就是(a/n,(a+1)/n]×(a/n,(a+1)/n](a/n,(a+1)/n] \times (a/n,(a+1)/n](a/n,(a+1)/n]×(a/n,(a+1)/n]，a=−Mn,⋯,Mna=-Mn,\cdots,Mna=−Mn,⋯,Mn这样的区域才有概率，计算
P(X,Y∈(a/n,(a+1)/n]×(a/n,(a+1)/n])=(F(a+1n)−F(an))2P(X,Y \in (a/n,(a+1)/n] \times (a/n,(a+1)/n]) \\ = (F(\frac{a+1}{n})-F(\frac{a}{n}))^2P(X,Y∈(a/n,(a+1)/n]×(a/n,(a+1)/n])=(F(na+1)−F(na))2

于是
P(X=Y,∣X∣,∣Y∣≤M)≤P(⋃a(a/n,(a+1)/n]×(a/n,(a+1)/n])=∑a=−MnMn(F(a+1n)−F(an))2≤sup⁡a∣F(a+1n)−F(an)∣∑a=−MnMn[F(a+1n)−F(an))]=sup⁡a∣F(a+1n)−F(an)∣[F(M)−F(−M)]≤sup⁡a∣F(a+1n)−F(an)∣P(X=Y,|X|,|Y| \le M) \\ \le P(\bigcup_a(a/n,(a+1)/n] \times (a/n,(a+1)/n]) \\ = \sum_{a=-Mn}^{Mn}(F(\frac{a+1}{n})-F(\frac{a}{n}))^2 \\ \le \sup_a|F(\frac{a+1}{n})-F(\frac{a}{n})|\sum_{a=-Mn}^{Mn}[F(\frac{a+1}{n})-F(\frac{a}{n}))] \\ = \sup_a|F(\frac{a+1}{n})-F(\frac{a}{n})|[F(M)-F(-M)] \\ \le \sup_a|F(\frac{a+1}{n})-F(\frac{a}{n})|P(X=Y,∣X∣,∣Y∣≤M)≤P(a⋃(a/n,(a+1)/n]×(a/n,(a+1)/n])=a=−Mn∑Mn(F(na+1)−F(na))2≤asup∣F(na+1)−F(na)∣a=−Mn∑Mn[F(na+1)−F(na))]=asup∣F(na+1)−F(na)∣[F(M)−F(−M)]≤asup∣F(na+1)−F(na)∣

因为FFF是连续的，事实上连续的累积分布函数在闭区间上会是一致连续的，所以当nnn足够大时，
sup⁡a∣F(a+1n)−F(an)∣<ϵ\sup_a|F(\frac{a+1}{n})-F(\frac{a}{n})|<\epsilonasup∣F(na+1)−F(na)∣<ϵ

综上，P(X=Y)=0P(X=Y)=0P(X=Y)=0。

定义称XiX_iXi是一个record如果Xi>max⁡(X1,⋯,Xi−1)X_i>\max(X_1,\cdots,X_{i-1})Xi>max(X1,⋯,Xi−1)；XjX_jXj的rank为Rj=∑k=1j1Xi≥XjR_j = \sum_{k=1}^j1_{X_i \ge X_j}Rj=∑k=1j1Xi≥Xj，显然Rj=1⇔XjisarecordR_j=1 \Leftrightarrow X_j\ is\ a\ recordRj=1⇔Xj is a record。

评注我们可以这样来理解，假设X1,⋯,XnX_1,\cdots,X_nX1,⋯,Xn表示某气象站在某地一天内进行的nnn次温度测量，但实际上该气象站只需要披露最低温与最高温，Xi>max⁡(X1,⋯,Xi−1)X_i>\max(X_1,\cdots,X_{i-1})Xi>max(X1,⋯,Xi−1)表示XiX_iXi是到第iii次测量为止的最高温，于是它形成一个新记录，RjR_jRj表示的是到第jjj次测量为止，第jjj次测量值的排名，显然排名为1等价于它是一个新记录。

Renyi定理 R1,⋯,RnR_1,\cdots,R_nR1,⋯,Rn独立且服从同样的分布：
P(Rj=k)=1j,k=1,⋯,jP(R_j=k)=\frac{1}{j},k=1,\cdots,jP(Rj=k)=j1,k=1,⋯,j

评述定义Aj={Rj=1}A_j = \{R_j=1\}Aj={Rj=1}（XjX_jXj是一个新记录），Renyi定理说明1A1,⋯,1An1_{A_1},\cdots,1_{A_n}1A1,⋯,1An独立，且1Aj∼Ber(1/j)1_{A_j} \sim Ber(1/j)1Aj∼Ber(1/j)，简单来说也就是第一、二、。。。，n个测量成为新记录的概率分别是1,1/2,⋯,1/n1,1/2,\cdots,1/n1,1/2,⋯,1/n。

证明
对于X1,⋯,XnX_1,\cdots,X_nX1,⋯,Xn，用X1(w),⋯,Xn(w)X_1(w),\cdots,X_n(w)X1(w),⋯,Xn(w)表示一组测量数据(也就是这个随机变量序列的一个realization)，则X1(w),⋯,Xn(w)X_1(w),\cdots,X_n(w)X1(w),⋯,Xn(w)可能有n!n!n!种次序(其实就是n!n!n!种排列)，因为X1,⋯,XnX_1,\cdots,X_nX1,⋯,Xn独立同分布，我们可以说明每一种排列的可能性相同，下面是一个简单的思路：

计算某一种顺序的概率，比如X1<X2<⋯<XnX_1 <X_2 < \cdots < X_nX1<X2<⋯<Xn，
P(X1<X2<⋯<Xn)=∫X1<X2<⋯<Xndμ1×μ2×⋯×μnP(X_1 <X_2 < \cdots < X_n) = \int_{X_1 <X_2 < \cdots < X_n}d\mu_1 \times \mu_2 \times \cdots \times \mu_nP(X1<X2<⋯<Xn)=∫X1<X2<⋯<Xndμ1×μ2×⋯×μn

如果交换X1,X2X_1,X_2X1,X2的次序，
P(X2<X1<⋯<Xn)=∫X2<X1<⋯<Xndμ2×μ1×⋯×μnP(X_2 <X_1 < \cdots < X_n) = \int_{X_2 <X_1 < \cdots < X_n}d\mu_2 \times \mu_1 \times \cdots \times \mu_nP(X2<X1<⋯<Xn)=∫X2<X1<⋯<Xndμ2×μ1×⋯×μn

因为X1,X2X_1,X_2X1,X2独立同分布，μ1=μ2\mu_1=\mu_2μ1=μ2，所以
dμ1×μ2×⋯×μn=dμ2×μ1×⋯×μnd\mu_1 \times \mu_2 \times \cdots \times \mu_n=d\mu_2 \times \mu_1 \times \cdots \times \mu_ndμ1×μ2×⋯×μn=dμ2×μ1×⋯×μn

上面两个积分区域对应的都是Rn\mathbb{R}^nRn被平均分成n!n!n!份后的一份，根据对称性，
P(X1<X2<⋯<Xn)=P(X2<X1<⋯<Xn)=1n!P(X_1 <X_2 < \cdots < X_n) = P(X_2 <X_1 < \cdots < X_n)=\frac{1}{n!}P(X1<X2<⋯<Xn)=P(X2<X1<⋯<Xn)=n!1

对于每一种排列，我们都可以做这个操作，得到相同的概率。

经过简单观察，我们可以发现{R1,R2,⋯,Rn}\{R_1,R_2,\cdots,R_n\}{R1,R2,⋯,Rn}的值与X1,⋯,XnX_1,\cdots,X_nX1,⋯,Xn的每一种排列之间是一一对应。比如R1=1,R2=2,R3=3R_1=1,R_2=2,R_3=3R1=1,R2=2,R3=3对应的排列顺序就是X1>X2>X3X_1>X_2>X_3X1>X2>X3，再比如R1=1,R2=1,R3=1R_1=1,R_2=1,R_3=1R1=1,R2=1,R3=1对应X1<X2<X3X_1<X_2<X_3X1<X2<X3。所以
P(R1=r1,⋯,Rn=rn)=P(某种排列顺序)=1n!P(R_1=r_1,\cdots,R_n=r_n)=P(某种排列顺序)=\frac{1}{n!}P(R1=r1,⋯,Rn=rn)=P(某种排列顺序)=n!1

这是R1,⋯,RnR_1,\cdots,R_nR1,⋯,Rn的联合分布，下面我们计算每一个RjR_jRj的边缘分布。
P(Rj=rj)=∑r1,⋯,rj−1,rj+1,⋯,rnP(R1=r1,⋯,Rn=rn)=1×2×⋯(j−1)⋯(j+1)×⋯×n/n!=1jP(R_j=r_j)=\sum_{r_1,\cdots,r_{j-1},r_{j+1},\cdots,r_n} P(R_1=r_1,\cdots,R_n=r_n) \\ = 1 \times 2 \times \cdots (j-1) \cdots (j+1) \times \cdots \times n/n! = \frac{1}{j}P(Rj=rj)=r1,⋯,rj−1,rj+1,⋯,rn∑P(R1=r1,⋯,Rn=rn)=1×2×⋯(j−1)⋯(j+1)×⋯×n/n!=j1

因此，我们不难验证
∏j=1nP(Rj=rj)=P(R1=r1,⋯,Rn=rn)=1n!\prod_{j=1}^n P(R_j = r_j) = P(R_1=r_1,\cdots,R_n = r_n) = \frac{1}{n!}j=1∏nP(Rj=rj)=P(R1=r1,⋯,Rn=rn)=n!1

所以R1,⋯,RnR_1,\cdots,R_nR1,⋯,Rn独立。