漫步数理统计三十一—

上篇博文我们介绍了依概率收敛的概念，利用着概念我们可以说统计量收敛到一个参数，而且在许多情况下即便不知道统计量的分布函数也能说明收敛。但是统计量有多接近估计量呢？本篇博文讲的收敛就回答了这个问题。

定义1：\textbf{定义1：}(依分布收敛){Xn}\{X_n\}是一系列随机变量，XX是随机变量。FXn,FXF_{X_n},F_X分别是Xn,XX_n,X的cdf，令C(Fx)C(F_x)表示FXF_X连续的点集合。我们说XnX_n依分布收敛到XX，如果

limn→∞FXn(x)=FX(x),for all x∈C(FX)

\lim_{n\to\infty}F_{X_n}(x)=F_X(x),for\ all\ x\in C(F_X)

表示为

Xn→DX

X_n\overset{D}\to X

注1：\textbf{注1：}在统计与概率论中，依概率收敛与依分布收敛称为渐进理论，我们经常说XX是序列{Xn}\{X_n\}的渐进分布或极限分布，或者我们不说Xn→DXX_n\overset{D}\to X，其中XX满足标准正态分布，我们写为

Xn→DN(0,1)

X_n\overset{D}\to N(0,1)

显然右边是一个分布而不是随机变量，但是这么写非常方便。另外我们说XnX_n满足极限标准正态分布意味着Xn→DXX_n\overset{D}\to X，其中XX满足标准正态分布，或等价的Xn→DN(0,1)X_n\overset{D}\to N(0,1)。

之所以之考虑连续点也是有原因的，考虑下面的例子。XnX_n是随机变量，所有的质量在点1n\frac{1}{n}处，其他地方均为0。如图所示XnX_n的质量收敛到0。在不连续点处，limFXn(0)=0≠1=FX(0)\lim F_{X_n}(0)=0\neq 1=F_X(0)；而在连续点处(即x≠0x\neq0)，limFXn(x)=FX(x)\lim F_{X_n}(x)=F_X(x)，因此根据定义Xn→DXX_n\overset{D}\to X。

依概率收敛说明的是一系列随机变量XnX_n接近另一个随机变量XX，另一方面，依概率收敛只关心cdfFXn,FXF_{X_n},F_X。举个简单的例子，XX是pdf为fX(x)f_X(x)的随机变量，它关于0对称；即fX(−x)=fX(x)f_X(-x)=f_X(x)。那么很容易说明−X-X的密度也是fX(x)f_X(x)，所以X,−XX,-Xyou相同的分布，定义随机变量XnX_n的序列为

Xn={X−Xn为奇数n为偶数

\begin{equation} X_n= \begin{cases} X&n\textrm{为奇数}\\ -X&n\textrm{为偶数} \end{cases} \end{equation}

显然对所有的x,FXn(x)=FX(x)x,F_{X_n}(x)=F_X(x)，所以Xn→DXX_n\overset{D}\to X，另一方面序列XnX_n不接近XX，尤其是在概率上Xn↛XX_n\not\to X

例1：\textbf{例1：}X¯n\bar{X}_n的cdf为

Fn(x¯)=∫x¯−∞11/n‾‾‾√2π‾‾‾√e−nw2/2dw

F_n(\bar{x})=\int_{-\infty}^{\bar{x}}\frac{1}{\sqrt{1/n}\sqrt{2\pi}}e^{-nw^2}/2dw

利用变量代换可得

Fn(x¯)=∫n√x¯−∞12π‾‾‾√e−v2/2dv

F_n(\bar{x})=\int_{-\infty}^{\sqrt{n}\bar{x}}\frac{1}{\sqrt{2\pi}}e^{-v^2/2}dv

显然

limn→∞Fn(x¯)=⎧⎩⎨⎪⎪0121x¯<0x¯=0x¯>0

\lim_{n\to\infty}F_n(\bar{x})= \begin{cases} 0&\bar{x}0 \end{cases}

函数

F(x¯)={01x¯<0x¯≥0

F(\bar{x})= \begin{cases} 0&\bar{x}

是cdf且在所有F(x¯)F(\bar{x})的连续点limn→∞Fn(x¯)=F(x¯)\lim_{n\to\infty}F_n(\bar{x})=F(\bar{x})，而在不连续点x¯=0,limn→∞Fn(0)≠F(0)\bar{x}=0,\lim_{n\to\infty}F_n(0)\neq F(0)。

例2：\textbf{例2：}即便序列X1,X2,X3,…X_1,X_2,X_3,\ldots依分布收敛到随机变量XX，我们一般不能通过取XnX_npmf的极限确定XX的分布，考虑下面的pmf

pn(x)={10x=2+n−1elsewhere

p_n(x)= \begin{cases} 1&x=2+n^{-1}\\ 0&elsewhere \end{cases}

显然对所有的x,limn→∞pn(x)=0x,\lim_{n\to\infty}p_n(x)=0，这说明对n=1,2,3,…,Xnn=1,2,3,\ldots,X_n不会依概率收敛，然而XnX_n的cdf为

Fn(x)={01x<2+n−1x≥2+n−1

F_n(x)= \begin{cases} 0&x

且

limn→∞Fn(x)={01x≤2x>2

\lim_{n\to\infty}F_n(x)= \begin{cases} 0&x\leq 2\\ 1&x>2 \end{cases}

因为

F(x)={01x<2x≥2

F(x)= \begin{cases} 0&x

是cdf且在F(x)F(x)的所有连续点处limn→∞Fn(x)=F(x)\lim_{n\to\infty}F_n(x)=F(x)，所以X1,X2,X3,…X_1,X_2,X_3,\ldots依分布收敛到cdf为F(x)F(x)的随机变量。

上面的例子说明一般而言我们不能考虑pmf或pdf来确定极限分布，但是在某些条件下确实可以的，如下例所示。

例3：\textbf{例3：}TnT_n满足自由度为nn的tt分布，n=1,2,3,…n=1,2,3,\ldots，所以它的cdf为

Fn(t)=∫t−∞Γ[(n+1)/2]nπ‾‾‾√Γ(n/2)1(1+y2/n)(n+1)/2dy

F_n(t)=\int_{-\infty}^t\frac{\Gamma[(n+1)/2]}{\sqrt{n\pi}\Gamma(n/2)}\frac{1}{(1+y^2/n)^{(n+1)/2}}dy

其中积分函数为TnT_n的pdffn(y)f_n(y)，因此

limn→∞Fn(t)=limn→∞∫t−∞fn(y)dy=∫t−∞limn→∞fn(y)dy

\lim_{n\to\infty}F_n(t)=\lim_{n\to\infty}\int_{-\infty}^tf_n(y)dy=\int_{-\infty}^t\lim_{n\to\infty}f_n(y)dy

由勒贝格控制收敛定理可知当|fn(y)||f_n(y)|被一个可积函数控制时，积分与极限元算可以互换。因为

|fn(y)|≤10f1(y)

|f_n(y)|\leq 10f_1(y)

且对所有实数tt

∫t−∞10f1(y)dy=10πarctant<∞

\int_{-\infty}^t10f_1(y)dy=\frac{10}{\pi}\arctan t

因此我们通过求出TnT_npdf的极限求出极限分布。即

limn→∞fn(y)=limn→∞{Γ[(n+1)/2]n/2‾‾‾√Γ(n/2)}limn→∞{1(1+y2/n)1/2}×limn→∞⎧⎩⎨⎪⎪12π‾‾‾√[(1+y2n)]−n/2⎫⎭⎬⎪⎪

\begin{align*} \lim_{n\to\infty}f_n(y) &=\lim_{n\to\infty}\left\{\frac{\Gamma[(n+1)/2]}{\sqrt{n/2}\Gamma(n/2)}\right\}\lim_{n\to\infty}\left\{\frac{1}{(1+y^2/n)^{1/2}}\right\}\\ &\quad\times\lim_{n\to\infty}\left\{\frac{1}{\sqrt{2\pi}}\left[\left(1+\frac{y^2}{n}\right)\right]^{-n/2}\right\} \end{align*}

利用初等微积分的事实

limn→∞(1+y2n)n=ey2

\lim_{n\to\infty}\left(1+\frac{y^2}{n}\right)^n=e^{y^2}

第三部分显然时标准正态分布的pdf，第二项极限明显为1，根据斯特林公式可知第一项极限也为1，所以我们有

limn→∞Fn(t)=∫t−∞12π‾‾‾√e−y2/2dy

\lim_{n\to\infty}F_n(t)=\int_{-\infty}^t\frac{1}{\sqrt{2\pi}}e^{-y^2/2}dy

因此TnT_n满足极限标准正态分布。

注2：\textbf{注2：}为了简化下面定理的证明，我们利用序列的lim⎯⎯⎯⎯⎯⎯,lim⎯⎯⎯⎯⎯⎯\varliminf,\varlimsup。具体细节这里不再讨论了，只给出理解下面证明所需要的一些性质，令{an}\{a_n\}是实数序列且定义两个子序列为

bncn=sup{an,an+1,…},n=1,2,3,…=inf{an,an+1,…},n=1,2,3,…

\begin{align*} b_n&=\sup\{a_n,a_{n+1},\ldots\},n=1,2,3,\ldots\\ c_n&=\inf\{a_n,a_{n+1},\ldots\},n=1,2,3,\ldots \end{align*}

{cn}\{c_n\}是非减序列，{bn}\{b_n\}是非增序列，因此他们的极限存在(可能是±∞\pm\infty)，我们分别用lim⎯⎯⎯⎯⎯⎯n→∞an,lim⎯⎯⎯⎯⎯⎯n→∞an\varliminf_{n\to\infty}a_n,\varlimsup_{n\to\infty}a_n表示，进一步对所有n,cn≤an≤bnn,c_n\leq a_n\leq b_n，如果lim⎯⎯⎯⎯⎯⎯n→∞an=lim⎯⎯⎯⎯⎯⎯n→∞an\varliminf_{n\to\infty}a_n=\varlimsup_{n\to\infty}a_n，那么limn→∞an\lim_{n\to\infty}a_n存在且为limn→∞an=lim⎯⎯⎯⎯⎯⎯n→∞an\lim_{n\to\infty}a_n=\varlimsup_{n\to\infty}a_n。

假设{pn}\{p_n\}是概率序列且lim⎯⎯⎯⎯⎯⎯n→∞pn=0\varlimsup_{n\to\infty}p_n=0，因为0≤pn≤sup{pn,pn+1,…}0\leq p_n\leq\sup\{p_n,p_{n+1},\ldots\}，所以我们有limn→∞pn=0\lim_{n\to\infty}p_n=0。另外对于任意序列{an},{bn}\{a_n\},\{b_n\}，满足lim⎯⎯⎯⎯⎯⎯n→∞(an+bn)≤lim⎯⎯⎯⎯⎯⎯n→∞an+lim⎯⎯⎯⎯⎯⎯n→∞bn\varlimsup_{n\to\infty}(a_n+b_n)\leq\varlimsup_{n\to\infty}a_n+\varlimsup_{n\to\infty}b_n。

如下面定理说述，依分布收敛比依概率收敛要弱，所以依分布收敛常被称为弱收敛。

定理1：\textbf{定理1：}如果XnX_n依概率收敛到XX，那么XnX_n依分布收敛到XX。

证明：\textbf{证明：}令xx是FX(x)F_X(x)的连续点，令ϵ>0\epsilon>0我们有

FXn(x)=P[Xn≤x]=P[{Xn≤x}∩{|Xn−X|<ϵ}]+P[{Xn≤x}∩{|Xn−X|≥ϵ}]≤P[X≤x+ϵ]+P[|Xn−X|≥ϵ]

\begin{align*} F_{X_n}(x) &=P[X_n\leq x]\\ &=P[\{X_n\leq x\}\cap\{|X_n-X|

基于上面的不等式以及事实Xn→PXX_n\overset{P}\to X，我们可以看出

lim⎯⎯⎯⎯⎯⎯n→∞FXn(x)≤FX(x+ϵ)

\varlimsup_{n\to\infty}F_{X_n}(x)\leq F_X(x+\epsilon)

为了得到下界，我们用同样的处理方式得到

P[Xn>x]≤P[X≥x−ϵ]+P[|Xn−X|≥ϵ]

P[X_n>x]\leq P[X\geq x-\epsilon]+P[|X_n-X|\geq\epsilon]

因此

lim⎯⎯⎯⎯⎯⎯n→∞FXn(x)≥FX(x−ϵ)

\varliminf_{n\to\infty}F_{X_n}(x)\geq F_X(x-\epsilon)

根据lim⎯⎯⎯⎯⎯⎯,lim⎯⎯⎯⎯⎯⎯\varliminf,\varlimsup的关系可得

FX(x−ϵ)≤lim⎯⎯⎯⎯⎯⎯n→∞FXn(x)≤lim⎯⎯⎯⎯⎯⎯n→∞FXn(x)≤FX(x+ϵ)

F_X(x-\epsilon)\leq\varliminf_{n\to\infty}F_{X_n}(x)\leq\varlimsup_{n\to\infty}F_{X_n}(x)\leq F_X(x+\epsilon)

令ϵ↓0\epsilon\downarrow0即得到答案。||||

考虑(1)(1)中的随机变变量序列{Xn}\{X_n\}，Xn→DX,Xn≠PXX_n\overset{D}\to X,X_n\overset{P}\neq X，所以一般情况下上面定理的逆不成立。然而如果XX退化成下面定理的时候就成立。

定理2：\textbf{定理2：}如果XnX_n依分布收敛到常数bb，那么XnX_n依概率收敛到bb。

证明：\textbf{证明：}令ϵ>0\epsilon>0给定，那么

limn→∞P[|Xn−b|≤ϵ]=limn→∞FXn(b+ϵ)−limn→∞FXn(b−ϵ−0)=1−0=1

\lim_{n\to\infty}P[|X_n-b|\leq\epsilon]=\lim_{n\to\infty}F_{X_n}(b+\epsilon)-\lim_{n\to\infty}F_{X_n}(b-\epsilon-0)=1-0=1

得证。||||

下面定理非常有用：

定理3：\textbf{定理3：}假设XnX_n依分布收敛到XX，YnY_n依概率收敛到0，那么Xn+YnX_n+Y_n依分布收敛到XX。

接下来给出两个一般的结论。

定理4：\textbf{定理4：}假设XnX_n依分布收敛到XX且gg在支撑XX上是连续函数，那么g(Xn)g(X_n)依分布收敛到g(X)g(X)。

定理5：\textbf{定理5：}Xn,X,An,BnX_n,X,A_n,B_n是随机变量且a,ba,b是常数，如果Xn→DX,An→Pa,Bn→PbX_n\overset{D}\to X,A_n\overset{P}\to a,B_n\overset{P}\to b，那么

An+BnXn→Da+bX

A_n+B_nX_n\overset{D}\to a+bX

与依分布收敛相关的另一个有用概念为随机变量序列依概率有界。

首先考虑cdf为FX(x)F_X(x)的随机变量XX，那么给定ϵ>0\epsilon>0，我们可以用下面的方式界定XX。因为FXF_X的下极限是0而上极限是1，所以我们可以找到η1,η2\eta_1,\eta_2，使得

FX(x)<ϵ/2 for x≤η1, FX(x)>1−(η/2) for x≥η2

F_X(x)1-(\eta/2)\ for\ x\geq\eta_2

令η=max{|η1|,|η2|}\eta=\max\{|\eta_1|,|\eta_2|\}，那么

P[|X|≤η]=FX(η)−FX(−η−0)≥1−(ϵ/2)−(ϵ/2)=1−ϵ

\begin{equation} P[|X|\leq\eta]=F_X(\eta)-F_X(-\eta-0)\geq1-(\epsilon/2)-(\epsilon/2)=1-\epsilon \end{equation}

因此无界的随机变量(例如XX是N(0,1)N(0,1))用上面的方式也是有界的，这是非常有用的概念，定义如下。

定义2：\textbf{定义2：}(依概率有界)我们说随机变量序列{Xn}\{X_n\}依概率有界，如果对所有ϵ>0\epsilon>0，存在常数Bϵ>0B_{\epsilon}>0以及整数NϵN_{\epsilon}使得

n≥Nϵ⇒P[|Xn|≤Bϵ]≥1−ϵ

n\geq N_{\epsilon}\Rightarrow P[|X_n|\leq B_{\epsilon}]\geq 1-\epsilon

现在考虑一个随机变量序列{Xn}\{X_n\}，它收敛到cdf为FF的随机变量XX。令ϵ>0\epsilon>0且选择η\eta使得(2)(2)对XX成立，我们可以始终选出η\eta使得η,−η\eta,-\eta是FF的连续点，那么我们有

limn→∞P[|Xn|≤η]≥limn→∞FXn(η)−limn→∞FXn(−η−0)=FX(η)−FX(−η)≥1−ϵ

\lim_{n\to\infty}P[|X_n|\leq\eta]\geq\lim_{n\to\infty}F_{X_n}(\eta)-\lim_{n\to\infty}F_{X_n}(-\eta-0)=F_X(\eta)-F_X(-\eta)\geq 1-\epsilon

为了更精确，我们选择大的NN使得n≥Nn\geq N时P[|Xn|≤η]≥1−ϵP[|X_n|\leq \eta]\geq 1-\epsilon。

定理6：\textbf{定理6：}{Xn}\{X_n\}是随机变量序列且XX是随机变量，如果依分布Xn→XX_n\to X，那么{Xn}\{X_n\}依概率有界。

但是上面的逆一般不成立。可以将依概率有界的序列看成|Xn||X_n|的概率质量不会大到∞\infty。

定理7：\textbf{定理7：}{Xn}\{X_n\}是依概率有界的随机变量序列，{Yn}\{Y_n\}是依概率收敛到0的随机变量序列，那么

XnYn→P0

X_nY_n\overset{P}\to0

证明：\textbf{证明：}令ϵ>0\epsilon>0，选择Bϵ>0B_{\epsilon}>0和整数NϵN_{\epsilon}使得

n≥Nϵ⇒P[|Xn|≤Bϵ]≥1−ϵ

n\geq N_{\epsilon}\Rightarrow P[|X_n|\leq B_{\epsilon}]\geq 1-\epsilon

那么

\begin{align*} \varlimsup_{n\to\infty}P[|X_nY_n|\geq\epsilon] &\leq\varlimsup P[|X_nY_n|\geq\epsilon,|X_n|\leq B_{\epsilon}]\\ &\quad +\varlimsup_{n\to\infty}P[|X_nY_n|\geq\epsilon,|X_n|>B_{\epsilon}]\\ &\leq\varlimsup_{n\to\infty}P[|Y_n|\geq\epsilon/B_{\epsilon}]+\epsilon=\epsilon \end{align*}

得证。||||

漫步数理统计三十一——依分布收敛相关推荐

漫步数理统计三十二——中心极限定理
如果X1,X2,-,XnX_1,X_2,\ldots,X_n是均值为μ\mu,方差为σ2\sigma^2正态分布的随机样本,那么对任意正整数nn,随机变量 ∑n1Xi−nμσn‾‾√=n‾‾√(X¯n ...
漫步数理统计二十一——变换：随机向量
前面的文章中提到,两个连续型随机变量的两个函数联合pdf 的行列式基本上是数学分析中处理二重积分变换变换时一个定理的推论,这个定理自然可以扩展到nn重积分,考虑nn维空间S\textbf{S}的子集A ...
漫步最优化三十一——梯度法
我拿起笔芯,\textbf{我拿起笔芯,} 开始在心里慢慢书写回忆.\textbf{开始在心里慢慢书写回忆.} 记录第一次遇见的你,\textbf{记录第一次遇见的你,} 记录第一次牵手的你,\tex ...
漫步数理统计三十三——采样与统计量
本篇博文介绍一些有用的推断工具:置信区间与假设检验. 在典型的统计问题中,我们对随机变量XX感兴趣,但是对其pdff(x)f(x)与pmfp(x)p(x)不知道,对此大致有两个类别: f(x)f(x) ...
漫步数学分析三十一——矩阵表示
定义2\textbf{定义2} ∂fj/∂xi\partial f_j/\partial x_i存在的话,定义如下: ∂fj∂xi(x1,-,xn)=limh→0{fj(x1,-,xi+h,-,xn) ...
漫步微积分三十一——定积分的直观含义
前面的文章中,我们完成了两个主要目的.首先,我们将面积近似为给定曲线下的面积,并利用他们和的极限求出确切的面积值.第二,通过使用更强大的方法微积分基本定理,我们学会了如何计算极限的数值解.几乎前几篇文 ...
漫步数理统计三十——依概率收敛
本篇博文我们将正式地陈述一系列随机变量靠近某个随机变量. 定义1: \textbf{定义1:} {Xn} \{X_n\}是一系列随机变量, X X是定义在样本空间上的随机变量.我们说XnX_n依概率收 ...
【FastDev4Android框架开发】RecyclerView完全解析之下拉刷新与上拉加载SwipeRefreshLayout(三十一)...
转载请标明出处: http://blog.csdn.net/developer_jiangqq/article/details/49992269 本文出自:[江清清的博客] (一).前言: [好消息] ...
Python编程基础：第三十一节文件读取Read a File
第三十一节文件读取Read a File 前言实践前言当我们检测到文件之后就可以读取其中的内容,读取所用到的函数是read(). 实践我们依然以上一节的lyric.txt为例展示如何读取文件 ...
OpenCV学习笔记（三十一）——让demo在他人电脑跑起来 OpenCV学习笔记（三十二）——制作静态库的demo，没有dll也能hold住 OpenCV学习笔记（三十三）——用haar特征训练自己
OpenCV学习笔记(三十一)--让demo在他人电脑跑起来这一节的内容感觉比较土鳖.这从来就是一个老生常谈的问题.学MFC的时候就知道这个事情了,那时候记得老师强调多次,如果写的demo想在人家那 ...

漫步数理统计三十一——依分布收敛

漫步数理统计三十一——依分布收敛相关推荐

最新文章

热门文章