概率导论(极限理论)

概率导论-极限理论笔记

前言
马尔可夫和切比雪夫不等式
- 马尔可夫不等式
- 切比雪夫不等式
弱大数定律
- 依概率收敛
中心极限定理
- 中心极限定理的内容
- 近似计算
强大数定律
- 以概率1收敛

前言

讨论的是随机变量序列渐进(在 n → ∞ n\rightarrow \infty n→∞时的)性质.为使用有限样本进行统计推断提供了理论基础。
X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn是独立同分布的随机变量序列.均值均为 μ \mu μ,标准差 σ \sigma σ.定义序列 S n S_n Sn:
S n = X 1 + X 2 + . . . + X n S_n=X_1+X_2+...+X_n Sn=X1+X2+...+Xn
基本性质:

v a r ( S n ) = n σ 2 var(S_n)=n\sigma ^2 var(Sn)=nσ2,方差是发散的， S n S_n Sn肯定不收敛(收敛时方差为0)。 E ( S n ) = n μ , S n E(S_n)=n\mu ,S_n E(Sn)=nμ,Sn发散。
样本均值 M n = S n n M_n=\frac{S_n}{n} Mn=nSn
E ( M n ) = μ , v a r ( M n ) = v a r ( S n ) n 2 = σ 2 n E(M_n)=\mu ,var(M_n)=\frac{var(S_n)}{n^2}=\frac{\sigma ^2}{n} E(Mn)=μ,var(Mn)=n2var(Sn)=nσ2,样本均值的期望收敛于随机变量的期望，方差趋于0,说明样本均值趋近于随机变量的期望。(大数定律)
构造随机变量序列 Z n = S n − n μ σ n Z_n=\frac{S_n-n\mu}{\sigma \sqrt n} Zn=σn Sn−nμ,这个式子分子是 S n S_n Sn对 E ( S n ) E(S_n) E(Sn)的偏移,绝对偏移是不太好的，所以分母带上了 S n S_n Sn的标准差。 E ( Z n ) = 0 , v a r ( Z n ) = 1 E(Z_n)=0,var(Z_n)=1 E(Zn)=0,var(Zn)=1，这说明 Z n Z_n Zn既不发散也不收敛。(中心极限定理)

马尔可夫和切比雪夫不等式

这两个不等式的作用是利用均值和方差去分析事件的概率。随机变量的均值和方差易于计算，但分布不知道时有用。

马尔可夫不等式

马尔可夫不等式:随机变量 X ≥ 0 , ∀ a > 0 X\ge 0,\forall a>0 X≥0,∀a>0
P ( X ≥ a ) ≤ E ( X ) a P(X\ge a)\le \frac{E(X)}{a} P(X≥a)≤aE(X)
P ( X ≥ a ) P(X\ge a) P(X≥a)可分解为 X ≥ a X\ge a X≥a每个点的概率之和。
a P ( X ≥ a ) = ∑ x ≥ a a [ p ( x 1 ) + p ( x 2 ) + . . . ) ] ≤ ∑ x ≥ a x [ p ( x 1 ) + p ( x 2 ) + . . . ) ] ≤ ∑ x [ p ( x 1 ) + p ( x 2 ) + . . . ) ] = E ( X ) aP(X\ge a)=\sum _{x\ge a}a[p(x_1)+p(x_2)+...)] \le \sum _{x\ge a}x[p(x_1)+p(x_2)+...)]\le \sum x[p(x_1)+p(x_2)+...)]=E(X) aP(X≥a)=∑x≥aa[p(x1)+p(x2)+...)]≤∑x≥ax[p(x1)+p(x2)+...)]≤∑x[p(x1)+p(x2)+...)]=E(X)
这个式子可以理解为将 X ≥ a X\ge a X≥a的质量缩到 X = a X=a X=a上，这是质量第一次缩小。然后将 X < a X<a X<a的去掉，这是质量第二次缩小。
马尔可夫不等式说明如果E(X)很小，那么X取大值的概率也很小。
马尔可夫不等式给出的是概率的一个上界，显然这个上界是有两次扩大处理的，所以和真实值一般相差很远。

切比雪夫不等式

设随机变量X的均值 μ \mu μ，方差 σ 2 \sigma^2 σ2,则 ∀ c > 0 \forall c>0 ∀c>0:
P ( ∣ X − μ ∣ ≥ c ) ≤ σ 2 c 2 P(|X-\mu|\ge c)\le \frac{\sigma ^2}{c^2} P(∣X−μ∣≥c)≤c2σ2
注意没有要求 X ≥ 0 X\ge 0 X≥0
对随机变量 Y = ( X − μ ) 2 , a = c 2 Y=(X-\mu)^2,a=c^2 Y=(X−μ)2,a=c2使用马尔可夫不等式:
P ( Y ≥ c 2 ) ≤ E ( Y ) c 2 = σ 2 c 2 P(Y\ge c^2)\le \frac{E(Y)}{c^2}=\frac {\sigma ^2}{c^2} P(Y≥c2)≤c2E(Y)=c2σ2.
如果 c = k σ c=k\sigma c=kσ,则:
P ( ∣ X − μ ∣ ≥ k σ ) ≤ 1 k 2 P(|X-\mu|\ge k\sigma)\le \frac{1}{k^2} P(∣X−μ∣≥kσ)≤k21
一个随机变量偏离其均值 k倍标准差的概率最多是 1 k 2 \frac{1}{k^2} k21
切比雪夫不等式比马尔可夫不等式更准确一点。因为切比雪夫不等式是利用的 Y = ( X − μ ) 2 Y=(X-\mu)^2 Y=(X−μ)2,相当于是二阶马尔可夫不等式。切比雪夫不等式也不是很精确，这是显然的，利用这么少的信息一般是不能得出多么精确的概率范围的。
设 X ∈ [ a , b ] , X\in [a,b], X∈[a,b],可以证明 σ 2 ≤ ( b − a ) 2 4 \sigma^2 \le \frac{(b-a)^2}{4} σ2≤4(b−a)2

弱大数定律

设独立同分布序列: X 1 , X 2 , . . . , X n , ∀ ϵ > 0 : X_1,X_2,...,X_n,\forall \epsilon>0: X1,X2,...,Xn,∀ϵ>0:
lim ⁡ n → ∞ P ( ∣ M n − μ ∣ ≥ ϵ ) = 0 \lim _{n\rightarrow \infty}{P(|M_n-\mu|\ge \epsilon)}=0 n→∞limP(∣Mn−μ∣≥ϵ)=0
弱大数定律是(样本均值接近随机变量的均值)指对于充分大的 n n n， M n M_n Mn的分布大部分集中在 μ \mu μ附近。设包含 μ \mu μ的区间 [ μ − ϵ , μ + ϵ ] [\mu-\epsilon,\mu+\epsilon] [μ−ϵ,μ+ϵ]内的概率非常大,当 ϵ \epsilon ϵ非常小时，则要求更多的样本数，即 n n n更大。
选举问题很经典,待补充。

依概率收敛

一般的数列收敛的定义:
lim ⁡ n → ∞ a n = a \lim _{n\rightarrow \infty}{a_n}=a n→∞liman=a
对于随机变量序列，应当与一般数列有所不同，所以定义了依概率收敛：
设 Y 1 , Y 2 , . . . , Y n , . . . Y_1,Y_2,...,Y_n,... Y1,Y2,...,Yn,...是随机变量序列(不必独立),实数 a a a, ∀ ϵ > 0 \forall \epsilon >0 ∀ϵ>0都有:
lim ⁡ n → ∞ P ( ∣ Y n − a ∣ ) ≥ ϵ = 0 \lim _{n\rightarrow \infty}{P(|Y_n-a|)\ge \epsilon }=0 n→∞limP(∣Yn−a∣)≥ϵ=0
则称 Y n Y_n Yn依概率收敛于 a a a.

“依概率收敛”是为了简化随机变量序列极限的式子创造的定义，它是不同于一般的数列序列的。一般的数列是收敛，不存在概率的问题，而随机变量收敛是以概率收敛，不同于收敛的地方是多了一个限定词:概率。这很符合随机变量的特征，当 n n n充分大时,数列 A n {A_n} An收敛于a,可理解为 A n A_n An必定在a邻域内.而随机变量序列 Y n Y_n Yn可理解为绝大部分值在a上,换言之，允许有限次的序列值不在a的邻域内。

按照这个说法的弱大数定律:样本均值依概率收敛于真实值 μ \mu μ.

中心极限定理

据说是概率论中的“第一”定理。
首先构造随机变量。
独立同分布的随机变量 X 1 , X 2 , . . . . X_1,X_2,.... X1,X2,....,均值 μ \mu μ，方差 σ 2 \sigma^2 σ2,定义:
Z n = S n − n μ σ n Z_n=\frac{S_n-n\mu}{ \sigma \sqrt n} Zn=σn Sn−nμ
S n S_n Sn减去 n μ n\mu nμ是为了使期望存在，除以 n \sqrt n n 是为了使方差存在。
E ( Z n ) = 0 , v a r ( Z n ) = 1. E(Z_n)=0,var(Z_n)=1. E(Zn)=0,var(Zn)=1.

中心极限定理的内容

lim ⁡ n → ∞ P ( Z n ≤ x ) = Φ ( x ) \lim _{n\rightarrow \infty}{P(Z_n\le x)}=\Phi (x) n→∞limP(Zn≤x)=Φ(x)
其中 Φ ( x ) = ∫ − ∞ x f X ( z ) d z \Phi (x)=\int _{-\infty}^{x}f_X(z)dz Φ(x)=∫−∞xfX(z)dz,X是参数为(0,1)的正态分布。
定理的条件:1.独立同分布。2. μ , σ \mu ,\sigma μ,σ存在。

白噪声的分布是正态分布的理论来源。应用的角度看,不必知道具体的分布函数，而只需要知道方差和期望，就可以查阅正态分布表就可以进行具体的计算。

近似计算

正态分布的线性变换仍然是正态分布。因此 S n S_n Sn也可以视作正态分布，参数为 ( n μ , n σ 2 ) (n\mu,n\sigma^2) (nμ,nσ2),当 n n n取具体数时,可以进行近似计算。

利用中心极限定理也可以研究选举问题。可以单独做一篇选举问题的文章。

现在考虑一个问题:这种近似计算的结果有多少可信度。目前没有简单的规则来判断。但有几条可以参考。可以考虑 X i X_i Xi是否与正态分布接近。正态分布是对称的，所以 X i X_i Xi如果对称，想必 S n S_n Sn会与正态分布很接近。而如果不对称，例如 X i X_i Xi是指数分布,那么 n n n必须很大时， S n S_n Sn才与正态分布接近。
另外当 n n n取不同值时，维持了 Z n Z_n Zn方差和均值不变，所以 Z n Z_n Zn在均值附近应当较为准确,即对于 P ( S n ≤ c ) P(S_n\le c) P(Sn≤c),c在 E ( S n ) = n μ E(S_n)=n\mu E(Sn)=nμ附近时较为准确。

二项分布的DeMoivre-Laplace近似，就是利用正态分布去近似计算二项分布。对于离散的随机变量，计算要有个变换.如
P ( S n = k ) = P ( k − 1 / 2 ≤ S n ≤ k + 1 / 2 ) P(S_n=k)=P(k-1/2\le S_n \le k+1/2) P(Sn=k)=P(k−1/2≤Sn≤k+1/2). P ( k ≤ S n ≤ l ) = P ( k − 1 / 2 ≤ S n ≤ l + 1 / 2 ) ) P(k\leq S_n \le l)=P(k-1/2\le S_n \le l+1/2)) P(k≤Sn≤l)=P(k−1/2≤Sn≤l+1/2))

强大数定律

设 X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn是均值为 μ \mu μ的独立同分布的随机变量序列, M n = ( ∑ i = 1 n X i ) / n M_n=(\sum _{i=1}^{n}{X_i})/n Mn=(∑i=1nXi)/n.则:
P ( lim ⁡ n → ∞ M n = μ ) = 1 P(\lim _{n\rightarrow \infty}{M_n=\mu})=1 P(n→∞limMn=μ)=1

跟弱大数定律的比较:强大数定律也是指样本均值收敛于真实均值。但强大数定律的收敛级别更严格。因为极限符号是处于求概率符号P的内部，当事件发生时, M n M_n Mn是严格收敛于 μ \mu μ。而弱大数定律只是 M n M_n Mn在 μ \mu μ附近的概律收敛于1.这也是"依概率收敛"和"以概率1收敛"的区别。
收敛于1和等于1的区别应该可以体会到。
例如根据极限的定义，当 n > N 0 n>N_0 n>N0时,弱大数定律的状况:一部分 M n M_n Mn在 μ \mu μ上，可以有另一部分不在 μ \mu μ上，只需要保证 P ( M n P(M_n P(Mn在 μ \mu μ邻域 ) ) )的概率是0或者很小的正数(趋势是往0靠拢)。当概率取正数时，显然随着 n n n的增大，不在 μ \mu μ上的 M i M_i Mi也会增多,即其数量可以是无穷大(低阶无穷大/高阶无穷大趋近于0)
而 n > N 0 n>N_0 n>N0时强大数定律的状况:事件 M n M_n Mn全部在 μ \mu μ邻域(这是极限的定义),这个事件的概率为1.拥有随机性的地方是这个事件发生的概率，而对于事件本身的要求是明确的，不带随机性的。
这就引出了一个问题:强大数定律中这个概率的样本空间是什么呢?书上给出的样本空间的基础模型是: X 1 , X 2 , . . . X_1,X_2,... X1,X2,...的一个无穷试验序列 ( x 1 , x 2 , . . . ) (x_1,x_2,...) (x1,x2,...).而定义事件 A = { A=\{ A={无穷试验序列的均值极限为 μ \mu μ } \} }。强大数定律就是只有有限次的无穷试验序列的均值极限不为 μ \mu μ.
这又引出了一个问题:强大数定律中的(有限个)某一个试验序列，其均值的极限可以是任意值。
弱大数定律显著性偏离 μ \mu μ的(不在 μ \mu μ邻域内)次数是不确定的,而强大数定律可以保证这个次数是有限次。即到达某个 N 0 N_0 N0以后，不存在显著性偏离 μ \mu μ了。

以概率1收敛

设 Y 1 , Y 2 , . . . Y_1,Y_2,... Y1,Y2,...是某个(不必独立)随机变量序列,实数 c c c,如果:
P ( lim ⁡ n → ∞ Y n = c ) = 1 P(\lim _{n\rightarrow \infty}{Y_n=c})=1 P(n→∞limYn=c)=1
则称 Y n Y_n Yn以概率1(几乎处处)收敛于 c c c.
“以概率1收敛” 可以推出“依概率收敛”,反之则不行。注意"以"和“依”的区别。