写在前面

写一下大数定律，算是复习，也为以后的学习打好基础。本文总结自峁诗松老师的《概率论与数理统计教程（第二版）》及李贤平老师的《概率论基础（第二版）》。一些详细的定理讲解等内容可以从这两本教材中找到，需要资源可以私信我。

为什么要引入大数定律？在大量重复实验中，结果会呈现出明显的规律性，一般可总结为：“概率是频率的稳定值”，用数学语言表示这种稳定性，就是大数定律。

下面先介绍几类收敛，这是之后讨论的前提。

几类收敛

大数定律涉及依概率收敛，中心极限定理涉及依分布收敛。

依分布收敛(分布函数的弱收敛)

设随机变量X,X1,X2,⋯X,\ X_1,\ X_2,\ \cdotsX, X1​, X2​, ⋯的分布函数分别为F(x),F1(x),F2(x),⋯.F(x),\ F_1(x),\ F_2(x),\ \cdots.F(x), F1​(x), F2​(x), ⋯.若对F(x)F(x)F(x)的任一连续点xxx，都有
lim⁡n→∞Fn(x)=F(x),\lim\limits_{n\rightarrow\infty}F_n(x)=F(x), n→∞lim​Fn​(x)=F(x),
则称{Fn(x)}\{F_n(x)\}{Fn​(x)} 弱收敛于F(x)F(x)F(x)，记作Fn(x)⟶WF(x)F_n(x)\stackrel{W}{\longrightarrow} F(x)Fn​(x)⟶W​F(x)，也称{Xn}\{X_n\}{Xn​}依分布收敛(Convergence in distribution)于XXX，记作Xn⟶LXX_n\stackrel{L}{\longrightarrow}XXn​⟶L​X.

依概率收敛

设{Xn}\{X_n\}{Xn​}为一随机变量序列，XXX为一随机变量，如果对∀ε>0\forall \varepsilon>0∀ε>0，有
P(∣Xn−X∣⩾ε)→0(n→∞),P(|X_n-X|\geqslant\varepsilon)\rightarrow0\quad(n\rightarrow\infty), P(∣Xn​−X∣⩾ε)→0(n→∞),
则称序列{Xn}\{X_n\}{Xn​}依概率收敛(Convergence in probability)于XXX, 记作Xn⟶PXX_n\stackrel{P}{\longrightarrow}XXn​⟶P​X.

其含义是，序列XnX_nXn​对XXX的绝对偏差∣Xn−X∣|X_n-X|∣Xn​−X∣小于任意给定量的可能性将随着nnn的增大而越来越接近111, 即
∀ε>0,P(∣Xn−X∣<ε)→1,(n→∞).\forall \varepsilon>0,\ P(|X_n-X|<\varepsilon)\rightarrow 1,\ (n\rightarrow\infty). ∀ε>0, P(∣Xn​−X∣<ε)→1, (n→∞).

定理

1. Xn⟶PX⟹Xn⟶LXX_n\stackrel{P}{\longrightarrow}X\Longrightarrow X_n\stackrel{L}{\longrightarrow}XXn​⟶P​X⟹Xn​⟶L​X，说明依概率分布具有更强的形式；
2. 若ccc为常数，则Xn⟶Pc⟺Xn⟶LcX_n\stackrel{P}{\longrightarrow}c\iff X_n\stackrel{L}{\longrightarrow}cXn​⟶P​c⟺Xn​⟶L​c .

rrr阶收敛

设对随机变量XnX_nXn​及XXX有E∣Xn∣r<∞,E∣X∣r<∞E|X_n|^r<\infty,\ E|X|^r<\inftyE∣Xn​∣r<∞, E∣X∣r<∞, 其中r=const>0r=\mathrm{const}>0r=const>0, 如果
lim⁡n→∞E∣Xn−X∣r=0,\lim_{n\rightarrow \infty}E|X_n-X|^r=0, n→∞lim​E∣Xn​−X∣r=0,
则称{Xn}\{X_n\}{Xn​} r\mathbf{r}r阶收敛(Convergence in r-order mean)于XXX，并记为Xn⟶rXX_n\stackrel{r}{\longrightarrow} XXn​⟶r​X.

定理

• Xn⟶rX⟹Xn⟶PXX_n\stackrel{r}{\longrightarrow} X\Longrightarrow X_n\stackrel{P}{\longrightarrow} XXn​⟶r​X⟹Xn​⟶P​X.

以概率111收敛（几乎处处收敛）

如果
P{lim⁡n→∞Xn=X}=1,P\{\lim_{n\rightarrow \infty}X_n=X\}=1, P{n→∞lim​Xn​=X}=1,
则称{Xn}\{X_n\}{Xn​}以概率111收敛(Convergence in probability 1)于XXX, 或{Xn}\{X_n\}{Xn​}几乎处处收敛于XXX，记Xn⟶a.s.XX_n\stackrel{a.s.}{\longrightarrow}XXn​⟶a.s.​X.

大数定律&中心极限定理

大数定律

大数定律讨论的是在什么条件下，随机变量序列的算术平均依概率收敛到其均值的算术平均。

下面这段话摘自Wikipedia，简单介绍了大数定律。大概意思是：大数定律描述了大量重复试验的结果，即结果的平均值应接近预期值，并随着试验次数的增加，结果将趋于预期值。

The law of large numbers (LLN) is a theorem that describes the result of performing the same experiment a large number of times. According to the law, the average of the results obtained from a large number of trials should be close to the expected value and will tend to become closer to the expected value as more trials are performed.

称随机变量序列{ξn}\{\xi_n\}{ξn​}服从大数定律(Law of Large Numbers，LLN)，如果存在常数序列a1,a2,⋯,an,⋯a_1,\ a_2,\ \cdots,\ a_n,\ \cdotsa1​, a2​, ⋯, an​, ⋯，对∀ε>0,\forall \varepsilon>0,∀ε>0, 令

ηn=ξ1+ξ2+⋯+ξnn\eta_n=\frac{\xi_1+\xi_2+\cdots+\xi_n}n ηn​=nξ1​+ξ2​+⋯+ξn​​

恒有：
lim⁡n→∞P{∣ηn−an∣<ε}=1\lim_{n\rightarrow \infty}P\left\{\left|\eta_n-a_n\right|<\varepsilon\right\}=1 n→∞lim​P{∣ηn​−an​∣<ε}=1

上述大数定律是一种广义的大数定律，下面具体介绍各种不同形式的大数定律。

伯努利(Bernoulli)大数定律

设sns_nsn​为nnn重伯努利试验中事件AAA发生的次数，ppp为每次试验中AAA出现的概率，则对∀ε>0\forall\varepsilon>0∀ε>0，有
lim⁡n→∞P(∣snn−p∣<ε)=1\lim_{n\rightarrow\infty}P\left(\left|\frac{s_n}{n}-p\right|<\varepsilon\right)=1 n→∞lim​P(∣∣∣​nsn​​−p∣∣∣​<ε)=1
证明思路：由于sn∼B(n,p)s_n\sim B(n,\ p)sn​∼B(n, p)，且E(snn)=p,D(snn)=p(1−p)nE(\frac{s_n}{n})=p,\ D(\frac{s_n}{n})=\frac{p(1-p)}{n}E(nsn​​)=p, D(nsn​​)=np(1−p)​，由此应用切比雪夫不等式P{∣X−EX∣<ε}⩾1−DXε2P\{|X-EX|<\varepsilon\}\geqslant1-\frac{DX}{\varepsilon^2}P{∣X−EX∣<ε}⩾1−ε2DX​，以及极限的迫敛性，可以证得结论。

说明：随着试验次数nnn的增大，事件AAA发生的频率snn\frac{s_n}{n}nsn​​与其频率ppp的偏差∣snn−p∣|\frac{s_n}{n}-p|∣nsn​​−p∣大于预先给定的精度ε\varepsilonε的可能性越来越小，这就是“频率稳定于概率”的含义。

切比雪夫(Chebyshev)大数定律

设{Xn}\{X_n\}{Xn​}为一列两两不相关的随机变量序列，若每个XiX_iXi​的方差存在，且有共同上界，即D(Xi)⩽c,i=1,2,⋯D(X_i)\leqslant c,\ i=1,\ 2,\ \cdotsD(Xi​)⩽c, i=1, 2, ⋯，则{Xn}\{X_n\}{Xn​}服从大数定律。用数学语言表示就是：对∀ε>0\forall \varepsilon>0∀ε>0 ，
lim⁡n→∞P{∣1n∑i=1nXi−1n∑i=1nEXi∣<ε}=1\lim_{n\rightarrow\infty}P\left\{\left|\frac1n\sum_{i=1}^{n}X_i-\frac1n\sum_{i=1}^nEX_i\right|<\varepsilon\right\}=1 n→∞lim​P{∣∣∣∣∣​n1​i=1∑n​Xi​−n1​i=1∑n​EXi​∣∣∣∣∣​<ε}=1
成立。

证明同样采用切比雪夫不等式，并运用方差的上界条件，即可证明。

马尔可夫(Markov)大数定律

对随机变量序列{Xn}\{X_n\}{Xn​}, 若马尔可夫条件成立，即下式
1n2D(∑i=1nXi)→0\frac1{n^2}D\left(\sum_{i=1}^nX_i\right)\rightarrow0 n21​D(i=1∑n​Xi​)→0
成立，则{Xn}\{X_n\}{Xn​}服从大数定律，即对∀ε>0\forall \varepsilon>0∀ε>0 ，
lim⁡n→∞P{∣1n∑i=1nXi−1n∑i=1nEXi∣<ε}=1\lim_{n\rightarrow\infty}P\left\{\left|\frac1n\sum_{i=1}^{n}X_i-\frac1n\sum_{i=1}^nEX_i\right|<\varepsilon\right\}=1 n→∞lim​P{∣∣∣∣∣​n1​i=1∑n​Xi​−n1​i=1∑n​EXi​∣∣∣∣∣​<ε}=1
成立。

一种比切比雪夫大数定律更强的结论，对序列{Xn}\{X_n\}{Xn​}没有同分布、独立、不相关的假设，可以推出切比雪夫大数定律。

辛钦(Khinchin)大数定律

设{Xn}\{X_n\}{Xn​}为一独立同分布的随机变量序列，若XiX_iXi​的数学期望存在，则{Xn}\{X_n\}{Xn​}服从大数定律，即对∀ε>0\forall \varepsilon>0∀ε>0 ，

lim⁡n→∞P{∣1n∑i=1nXi−1n∑i=1nEXi∣<ε}=1\lim_{n\rightarrow\infty}P\left\{\left|\frac1n\sum_{i=1}^{n}X_i-\frac1n\sum_{i=1}^nEX_i\right|<\varepsilon\right\}=1 n→∞lim​P{∣∣∣∣∣​n1​i=1∑n​Xi​−n1​i=1∑n​EXi​∣∣∣∣∣​<ε}=1

成立。

辛钦大数定律没有了序列{Xn}\{X_n\}{Xn​}的方差一定存在的条件，伯努利大数定律是辛钦大数定律的特例。

泊松(Poisson)大数定律

如果在一个独立试验序列中，事件AAA在第kkk次试验中出现的概率等于pkp_kpk​，前nnn次试验中事件AAA出现的次数记为μn\mu_nμn​, 则对∀ε>0\forall \varepsilon>0∀ε>0，有
lim⁡n→∞P{∣μnn−p1+p2+⋯+pnn∣<ε}=1.\lim_{n\rightarrow\infty}P\left\{\left|\frac{\mu_n}n-\frac {p_1+p_2+\cdots+p_n}{n}\right|<\varepsilon\right\}=1. n→∞lim​P{∣∣∣∣​nμn​​−np1​+p2​+⋯+pn​​∣∣∣∣​<ε}=1.

可以导出Poisson分布，是一种区别于伯努利试验的另一种独立试验模型。

中心极限定理

中心极限定理讨论了在怎样的条件下，独立随机变量之和Yn=∑i=1nXnY_n=\sum\limits_{i=1}^n X_nYn​=i=1∑n​Xn​的极限分布为正态分布。

考虑随机变量序列ξ1,ξ2,⋯,ξn,⋯\xi_1,\ \xi_2,\ \cdots,\ \xi_n,\ \cdotsξ1​, ξ2​, ⋯, ξn​, ⋯的标准化之和ζn\zeta_nζn​，ζn\zeta_nζn​定义如下：

ζn=∑i=1nξi∑i=1nEξi∑i=1nDξi\zeta_n=\frac{\sum\limits_{i=1}^n\xi_i\sum\limits_{i=1}^nE\xi_i}{\sqrt{\sum\limits_{i=1}^nD\xi_i}} ζn​=i=1∑n​Dξi​​i=1∑n​ξi​i=1∑n​Eξi​​

若ζn\zeta_nζn​满足

lim⁡n→∞P{ζn<x}=12π∫−∞xe−t22dt\lim\limits_{n\rightarrow \infty}P\{\zeta_n<x\}=\frac1{\sqrt{2\pi}}\int_{-\infty}^{x}\mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t n→∞lim​P{ζn​<x}=2π​1​∫−∞x​e−2t2​dt

则称随机变量序列{ξn}\{\xi_n\}{ξn​}服从中心极限定理(Central Limit Theorem)。

独立同分布情形

林德伯格-列维(Lindeberg-Lévy)中心极限定理

设{Xn}\{X_n\}{Xn​}为一独立同分布的随机变量序列，且EXi=μ,DXi=σ2>0EX_i=\mu,\ DX_i=\sigma^2>0EXi​=μ, DXi​=σ2>0 存在，若记
Yn∗=X1+X2+⋯+Xn−nμσn,Y^*_n=\frac{X_1+X_2+\cdots+X_n-n\mu}{\sigma\sqrt n}, Yn∗​=σn​X1​+X2​+⋯+Xn​−nμ​,
则对 ∀y∈R\forall y\in \mathbb{R}∀y∈R, 有
lim⁡n→∞P{Yn∗⩽y}=Φ(y)=12π∫−∞ye−t22dt.\lim\limits_{n\rightarrow \infty}P\{Y_n^*\leqslant y\}=\varPhi(y)=\frac1{\sqrt{2\pi}}\int_{-\infty}^{y}\mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. n→∞lim​P{Yn∗​⩽y}=Φ(y)=2π​1​∫−∞y​e−2t2​dt.

二项分布的正态近似

棣莫弗-拉普拉斯(De Moivre-Laplace)中心极限定理

设nnn重伯努利试验中，事件AAA在每次试验中出现的概率均为ppp，nnn次试验中事件AAA出现的次数记为sns_nsn​,并记
Yn∗=sn−npnpq,Y_n^*=\frac{s_n-np}{\sqrt{npq}}, Yn∗​=npq​sn​−np​,

则对 ∀y∈R\forall y\in \mathbb{R}∀y∈R, 有

lim⁡n→∞P{Yn∗⩽y}=Φ(y)=12π∫−∞ye−t22dt.\lim\limits_{n\rightarrow \infty}P\{Y_n^*\leqslant y\}=\varPhi(y)=\frac1{\sqrt{2\pi}}\int_{-\infty}^{y}\mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. n→∞lim​P{Yn∗​⩽y}=Φ(y)=2π​1​∫−∞y​e−2t2​dt.

应用

1. 由棣莫弗-拉普拉斯中心极限定理，可以导出下面的近似式

P{Yn∗⩽y}≈Φ(y)=β,P\{Y_n^\ast\leqslant y\}\approx\varPhi(y)=\beta, P{Yn∗​⩽y}≈Φ(y)=β,

只需要知道其中两个变量，即可求出第三个（查正态分布表）。

1. 导出伯努利大数定律。

独立不同分布情形

林德伯格中心极限定理

林德伯格条件

设{Xn}\{X_n\}{Xn​}是一个相互独立的随机变量序列，且有有限的数学期望和方差：
E(Xi)=μi,D(Xi)=σi2,i=1,2,⋯E(X_i)=\mu_i,\quad D(X_i)=\sigma_i^2,\quad i=1,\ 2,\ \cdotsE(Xi​)=μi​,D(Xi​)=σi2​,i=1, 2, ⋯并设随机变量之和Yn=∑i=1nXnY_n=\sum\limits_{i=1}^nX_nYn​=i=1∑n​Xn​，其标准化为
Yn∗=∑i=1nXi−μiσ(Yn),Y_n^*=\sum_{i=1}^n\frac{X_i-\mu_i}{\sigma(Y_n)}, Yn∗​=i=1∑n​σ(Yn​)Xi​−μi​​,则对∀τ>0\forall \tau>0∀τ>0，有
lim⁡n→∞1τ2σ2(Yn)∑i=1n∫∣x−μi∣>τσ(Yn)(x−μi)2pi(x)dx=0,(1)\lim_{n\rightarrow \infty}\frac1{\tau^2\sigma^2(Y_n)}\sum_{i=1}^n\int_{|x-\mu_i|>\tau\sigma(Y_n)}(x-\mu_i)^2p_i(x)\mathrm{d}x=0, \tag{1} n→∞lim​τ2σ2(Yn​)1​i=1∑n​∫∣x−μi​∣>τσ(Yn​)​(x−μi​)2pi​(x)dx=0,(1)称(1)(1)(1)式为林德伯格条件。林德伯格证明了满足(1)(1)(1)式的Yn∗Y_n^*Yn∗​的极限分布是正态分布，即下面的林德伯格中心极限定理。

林德伯格中心极限定理

设独立随机变量序列{Xn}\{X_n\}{Xn​}满足林德伯格条件，则对 ∀x\forall x∀x，有
lim⁡n→∞P{1σ(Yn)∑i=1n(Xi−μi)⩽x}=12π∫−∞xe−t22dt.\lim_{n\rightarrow\infty}P\left\{\frac1{\sigma(Y_n)}\sum_{i=1}^n(X_i-\mu_i)\leqslant x\right\}=\frac1{\sqrt{2\pi}}\int_{-\infty}^x\mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. n→∞lim​P{σ(Yn​)1​i=1∑n​(Xi​−μi​)⩽x}=2π​1​∫−∞x​e−2t2​dt.
注记：
若独立随机变量序列{Xn}\{X_n\}{Xn​}满足同分布、方差有限的条件，则必满足(1)(1)(1)的林德伯格条件，即林德伯格-列维中心极限定理是林德伯格中心极限定理的特例。

李雅普诺夫中心极限定理

设{Xn}\{X_n\}{Xn​}为独立随机变量序列，若存在δ>0\delta>0δ>0，满足
lim⁡n→∞1σ2+δ(Yn)∑i=1nE(∣Xi−μi∣2+δ)=0,\lim_{n\rightarrow\infty}\frac{1}{\sigma^{2+\delta}(Y_n)}\sum_{i=1}^{n}E(|X_i-\mu_i|^{2+\delta})=0, n→∞lim​σ2+δ(Yn​)1​i=1∑n​E(∣Xi​−μi​∣2+δ)=0,则对∀x\forall x∀x，有
lim⁡n→∞P{1σ(Yn)∑i=1n(Xi−μi)⩽x}=12π∫−∞xe−t22dt.\lim_{n\rightarrow\infty}P\left\{\frac1{\sigma(Y_n)}\sum_{i=1}^n(X_i-\mu_i)\leqslant x\right\}=\frac1{\sqrt{2\pi}}\int_{-\infty}^x\mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. n→∞lim​P{σ(Yn​)1​i=1∑n​(Xi​−μi​)⩽x}=2π​1​∫−∞x​e−2t2​dt.

大数定律、中心极限定理总结相关推荐

1. 切比雪夫不等式 大数定律 中心极限定理

   本篇为<深度学习>系列博客的第五篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅. 上篇博客说道"均值和期望的联系是大数定理联系起来的',这里这里看到一 ...

2. 详细解释大数定律+中心极限定理（三）

   大数定律 大数定律就以严格的数学形式表现了随机现象的一个性质:平稳结果的稳定性(或者说频率的稳定性) 大数定律从理论上解决:用频率近似代替概率的问题:P(A)≈nAnP(A)≈nAnP(A) \app ...

3. 高昆仑大数定律 中心极限定理

   https://www.bilibili.com/video/av64373138?from=search&seid=4923884860246232901

4. 大数定律和中心极限定理（未完成）

   大数定律和中心极限定理 背景:Chebyshev不等式.特征函数和两种收敛性 Chebyshev不等式 问题 定义 解释 特征函数 依概率收敛 背景 定义 含义解释 依分布收敛.弱收敛 大数定律 切比 ...

5. 【概率论与数理统计】猴博士 笔记 p38-40 切比雪夫不等式、大数定律、中心极限定理

   文章目录 切比雪夫不等式 大数定律 中心极限定理 切比雪夫不等式 题干特征: 求的P里面有不等式 求的概率的事件是某个绝对值 求的P里面的不等式符号与外面的不等式符号相反 满足以上特征就要用到切比雪夫 ...

6. 大数定理的MATLAB编程,用MATLAB模拟大数定律和中心极限定理.pdf

   您所在位置:网站首页 > 海量文档 &nbsp>&nbsp计算机&nbsp>&nbspmatlab 用MATLAB模拟大数定律和中心极限定理.pdf8 ...

7. 数理统计仿真实验：大数定律、中心极限定理、矩估计与极大似然估计（含MATLAB代码）

   目录 数理统计仿真实验(Computational Practice) 大数定律(the Law of Large Numbers) 二项分布(Binomial Distribution) 泊松分布( ...

8. [统计学]大数定律与中心极限定理

   大数定律和中心极限定理 大数定律 中心极限定理 大数定律和中心极限定理的联系 伯努利分布 在统计活动中,人们发现,在相同条件下大量重复进行一种随机实验时,一件事情发生的次数与实验次数的比值,即该事件发 ...

9. 大数定理的MATLAB编程,用MATLAB模拟大数定律和中心极限定理

   收稿日期: 2005 - 02 - 04 作者简介: 林小苹(1964-) , 女 , 广东汕头人 , 讲师. 文章编号 : 100124217(2005)020012207 用 MATLAB 模拟大 ...

10. 概率论—随机变量的数字特征、大数定律及中心极限定理

    文章目录 概率论4.5章 随机变量的数字特征 大数定律及中心极限定理 概率论4.5章 随机变量的数字特征 大数定律及中心极限定理

最新文章

1. 摄像头和相机模型和内参原理
2. PowerShell字体颜色修改
3. php curl form-data,在php curl multipart / form-data请求中发送一个文件和json数据
4. 刷排名优优软件_QQ群拉人了，排名后置了?申诉案例
5. java reflectionutils_Spring中的各种Utils（五）：ReflectionUtils详解（转载）
6. GitHub趋势:Vue.js大有超过TensorFlow之势!
7. 纯手工打造简单分布式爬虫(Python)
8. Java日志组件间关系
9. Silverlight 4 Tools中文版下载
10. 拆与组装计算机的全过程,拆装及组装电脑方法
11. 二本机械毕业2年，从外包ETL到大厂数据开发，月薪13K到年薪40W
12. centos 防火墙关闭 不能访问3306端口
13. AirFlow_使用
14. outer和left outer join有什么区别
15. 关于go命令下载工具终端提示找不到工具
16. 计算机科学数学基础及教材推荐(转)
17. 编译原理知识点总结——字母表和串（附思维导图）
18. SuMA++论文重点总结
19. 【堡垒机】2022年云堡垒机品牌排名大比拼
20. 某航空公司客户价值分析

热门文章

1. 生成9mb、10mb、20mb、30mb的星云图片，常用于图片测试
2. transformer中的多头注意力机制
3. hdu 6437 - 最大费用流
4. 国内主机备案是干嘛的? 国内免备案主机是真的吗?
5. 2016中国大数据市场研究报告
6. 串联滞后校正网络的作用_以下关于串联滞后校正的描述正确的是( )。
7. LINUX下DNS的查看和配置,Linux系统中查看和修改DNS配置的方法
8. win7网络打印机重启后脱机的问题
9. 小米9pro计算机打不开,小米9 Pro刷机教程，线刷升级更新官方系统包
10. Django验证码——手机注册登录