Law Of Large Numbers - 大数定律 - 大数定理

大数实质上可以理解为多数。

在随机事件的大量重复出现中，往往呈现几乎必然的规律，这个规律就是大数定律。这个定理就是在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。偶然中包含着某种必然。

大数定律分为弱大数定律和强大数定律。

大数定律是一种描述当试验次数很大时所呈现的概率性质的定律。大数定律并不是经验规律，而是在一些附加条件上经严格证明了的定理，它是一种自然规律因而通常不叫定理而是大数定律。

如果统计数据足够大，那么事物出现的频率就能无限接近他的期望值。

1. 切比雪夫大数定理 (切比雪夫不等式)

设 x1,x2,...,xnx_{1}, x_{2}, ..., x_{n}x1,x2,...,xn 是相互独立的随机变量 (或者两两不相关)，他们分别存在期望 E(xk)E(x_{k})E(xk) 和方差 D(xk)D(x_{k})D(xk)。若存在常数 CCC 使得，D(xk)≤C(k=1,2,...,n)D(x_{k}) \leq C (k = 1, 2, ..., n)D(xk)≤C(k=1,2,...,n)
则对任意小的正数 ϵ\epsilonϵ，满足下列公式

limn→∞P{∣1n∑k=1nxk−1n∑k=1nE(xk)∣<ϵ}=1{\underset {n \rightarrow \infty}{\text{lim}}} P\{ |\frac{1}{n} \sum_{k=1}^{n} x_{k} - \frac{1}{n} \sum_{k=1}^{n} E(x_{k})| < \epsilon \} = 1n→∞limP{∣n1k=1∑nxk−n1k=1∑nE(xk)∣<ϵ}=1

随着样本容量 n 的增加，样本平均数将接近于总体平均数。从而为统计推断中依据样本平均数估计总体平均数提供了理论依据。

切比雪夫大数定理并未要求 x1,x2,...,xnx_{1}, x_{2},... , x_{n}x1,x2,...,xn 同分布，相较于伯努利大数定律和辛钦大数定律更具一般性。

2. 伯努利大数定律

设 μ\muμ 是 nnn 次独立试验中事件 A 发生的次数，且事件 A 在每次试验中发生的概率为 PPP，则对任意正数 ϵ\epsilonϵ，

limn→∞P{∣μnn−p∣<ϵ}=1{\underset {n \rightarrow \infty}{\text{lim}}} P\{ |\frac{\mu_{n}}{n} - p| < \epsilon \} = 1n→∞limP{∣nμn−p∣<ϵ}=1

伯努利大数定律是切比雪夫大数定律的特例，当 n 足够大时，事件 A 出现的频率将几乎接近于其发生的概率，即频率的稳定性。

3. 辛钦大数定律

设 {ai,i≥1}\{a_{i}, i \geq 1\}{ai,i≥1} 为独立同分布的随机变量序列，若 aia_{i}ai 的数学期望存在，则服从大数定律。对任意正数 ϵ\epsilonϵ，

limn→∞P{∣1n∑i=1nai−μ∣<ϵ}=1{\underset {n \rightarrow \infty}{\text{lim}}} P\{ |\frac{1}{n} \sum_{i=1}^{n} a_{i} - \mu| < \epsilon \} = 1n→∞limP{∣n1i=1∑nai−μ∣<ϵ}=1

辛钦大数定律指出用算术平均值来近似实际真值是合理的，而在数理统计中，用算术平均值来估计数学期望就是根据此定律，这一定律使算术平均值的法则有了理论依据。

对于弱大数定律，上述收敛是指依概率收敛 (in probability)。
对于强大数定律，上述收敛是指几乎必然收敛 (almost surely/with probability one)。

大数定律通俗来讲就是样本数量很大的时候，样本均值和真实均值充分接近。大数定律与中心极限定理一起，成为现代概率论、统计学、理论科学和社会科学的基石。