概率论基础 - 6 - 切比雪夫不等式

切比雪夫不等式可以使人们在随机变量X的分布未知的情况下，对事件$|X-\mu|<\varepsilon $ 概率作出估计。

定义

假设随机变量XXX具有期望E(X)=μE(X)=\muE(X)=μ，方差 Var(X)=σ2Var(X)=\sigma^2Var(X)=σ2，则对于任意正数ε\varepsilonε ，有不等式成立：

P{∣X−μ∣≥ε}≤σ2ε2\mathbb P\{|X-\mu| \geq \varepsilon\} \leq \frac{\sigma^{2}}{\varepsilon^{2}} P{∣X−μ∣≥ε}≤ε2σ2

含义

其意义是：对于距离E(X)E(X)E(X)足够远的地方（距离大于等于ε\varepsilonε），事件出现的概率是小于等于σ2ε2\frac{\sigma^{2}}{\varepsilon^{2}}ε2σ2 。即事件出现在区间[μ−ε,μ+ε][\mu-\varepsilon, \mu+\varepsilon][μ−ε,μ+ε] 的概率大于1−σ2ε21-\frac{\sigma^2}{\varepsilon^2}1−ε2σ2
该不等式给出了随机变量XXX在分布未知的情况下，事件∣X−μ∣≤ε|X-\mu| \leq \varepsilon∣X−μ∣≤ε 的下限估计

例如：

P{∣X−μ∣<3σ}≥1−19=89\mathbb P\{|X-\mu|\ < 3 \sigma \} \ge 1-\frac{1}{9}=\frac{8}{9} P{∣X−μ∣ <3σ}≥1−91=98
切比雪夫不等式刻画了变量偏离均值的程度与发生概率大小之间的关系
在随机变量分布未知的情况下，我们只知道均值和方差，切比雪夫不等式给出了XXX落入以均值为中心的εεε邻域概率的概率下界

证明

思路1

利用取值范围建立不等式

{%raw%}
P{∣X−μ∣≥ε}=∫∣x−μ∣≥εp(x)dx≤∫∣x−μ∣≥ε∣x−μ∣2ε2p(x)dx≤1ε2∫−∞∞(x−μ)2p(x)dx=σ2ε2\begin{aligned} \mathbb P\{|X-\mu| \geq \varepsilon\} &=\int_{|x-\mu| \geq \varepsilon} p(x) d x \\ &\leq \int_{|x-\mu| \geq \varepsilon} \frac{|x-\mu|^{2}}{\varepsilon^{2}} p(x) d x \\ & \leq \frac{1}{\varepsilon^{2}} \int_{-\infty}^{\infty}(x-\mu)^{2} p(x) d x\\ &=\frac{\sigma^{2}}{\varepsilon^{2}} \end{aligned} P{∣X−μ∣≥ε}=∫∣x−μ∣≥εp(x)dx≤∫∣x−μ∣≥εε2∣x−μ∣2p(x)dx≤ε21∫−∞∞(x−μ)2p(x)dx=ε2σ2

{%endraw%}

思路2

利用马尔可夫不等式

P(X≥a)≤E(X)a\mathbb{P}(X \geq a) \leq \frac{\mathbb{E}(X)}{a} P(X≥a)≤aE(X)

将∣X−μ∣|X-\mu|∣X−μ∣作为随机变量带入不等式，有：

P(∣X−μ∣≥ε)≤E(∣X−μ∣)ε\mathbb P(|X-\mu| \ge \varepsilon) \leq \frac{E(|X-\mu|)}{\varepsilon} P(∣X−μ∣≥ε)≤εE(∣X−μ∣)

其中ε>0\varepsilon > 0ε>0，而：

P(∣X−μ∣≥ε)=P(∣X−μ∣2≥ε2)\mathbb P(|X-\mu| \ge \varepsilon) = \mathbb P(|X-\mu|^2 \ge \varepsilon^2) P(∣X−μ∣≥ε)=P(∣X−μ∣2≥ε2)

再次套用马尔可夫不等式：

P(∣X−μ∣≥ε)=P(∣X−μ∣2≥ε2)≤E(∣X−μ∣2)ε2=σ2ε2\mathbb P(|X-\mu| \ge \varepsilon) =\mathbb P(|X-\mu|^2 \ge \varepsilon^2) \le \frac{E(|X-\mu|^2)}{\varepsilon^2}=\frac{\sigma^2}{\varepsilon^2} P(∣X−μ∣≥ε)=P(∣X−μ∣2≥ε2)≤ε2E(∣X−μ∣2)=ε2σ2

推论——切比雪夫定理

对于相互独立具有相同期望和方差的随机变量XiX_iXi，$\frac{1}{n}\sum\limits_{i = 1}^n {{X_i}} $的方差为：

{%raw%}
Var(X)n=σ2n\frac{{Var(X)}}{n}=\frac{{{\sigma ^2}}}{n} nVar(X)=nσ2

{%endraw%}

那么当 $n \to \infty 时，时，时，\frac{1}{n}\sum\limits_{i = 1}^n {{X_i}} 的方差的方差的方差\to 0 ，对于任意给定的，对于任意给定的，对于任意给定的\varepsilon > 0$，根据切比雪夫不等式有：

{%raw%}
lim⁡n→∞P{∣1n∑i=1nXi−E(Xi)∣<ε}=1\lim _{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{i=1}^{n} X_{i}-E\left(X_{i}\right)\right|<\varepsilon\right\}=1 n→∞limP{∣∣∣∣∣n1i=1∑nXi−E(Xi)∣∣∣∣∣<ε}=1

{%endraw%}

即当样本个数趋于无穷时，样本的算数平均值会收敛于理论均值

参考资料

https://baike.baidu.com/item/%E5%88%87%E6%AF%94%E9%9B%AA%E5%A4%AB%E5%AE%9A%E7%90%86/3647561?fromtitle=%E5%88%87%E6%AF%94%E9%9B%AA%E5%A4%AB%E4%B8%8D%E7%AD%89%E5%BC%8F&fromid=8709330&fr=aladdin
http://www.huaxiaozhuan.com/%E6%95%B0%E5%AD%A6%E5%9F%BA%E7%A1%80/chapters/2_probability.html
https://blog.csdn.net/ukakasu/article/details/82688413