马尔可夫和切比雪夫不等式的证明

2024-05-15 19:06:22

Markov’s inequality(马尔可夫不等式)

定义

XXX是非负的随机变量，对于固定的a>0a>0a>0，那么都有
P(X≥a)≤E[X]aP(X\geq a) \leq \frac{E[X]}{a}P(X≥a)≤aE[X]

证明

假设随机变量YYY有两个取值：0、aaa
Y={a,X≥a0,X≤aY= \begin{cases} a, & \text{$X \geq a$} \\ 0, & \text{$ X \leq a$} \\ \end{cases} Y={a,0,X≥aX≤a
从上述表达式中可以看出，X≥YX \geq YX≥Y始终成立，由此推出
E[X]≥E[Y]E[X] \geq E[Y]E[X]≥E[Y]
同样类似的公式还有：若f(x)≥g(x)f(x) \geq g(x)f(x)≥g(x)，那么∫f(x)dx≥∫g(x)dx\int f(x)dx \geq \int g(x)dx∫f(x)dx≥∫g(x)dx
接下来按照离散随机变量的期望公式 E[Y]=∑1nynP(Y=yn)E[Y] =\sum_{1}^{n} {{y}_{n}P(Y={y}_{n})}E[Y]=∑1nynP(Y=yn)，求YYY的期望：
E[Y]=0∗P(X≤a)+a∗P(X≥a)=aP(X≥a)E[Y]=0*P(X \leq a)+a*P(X \geq a)=aP(X \geq a)E[Y]=0∗P(X≤a)+a∗P(X≥a)=aP(X≥a)
因此，
E[X]≥E[Y]=aP(X≥a)E[X] \geq E[Y]=aP(X \geq a)E[X]≥E[Y]=aP(X≥a)
定理得证。

Chebyshev’s inequality（切比雪夫不等式）

定义

假设随机变量XXX的期望μ\muμ有界，方差σ2{\sigma}^2σ2，k>0k > 0k>0，那么
P(∣X−μ∣≥k)≤σ2k2P(|X-\mu|\geq k) \leq \frac{{\sigma}^2}{{k}^2} P(∣X−μ∣≥k)≤k2σ2

证明

注意到(X−σ)2(X-\sigma)^2(X−σ)2非负，因为P(∣X−μ∣≥k)=P((X−μ)2≥k2)P(|X-\mu|\geq k)=P({(X-\mu)}^2\geq k^2)P(∣X−μ∣≥k)=P((X−μ)2≥k2)，对P((X−μ)2≥k2)P({(X-\mu)}^2\geq k^2)P((X−μ)2≥k2)使用Markov’s inequality（a=k2a=k^2a=k2），
得到：
P(∣X−μ∣≥k)=P((X−μ)2≥k2)≤E[(X−μ)2]k2=σ2k2P(|X-\mu|\geq k)=P({(X-\mu)}^2\geq k^2) \leq \frac{E[{(X-\mu)}^2]}{k^2}=\frac{{\sigma}^2}{k^2} P(∣X−μ∣≥k)=P((X−μ)2≥k2)≤k2E[(X−μ)2]=k2σ2
定理得证

马尔可夫和切比雪夫不等式的证明相关推荐

马尔科夫逻辑网（译文）
马修理查德森(mattr@cs.washington.edu) 和佩德罗多明戈斯 (pedrod@cs.washington.edu) 美国西雅图华盛顿大学计算机科学工程系WA 98195-250 ...
概率论：中心极限定理、马尔科夫不等式、切比雪夫不等式、大数定理
一.中心极限定理 1.1 独立同分布的中心极限定理 1.1.1 定理设X1,X2,...,Xn为相互独立.服从同一分布的随机变量序列,且E(Xi)=μ,D(Xi)=σ2≠0(i=1,2,...n), ...
马尔科夫不等式和坎泰利不等式的证明
马尔科夫不等式(Markov's inequality) 对于随机变量 X X X,有 P ( ∣ X ∣ ⩾ ε ) ⩽ E ∣ X ∣ k ε k , ε > 0 , k < ∞ P\ ...
第十五课.马尔科夫链蒙特卡洛方法
目录 M-H采样 Metropolis-Hastings采样原理 M-H采样步骤 Gibbs方法 Gibbs核心流程 Gibbs采样的合理性证明 Gibbs采样实验在第十四课中讲述了马尔科夫链与其 ...
【机器学习】--隐含马尔科夫模型从初识到应用
一.前述马尔可夫(1856~1922),苏联数学家.切比雪夫的学生.在概率论.数论.函数逼近论和微分方程等方面卓有成就. 马尔可夫模型(Markov Model)是一种统计模型,广泛应用在语 ...
马尔科夫链和马尔科夫链蒙特卡洛方法
前言译自:<Training Restricted Boltzmann Machines: An Introduction > 马尔科夫链在RBM的训练中占据重要地位,因为它提供了从复杂 ...
最大熵模型（ME）和最大熵马尔可夫模型（MEMM）
文章目录最大熵模型(Maximum Entropy Model, MEM) 最大熵思想最大熵模型表示最大熵模型学习最大熵模型求解过程举例最大熵模型与极大似然估计最大熵模型与逻辑回归模型学 ...
HMM(隐马尔可夫)笔记
(模板匹配)DTW主要作用: 把两段不同长度的语音在时间轴上进行了对齐. DTW不足: DTW本质上是一种模板匹配技术,只能进行简单的匹配,而且其参数简单,无法对语音信号的多样性建模,只适用于特定人的 ...
基于启发式算法与单目优化和马尔科夫模型的进出口公司的货物装运策略——整数线性规划随机模拟
目录进出口公司的货物装运策略摘要一.问题的重述 1问题的背景 2问题的提出 3目的及意义二.符号说明三.模型假设四.建模准备与问题分析 4.1 线性整数规划 4.2 三维空间分割启发式算法 ...
hmm隐马尔可夫真的那么难吗？
hmm隐马尔可夫真的那么难吗? 首先上代码这里是github上的关于hmm的:链接概率计算问题:前向-后向算法学习问题:Baum-Welch算法(状态未知) 预测问题:Viterbi算法 htt ...

最新文章

热门文章