一、马尔可夫不等式（Markov）

马尔可夫不等式描述的是非负随机变量绝对位置的概率上限

对于非负随机变量X，a >= 0，有 $P(X\geq a)\leq \frac{EX}{a}$

证明：原式可化为

$\int_{a}^{\infty}f(x)dx\leq \int_{0}^{\infty}\frac{x}{a}f(x)dx$

注意到，因为 X 非负，右边 $\int_{0}^{\infty}\frac{x}{a}f(x)dx\geq \int_{a}^{\infty}\frac{x}{a}f(x)dx\geq \int_{a}^{\infty}f(x)dx=P(X\geq a)$

二、切比雪夫不等式（Chebyshev）

切比雪夫不等式描述的是随机变量距期望相对位置偏离的概率上限

$P(|X-EX|\geq \varepsilon )\leq \frac{Var(X)}{\varepsilon^2}$

证明：记 $\Phi =\{|x-EX|\geq \varepsilon \}$

$\int_{\Phi}^{ }f(x)dx\leq \frac{E(X-EX)^2}{\varepsilon^2}$

右边 $\frac{E(X-EX)^2}{\varepsilon^2}=\int_{-\infty}^{\infty}(x-EX)^2f(x)dx/\varepsilon^2\geq \int_{{\Phi}^{ }}(x-EX)^2f(x)dx/\varepsilon^2$

注意到，在 $\Phi$ 中， $(x-EX)^2\geq \varepsilon ^2$ ，因此有

$\int_{{\Phi}^{ }}(x-EX)^2f(x)dx/\varepsilon^2\geq \int_{{\Phi}^{ }}f(x)dx$

三、柯西-施瓦茨不等式（Cauchy-Schwarz）

柯西-施瓦茨不等式描述的是协方差与方差之间的不等关系

$Cov(X,Y)^2\leq \sigma _{X}^2\sigma _{Y}^2$

证明：上式可化为 $E^2(X-EX)(Y-EY)\leq E(X-EX)^2E(Y-EY)^2$

可以看到组成部分只有 2 个： $X-EX$ 与 $Y-EY$

因此构造函数 $f(t)=E[t(X-EX)+(Y-EY)]^2$

$=E[(X-EX)^2t^2+2(X-EX)(Y-EY)t+(Y-EY)^2]$

显然有 $f(t)\leq 0$ ，所以上述二次函数 $\Delta =4E^2(X-EX)(Y-EY)-4E(X-EX)^2E(Y-EY)^2\leq 0$

即柯西-施瓦茨不等式

马尔可夫不等式、切比雪夫不等式、柯西-施瓦茨不等式相关推荐

概率论：中心极限定理、马尔科夫不等式、切比雪夫不等式、大数定理
一.中心极限定理 1.1 独立同分布的中心极限定理 1.1.1 定理设X1,X2,...,Xn为相互独立.服从同一分布的随机变量序列,且E(Xi)=μ,D(Xi)=σ2≠0(i=1,2,...n), ...
马尔科夫不等式和坎泰利不等式的证明
马尔科夫不等式(Markov's inequality) 对于随机变量 X X X,有 P ( ∣ X ∣ ⩾ ε ) ⩽ E ∣ X ∣ k ε k , ε > 0 , k < ∞ P\ ...
第十五课.马尔科夫链蒙特卡洛方法
目录 M-H采样 Metropolis-Hastings采样原理 M-H采样步骤 Gibbs方法 Gibbs核心流程 Gibbs采样的合理性证明 Gibbs采样实验在第十四课中讲述了马尔科夫链与其 ...
马尔科夫链和马尔科夫链蒙特卡洛方法
前言译自:<Training Restricted Boltzmann Machines: An Introduction > 马尔科夫链在RBM的训练中占据重要地位,因为它提供了从复杂 ...
最大熵模型（ME）和最大熵马尔可夫模型（MEMM）
文章目录最大熵模型(Maximum Entropy Model, MEM) 最大熵思想最大熵模型表示最大熵模型学习最大熵模型求解过程举例最大熵模型与极大似然估计最大熵模型与逻辑回归模型学 ...
HMM(隐马尔可夫)笔记
(模板匹配)DTW主要作用: 把两段不同长度的语音在时间轴上进行了对齐. DTW不足: DTW本质上是一种模板匹配技术,只能进行简单的匹配,而且其参数简单,无法对语音信号的多样性建模,只适用于特定人的 ...
基于启发式算法与单目优化和马尔科夫模型的进出口公司的货物装运策略——整数线性规划随机模拟
目录进出口公司的货物装运策略摘要一.问题的重述 1问题的背景 2问题的提出 3目的及意义二.符号说明三.模型假设四.建模准备与问题分析 4.1 线性整数规划 4.2 三维空间分割启发式算法 ...
hmm隐马尔可夫真的那么难吗？
hmm隐马尔可夫真的那么难吗? 首先上代码这里是github上的关于hmm的:链接概率计算问题:前向-后向算法学习问题:Baum-Welch算法(状态未知) 预测问题:Viterbi算法 htt ...
ESL第三章回归的线性方法系数近似置信集/高斯-马尔可夫定理/正交化、最优子集/向前向后逐步选择/向前分段回归、参数有效数量/最小角回归、主成分/偏最小二乘、多输出收缩、其他L1和路径相关算法
(ESL把线性回归讲的非常丰富,真的开阔视野) 目录 3.2 线性回归模型的最小二乘法 3.2.2 高斯-马尔可夫定理 3.2.3 从简单单变量回归到多重回归 3.2.4 多输出 3.3 子集选择 3 ...
运筹优化学习17：马尔科夫决策规划--例题及Matlab、Lingo和Cplex的建模实现
目录 1 胡运权<运筹学>211页题目及理论分析 1.1 题目介绍 1.2 Matlab实现 1.3 使用Lingo求解 1.4 使用Cplex建模及求解 2 刘克<马尔科夫决策过程 ...

马尔可夫不等式、切比雪夫不等式、柯西-施瓦茨不等式

一、马尔可夫不等式（Markov）

二、切比雪夫不等式（Chebyshev）

三、柯西-施瓦茨不等式（Cauchy-Schwarz）

马尔可夫不等式、切比雪夫不等式、柯西-施瓦茨不等式相关推荐

最新文章

热门文章