切比雪夫不等式与马尔可夫不等式

2024-06-08 19:07:29

切比雪夫不等式与马尔可夫不等式

切比雪夫不等式与马尔可夫不等式为随机变量与其期望值偏离程度提供了数值上的证明，统计学与概率论上著名的大数定律可以基于这两个不等式得到证明。

切比雪夫不等式

切比雪夫不等式将随机变量的分布与其期望和方差关联起来，有以下形式：
P{∣X−μ∣≥ϵ}≤σ2ϵ2ϵ>0P\{|X-\mu|\ge\epsilon\}\le\frac{\sigma^2}{\epsilon^2}\\ \epsilon\gt 0 P{∣X−μ∣≥ϵ}≤ϵ2σ2ϵ>0
这个不等式直观上理解就是随机变量越偏离其期望值的概率越小，关于这个概率的度量可以和其方差联系到一起。关于这个不等式的证明，有以下推导：
P{∣X−μ∣≥ϵ}=∫∣x−μ∣≥ϵf(x)dx≤∫∣x−μ∣≥ϵ(x−μ)2ϵ2f(x)dx≤1ϵ2∫(x−μ)2f(x)dx=σ2ϵ2P\{|X-\mu|\ge\epsilon\}=\int_{|x-\mu|\ge\epsilon}f(x)dx\le\int_{|x-\mu|\ge\epsilon}\frac{(x-\mu)^2}{\epsilon^2}f(x)dx\\\le\frac{1}{\epsilon^2}\int (x-\mu)^2f(x)dx=\frac{\sigma^2}{\epsilon^2} P{∣X−μ∣≥ϵ}=∫∣x−μ∣≥ϵf(x)dx≤∫∣x−μ∣≥ϵϵ2(x−μ)2f(x)dx≤ϵ21∫(x−μ)2f(x)dx=ϵ2σ2

马尔可夫不等式

马尔可夫不等式相比切比雪夫不等式不需要知道随机变量的方差。马尔可夫不等式有以下式子：
P{X≥a}≤E(X)aa>0P{X≥0}=1P\{X\ge a\}\le\frac{E(X)}{a}\\ a\gt 0\\ P\{X\ge 0\}=1 P{X≥a}≤aE(X)a>0P{X≥0}=1
这个不等式给随机变量的分布函数提出了一个宽泛而有用的边界，证明如下：
E(x)=∫0∞xf(x)dx≥∫a∞xf(x)dx≥a∫a∞f(x)dx=aP{X≥a}E(x)=\int_0^{\infin} xf(x)dx\ge\int_a^{\infin}xf(x)dx\ge a\int_a^{\infin}f(x)dx=aP\{X\ge a\} E(x)=∫0∞xf(x)dx≥∫a∞xf(x)dx≥a∫a∞f(x)dx=aP{X≥a}
对于取值大于0的随机变量，可以使用马尔可夫不等式证明切比雪夫不等式：
P{∣X−μ∣≥ϵ}=P{(X−μ)2≥ϵ2}≤E((X−μ)2)ϵ2=σ2ϵ2P\{|X-\mu|\ge\epsilon\}=P\{(X-\mu)^2\ge\epsilon^2\}\le\frac{E((X-\mu)^2)}{\epsilon^2}=\frac{\sigma^2}{\epsilon^2} P{∣X−μ∣≥ϵ}=P{(X−μ)2≥ϵ2}≤ϵ2E((X−μ)2)=ϵ2σ2

切比雪夫不等式与马尔可夫不等式相关推荐

概率论：中心极限定理、马尔科夫不等式、切比雪夫不等式、大数定理
一.中心极限定理 1.1 独立同分布的中心极限定理 1.1.1 定理设X1,X2,...,Xn为相互独立.服从同一分布的随机变量序列,且E(Xi)=μ,D(Xi)=σ2≠0(i=1,2,...n), ...
马尔科夫不等式和坎泰利不等式的证明
马尔科夫不等式(Markov's inequality) 对于随机变量 X X X,有 P ( ∣ X ∣ ⩾ ε ) ⩽ E ∣ X ∣ k ε k , ε > 0 , k < ∞ P\ ...
第十五课.马尔科夫链蒙特卡洛方法
目录 M-H采样 Metropolis-Hastings采样原理 M-H采样步骤 Gibbs方法 Gibbs核心流程 Gibbs采样的合理性证明 Gibbs采样实验在第十四课中讲述了马尔科夫链与其 ...
马尔科夫链和马尔科夫链蒙特卡洛方法
前言译自:<Training Restricted Boltzmann Machines: An Introduction > 马尔科夫链在RBM的训练中占据重要地位,因为它提供了从复杂 ...
最大熵模型（ME）和最大熵马尔可夫模型（MEMM）
文章目录最大熵模型(Maximum Entropy Model, MEM) 最大熵思想最大熵模型表示最大熵模型学习最大熵模型求解过程举例最大熵模型与极大似然估计最大熵模型与逻辑回归模型学 ...
HMM(隐马尔可夫)笔记
(模板匹配)DTW主要作用: 把两段不同长度的语音在时间轴上进行了对齐. DTW不足: DTW本质上是一种模板匹配技术,只能进行简单的匹配,而且其参数简单,无法对语音信号的多样性建模,只适用于特定人的 ...
基于启发式算法与单目优化和马尔科夫模型的进出口公司的货物装运策略——整数线性规划随机模拟
目录进出口公司的货物装运策略摘要一.问题的重述 1问题的背景 2问题的提出 3目的及意义二.符号说明三.模型假设四.建模准备与问题分析 4.1 线性整数规划 4.2 三维空间分割启发式算法 ...
hmm隐马尔可夫真的那么难吗？
hmm隐马尔可夫真的那么难吗? 首先上代码这里是github上的关于hmm的:链接概率计算问题:前向-后向算法学习问题:Baum-Welch算法(状态未知) 预测问题:Viterbi算法 htt ...
ESL第三章回归的线性方法系数近似置信集/高斯-马尔可夫定理/正交化、最优子集/向前向后逐步选择/向前分段回归、参数有效数量/最小角回归、主成分/偏最小二乘、多输出收缩、其他L1和路径相关算法
(ESL把线性回归讲的非常丰富,真的开阔视野) 目录 3.2 线性回归模型的最小二乘法 3.2.2 高斯-马尔可夫定理 3.2.3 从简单单变量回归到多重回归 3.2.4 多输出 3.3 子集选择 3 ...
运筹优化学习17：马尔科夫决策规划--例题及Matlab、Lingo和Cplex的建模实现
目录 1 胡运权<运筹学>211页题目及理论分析 1.1 题目介绍 1.2 Matlab实现 1.3 使用Lingo求解 1.4 使用Cplex建模及求解 2 刘克<马尔科夫决策过程 ...

最新文章

热门文章