1.Schwarz 不等式

对于任意的随机变量 $X$ 和 $Y$ 均有

$(E[XY])^2\leq E[X^2] E[Y^2]$

证明：假设 $E[Y^2]\neq 0$ ，否则 $P(Y=0)=1$ ，有 $E(XY)=0$ ,所以不等式成立。我们有

$\begin{align} 0 & \leq E[(X-\frac{E[XY]}{E[Y^2]}Y)^2] \nonumber \\ & = E[X^2-2\frac{E[XY]}{E[Y^2]}XY+\frac{(E[XY])^2}{(E[Y^2])^2}Y^2] \nonumber \\ & = E[X^2]-2\frac{E[XY]}{E[Y^2]}E[XY]+\frac{(E[XY])^2}{(E[Y^2])^2}E[Y^2]\nonumber \\ & = E[X^2]-\frac{(E[XY])^2}{E[Y^2]}\nonumber \end{align}$

即 $(E[XY])^2\leq E[X^2] E[Y^2]$ .

2. Markov不等式

设随机变量 $X$ 只取非负值，则对任意的 $a> 0$ ,

$P(X\geq a)\leq \frac{E[X] }{a}$

证明：固定正数 $a$ ,定义一个随机变量 $Y_a$

$Y_a= \left\{\begin{matrix} 0, \quad if \quad X< a \\ a, \quad if \quad X\geq a \end{matrix}\right.$

易知， $Y_a\leq X$ 总成立，从而有

$E[Y_a]\leq E[X]$

另一方面

$E[Y_a]=aP(Y_a=a)=aP(X\geq a)$ ,

所以

$aP(X\geq a)\leq E[X]$

粗略的讲，该不等式是指，一个非负随机变量，如果均值很小，则该随机变量取大值的概率也非常小.

3.Chebyshev不等式

设随机变量 $X$ 的均值为 $\mu$ ,方差为 $\sigma ^2$ ,则对任意的 $c> 0$ ，

$P(|X- \mu|\geq c)\leq \frac{\sigma ^2}{c^2}$

证明：考虑非负随机变量 $(X-\mu)^2$ ,令 $a=c^2$ ,使用上述马尔可夫不等式，可得

$P(|X- \mu|^2\geq c^2)\leq\frac{E[(X-\mu)^2]}{c^2} =\frac{\sigma ^2}{c^2}$

注意，事件 $|X- \mu|^2\geq c^2$ 等价于事件 $|X- \mu|\geq c$ ，所以

$P(|X- \mu|\geq c)=P(|X- \mu|^2\geq c^2)\leq\frac{\sigma ^2}{c^2}$

也可不使用马尔可夫不等式，证明如下.

设 $X$ 是连续型随机变量，定义函数

$g(x)= \left\{\begin{matrix} 0, \quad if \quad |x -\mu|< c \\ c^2, \quad if \quad |x -\mu|\geq c \end{matrix}\right.$

注意，对于任意的 $x$ , $(x-\mu)^2\geq g(x)$ ,所以

$\sigma ^2=\int_{-\infty}^{+\infty}(x-\mu)^2f_X(x)dx\geq \int_{-\infty}^{+\infty}g(x)f_X(x)dx=c^2P(|x-\mu|\geq c)$

令 $c=k\sigma$ ,其中 $k$ 是正数，则得到切比雪夫不等式的另一个版本：

$P(|X- \mu|\geq k\sigma)\leq \frac{\sigma ^2}{k^2\sigma^2}=\frac{1}{k^2}$

所以一个随机变量的取值偏离其均值 $k$ 倍标准差的概率最多是 $1/k^2$ .

粗略的讲，切比雪夫不等式是指，如果一个随机变量的方差非常小，那么该随机变量则远离均值 $\mu$ 的概率也非常小.需要注意的是，切比雪夫不等式并不要求所涉及的随机变量非负.

4.Jensen不等式

如果 $f$ 是一个凸函数， $X$ 是随机变量，则

$E[f(X)]\geq f(E[X])$

证明：因为 $f$ 是凸函数，那么它的二阶导在 $x$ 的定义域内是非负的,所以它的一阶导一定是非降，应用积分原理可得

$f(x)=f(a)+\int_{a}^{x}\frac{\mathrm{d} f}{\mathrm{d} t}(t)dt\geq f(a)+\int_{a}^{x}\frac{\mathrm{d} f}{\mathrm{d} t}(a)dt\geq f(a)=f(a)+(x-a)\frac{\mathrm{d} f}{\mathrm{d} x}a$

由于上述不等式对随机变量 $X$ 的所有的可能取值 $x$ 都成立，所以

$f(a)+(X-a)\frac{\mathrm{d} f}{\mathrm{d} x}a\leq f(X)$

取 $a=E[X]$ ,并在上式两边取期望，可得

$f(E[X])+(E[X]-E[X])\frac{\mathrm{d} f}{\mathrm{d} x}(E[X])\leq E[f(X)]$

即

$f(E[X])\leq E[f(X)]$

另外一种证明方法采用数学归纳法证明如下.

概率论中的不等式(Markov不等式、Chebyshev不等式、Jensen不等式）相关推荐

微积分中几个重要的不等式：Jensen不等式、平均值不等式、Holder不等式、Schwarz不等式、Minkovski不等式及其证明
目录一:几个重要不等式的形式 1,Jensen不等式 2,平均值不等式 3,一个重要的不等式 4,Holder不等式 5,Schwarz不等式和 Minkovski不等式二:不等式的证明 1 ...
Lyapunov-Krasovskii泛函中Jensen不等式和倒凸组合引理的运用
Lyapunov-Krasovskii泛函中Jensen不等式和倒凸组合引理的运用 1 Lyapunov-Krasovskii泛函举例 2 Jensen不等式 3 倒凸组合引理 3.1 倒数凸组合定义 ...
概率论：中心极限定理、马尔科夫不等式、切比雪夫不等式、大数定理
一.中心极限定理 1.1 独立同分布的中心极限定理 1.1.1 定理设X1,X2,...,Xn为相互独立.服从同一分布的随机变量序列,且E(Xi)=μ,D(Xi)=σ2≠0(i=1,2,...n), ...
最优化之凸集、凸函数、上确界、Jensen不等式、共轭函数、Fenchel不等式、拉格朗日乘子法、KKT条件
最优化之凸集.凸函数.上确界.Jensen不等式.共轭函数.Fenchel不等式.拉格朗日乘子法.KKT条件.拉格朗日对偶 1.直线的向量表达 1.1 共线定理对于任意两个向量a⃗,b⃗\vec{a ...
定义域可以写成不等式吗_证单变量不等式（一）
在历年高考中,函数不等式的证明是常见题型,主要分两类:单变量不等式和双变量不等式,我们今天先学习单变量不等式的证明. 单变量不等式,即不等式中,变量只有一个,形如不等式中,只有一个变量 ,而只是一 ...
不等式大两边小中间_不等式取值范围口诀
不等式取值范围口诀2019-09-27 11:13:46文/宋则贤不等式就是用大于,小于,大于等于,小于等于连接而成的数学式子.不等式取值范围口诀为同大取大,同小取小.大大小小没有解,大小小大取中间 ...
4个基本不等式的公式高中_不等式链(高中4个基本不等式链推导)
高中数学基本不等式链如下:算术平均数( arithmetic mean),又称均值,是统计学中最基本.最常用的一种平均指标,分为简单算术平均数.加权算术平均数.它主要. 几个不等式联立起来,叫做不等式 ...
2022刘仲文程聪孙迎迎--用Jensen不等式证明相对熵的非负性
学习内容:利用Jensen不等式证明相对熵的非负性,即: 相对熵的定义 Jensen不等式的内容第一次证明: 第一次证明是无效的,首先是因为Jensen不等式的公式构造有误,不等号右边应为,其次使用 ...
从线性代数理解余弦定理，三角不等式，A-G不等式和柯西-许瓦兹不等式
从线性代数理解余弦定理,三角不等式,A-G不等式和柯西-许瓦兹不等式向量的两种运算 scalar multiplication and addition,分别为数乘和加法.两种运算一起有个好听的名字 ...
Jensen不等式、数值积分的变分界、KL散度
Jensen不等式: Jensen's inequality 变分界:Variational bounding KL散度:KL-divergence Jesen不等式如果fff是凸函数,则对于随机变 ...

概率论中的不等式(Markov不等式、Chebyshev不等式、Jensen不等式）

1.Schwarz 不等式

2. Markov不等式

3.Chebyshev不等式

4.Jensen不等式

概率论中的不等式(Markov不等式、Chebyshev不等式、Jensen不等式）相关推荐

最新文章

热门文章