Markov不等式

假设ggg是一个取值为正的函数，定义
mB=inf⁡{g(t):t∈B}m_B = \inf\{g(t):t \in B\}mB=inf{g(t):t∈B}
从而
Eg(X)≥E[g(X)IB(X)]≥E[mBIB(X)]=mBP(X∈B)Eg(X) \ge E[g(X)I_B(X)] \ge E[m_B I_B(X)] = m_B P(X \in B)Eg(X)≥E[g(X)IB(X)]≥E[mBIB(X)]=mBP(X∈B)
如果ggg是单调递增的函数，B=[x,+∞)B = [x,+\infty)B=[x,+∞)，则上式可以写成
Eg(X)≥g(x)P(X>x)⇒P(X>x)≤E[g(X)]g(x)Eg(X) \ge g(x) P(X >x) \Rightarrow P(X >x ) \le \frac{E[g(X)]}{g(x)}Eg(X)≥g(x)P(X>x)⇒P(X>x)≤g(x)E[g(X)]
这个不等式被称为Markov不等式。

Chebyshev不等式

在Markov不等式中，假设X=∣Y−EY∣X = |Y-EY|X=∣Y−EY∣，g(x)=x2g(x)=x^2g(x)=x2，则
P(∣Y−EY∣>x)≤VarYx2,∀x>0P(|Y-EY|>x) \le \frac{VarY}{x^2},\forall x>0P(∣Y−EY∣>x)≤x2VarY,∀x>0
这个不等式叫Chebyshev不等式。

Chernoff Bound

为了介绍Chernoff Bound，这里先简单介绍一下Legendre变换。

Legendre变换

首先需要了解的是Legendre变换和Fourier、Lagrange变换不一样，它不是积分变换，它是实数和实值凸函数的对合变换。对合很好理解，从逻辑上解释就是双重否定表肯定，从函数上来看就是f(f(x))=xf(f(x))=xf(f(x))=x，满足条件的这种fff就叫对合变换。

假设f:D⊂Rn→Rf:D \subset \mathbb{R}^n \to \mathbb{R}f:D⊂Rn→R是凸函数，它的Legendre变换是f∗:D∗⊂Rn→Rf^*:D^*\subset \mathbb{R}^n \to \mathbb{R}f∗:D∗⊂Rn→R，
f∗(p)=sup⁡x∈D(px−f(x))D∗={p∈Rn:sup⁡x∈D(px−f(x))<∞}f^*(p) = \sup_{x \in D} ( px - f(x)) \\ D^* = \{p \in \mathbb{R}^n :\sup_{x \in D} ( px - f(x))<\infty \}f∗(p)=x∈Dsup(px−f(x))D∗={p∈Rn:x∈Dsup(px−f(x))<∞}

更详细的考虑一下Legendre变换的定义，因为fff是凸函数，因此下列条件成立时可取得最大值：
∂∂x(px−f(x))=p−f′(x)=0⇒p=f′(x)\frac{\partial }{\partial x} (px - f(x)) = p - f'(x)=0 \Rightarrow p = f'(x)∂x∂(px−f(x))=p−f′(x)=0⇒p=f′(x)
也就是说Legendre变换其实是关于f(x)f(x)f(x)的导数的函数，f∗(p)f^*(p)f∗(p)的含义是f(x)f(x)f(x)在xxx处的切线的截距。根据这个式子还可以写出xxx关于ppp的函数，记为
g(p)=x=(f′)−1(p)g(p) = x = \left( f'\right)^{-1}(p)g(p)=x=(f′)−1(p)
从而
f∗(p)=pg(p)−f(g(p))f^*(p) = pg(p) - f(g(p))f∗(p)=pg(p)−f(g(p))

Chernoff Bound

在Markov不等式中，取g(x)=exp⁡(tx),∀t∈Rg(x) = \exp (tx),\forall t \in \mathbb{R}g(x)=exp(tx),∀t∈R，则
P(X>x)≤E[g(X)]g(x)=MX(t)etxln⁡P(X>x)≤KX(t)−txP(X >x ) \le \frac{E[g(X)]}{g(x)} = \frac{M_X(t)}{e^{tx}} \\ \ln P(X > x) \le K_X(t)-txP(X>x)≤g(x)E[g(X)]=etxMX(t)lnP(X>x)≤KX(t)−tx
上面这个不等式对于所有的ttt都成立，则对KX(t)−txK_X(t)-txKX(t)−tx的最小值也会成立，如果KX(t)K_X(t)KX(t)是凸函数，则根据Legendre变换
KX∗(x)=sup⁡t∈R(tx−KX(t))K_X^*(x) = \sup_{t \in \mathbb{R}} ( tx - K_X(t))KX∗(x)=t∈Rsup(tx−KX(t))
从而
ln⁡P(X>x)≤−KX∗(x)\ln P(X > x) \le -K_X^*(x)lnP(X>x)≤−KX∗(x)
其中−KX∗(x)-K_X^*(x)−KX∗(x)叫Chernoff上界。

下面证明一下KX(t)K_X(t)KX(t)真的是个凸函数：
KX(αt1+(1−α)t2)=ln⁡MX(αt1+(1−α)t2)=ln⁡E[exp⁡(αt1+(1−α)t2)X]=ln⁡E[exp⁡(αt1)exp⁡((1−α)t2)X]K_X(\alpha t_1+ (1-\alpha)t_2) = \ln M_X(\alpha t_1+ (1-\alpha)t_2) \\ = \ln E [\exp(\alpha t_1+ (1-\alpha)t_2)X] = \ln E [\exp(\alpha t_1) \exp((1-\alpha)t_2)X]KX(αt1+(1−α)t2)=lnMX(αt1+(1−α)t2)=lnE[exp(αt1+(1−α)t2)X]=lnE[exp(αt1)exp((1−α)t2)X]
这里用一下Holder不等式
E[exp⁡(αt1)exp⁡((1−α)t2)X]≤E[exp⁡(t1X)]αE[exp⁡(t2X)]1−αE [\exp(\alpha t_1) \exp((1-\alpha)t_2)X] \le E [\exp( t_1X)]^{\alpha}E [\exp(t_2X)]^{1-\alpha}E[exp(αt1)exp((1−α)t2)X]≤E[exp(t1X)]αE[exp(t2X)]1−α
进而
ln⁡(E[exp⁡(t1X)]αE[exp⁡(t2X)]1−α)=αKX(t1)+(1−α)KX(t2)\ln \left( E [\exp( t_1X)]^{\alpha}E [\exp(t_2X)]^{1-\alpha} \right) = \alpha K_X(t_1) + (1-\alpha) K_X(t_2)ln(E[exp(t1X)]αE[exp(t2X)]1−α)=αKX(t1)+(1−α)KX(t2)
所以KX(t)K_X(t)KX(t)是凸函数。Chernoff Bound的作用与Chebyshev不等式类似，都是对一些比较难计算的概率做近似。

矩的不等式

先从Young不等式开始，如果两个正数p,qp,qp,q满足
1p+1q=1\frac{1}{p} + \frac{1}{q} = 1p1+q1=1
则对于另外两个正数a,ba,ba,b，Young不等式指出
ab≤1pap+1qbqab \le \frac{1}{p}a^p + \frac{1}{q} b^qab≤p1ap+q1bq
当且仅当ap=bqa^p = b^qap=bq时取等。这个不等式的证明非常简单，固定bbb，把1pap+1qbq−ab\frac{1}{p}a^p + \frac{1}{q} b^q-abp1ap+q1bq−ab当成关于aaa的函数，找它的最小值即可。

在Young不等式中，取
a=∣X∣E[∣X∣p]1/p,b=∣Y∣E[∣Y∣q]1/qa = \frac{|X|}{E[|X|^p]^{1/p}},\ \ b = \frac{|Y|}{E[|Y|^q]^{1/q}}a=E[∣X∣p]1/p∣X∣, b=E[∣Y∣q]1/q∣Y∣
从而
∣XY∣E[∣X∣p]1/pE[∣Y∣q]1/q≤1p∣X∣pE[∣X∣p]+1q∣Y∣qE[∣Y∣q]\frac{|XY|}{E[|X|^p]^{1/p}E[|Y|^q]^{1/q}}\le \frac{1}{p}\frac{|X|^p}{E[|X|^p]} + \frac{1}{q}\frac{|Y|^q}{E[|Y|^q]}E[∣X∣p]1/pE[∣Y∣q]1/q∣XY∣≤p1E[∣X∣p]∣X∣p+q1E[∣Y∣q]∣Y∣q
不等式两边求期望可以得到
E[∣XY∣]≤E[∣X∣p]1/pE[∣Y∣q]1/qE[|XY|] \le E[|X|^p]^{1/p}E[|Y|^q]^{1/q}E[∣XY∣]≤E[∣X∣p]1/pE[∣Y∣q]1/q
这个不等式叫Holder不等式。如果p=q=2p=q=2p=q=2，Holder不等式就变成了Cauchy-Schwarz不等式。

UA MATH564 概率论概率不等式相关推荐

UA MATH564 概率论计算至少有一个发生的概率：Boole不等式
UA MATH564 概率论计算至少有一个发生的概率:Boole不等式 Boole不等式 Gunias不等式钟开莱-艾尔迪希(Chung-Erdos)不等式概率作为一种特殊的测度,满足有限可加性 ...
UA MATH564 概率论 QE练习题概率极限理论
UA MATH564 概率论 QE练习题概率极限理论 2015/5/3 2016/1/3 这是2015年5月的3题.2016年1月的3题 2015/5/3 这个题干有点意思,有一列随机变量但并不是互 ...
UA MATH564 概率论计算至少有一个发生的概率：容斥原理与庞加莱公式
UA MATH564 概率论计算至少有一个发生的概率:容斥原理与庞加莱公式事件的并的Poincare公式事件的交的Poincare公式上一讲介绍了P(⋃i=1nAi)P(\bigcup_{i= ...
UA MATH564 概率论计算至少有一个发生的概率：Waring公式
UA MATH564 概率论计算至少有一个发生的概率:Waring公式基于组合学的证明方法基于概率论的证明方法在推出Poincare公式后,计算nnn个事件中至少有一个事件发生的概率的问题就彻 ...
UA MATH564 概率论V 中心极限定理
UA MATH564 概率论V 中心极限定理随机变量序列的极限收敛模式之间的关系大数法则中心极限定理 Classical Central Limit Theorem Sugden法则 Delt ...
UA MATH564 概率论 QE练习题信封问题
UA MATH564 概率论 QE练习题信封问题 2015年1月的第二题 2015年5月的第一题这一篇介绍QE理论中出现了两个信封问题相关的题目:2015年1月的第二题和2015年5月的第一题.信 ...
UA MATH564 概率论多项分布
UA MATH564 概率论多项分布多项式系数与多项式定理多项分布的定义多项分布的性质多项式系数与多项式定理下面讨论一个组合问题,假设我们要把nnn个物体分成rrr组,每一组有n1,n2, ...
UA MATH564 概率论I 求离散型随机变量的分布1
UA MATH564 概率论I 求离散型随机变量的分布1 题目解答对于离散型随机变量 XXX,记它的概率分布列为 P(X=xi)=pi,i=1,2,⋯P(X = x_i) = p_i,i=1,2, ...
UA MATH564 概率论VI 数理统计基础2 多元正态分布
UA MATH564 概率论VI 数理统计基础2 多元正态分布矩母函数概率密度多元正态分布的矩条件分布独立性抽样分布简单地说就是统计量服从的分布,正态分布时最常用的总体分布,因此研究正态总 ...
UA MATH564 概率论IV 次序统计量例题2
UA MATH564 概率论IV 次序统计量例题2 次序统计量常用公式答案次序统计量常用公式定理1(单个次序统计量的分布) FX(j)=∑k=jnCnk[F(x)]k[1−F(x)]n−kF_{ ...

UA MATH564 概率论概率不等式

UA MATH564 概率论概率不等式

Markov不等式

Chebyshev不等式

Chernoff Bound

Legendre变换

Chernoff Bound

矩的不等式

UA MATH564 概率论概率不等式相关推荐

最新文章

热门文章

UA MATH564 概率论 概率不等式

UA MATH564 概率论 概率不等式

Markov不等式

Chebyshev不等式

Chernoff Bound

Legendre变换

Chernoff Bound

矩的不等式

UA MATH564 概率论 概率不等式相关推荐

最新文章

热门文章

UA MATH564 概率论概率不等式

UA MATH564 概率论概率不等式

UA MATH564 概率论概率不等式相关推荐