Cauchy-Schwarz不等式、Hölder不等式与Minkowski不等式

本文介绍几个常用的与期望有关的不等式。

1 Cauchy–Schwarz不等式

Cauchy–Schwarz不等式有许多形式，这里只介绍它的期望函数的形式。

Cauchy–Schwarz不等式：
[E(XY)]2≤E(X2)E(Y2)[\text{E}(XY)]^2 \leq \text{E}(X^2)\text{E}(Y^2) [E(XY)]2≤E(X2)E(Y2)

证明非常简单，只需先将YYY分解为相互正交的两部分（类似于OLS回归）：
Y=E(XY)E(X2)X+(Y−E(XY)E(X2)X)Y=\dfrac{\text{E}(XY)}{\text{E}(X^2)}X+\left(Y-\dfrac{\text{E}(XY)}{\text{E}(X^2)}X\right) Y=E(X2)E(XY)X+(Y−E(X2)E(XY)X)
然后两边取平方，再求期望。注意到取平方后交叉项的期望
E[E(XY)E(X2)X⋅(Y−E(XY)E(X2)X)]=E(XY)2E(X2)−E(XY)2E(X2)=0\text{E}\left[\dfrac{\text{E}(XY)}{\text{E}(X^2)}X\cdot\left(Y-\dfrac{\text{E}(XY)}{\text{E}(X^2)}X\right)\right]=\dfrac{\text{E}(XY)^2}{\text{E}(X^2)}-\dfrac{\text{E}(XY)^2}{\text{E}(X^2)}=0 E[E(X2)E(XY)X⋅(Y−E(X2)E(XY)X)]=E(X2)E(XY)2−E(X2)E(XY)2=0

交叉项期望为000，因此，只剩平方项的期望：
E(Y2)=E(XY)2E(X2)2E(X2)+E[(Y−E(XY)E(X2)X)2]≥E(XY)2E(X2)\begin{aligned} \text{E}(Y^2)&=\dfrac{\text{E}(XY)^2}{\text{E}(X^2)^2}\text{E}(X^2)+\text{E}\left[\left(Y-\dfrac{\text{E}(XY)}{\text{E}(X^2)}X\right)^2\right]\\ &\geq \dfrac{\text{E}(XY)^2}{\text{E}(X^2)} \end{aligned} E(Y2)=E(X2)2E(XY)2E(X2)+E[(Y−E(X2)E(XY)X)2]≥E(X2)E(XY)2

得证。

2 Hölder不等式

事实上，Cauchy–Schwarz不等式是Hölder不等式的特例。

Hölder不等式：XXX和YYY为两个随机变量，正数ppp和qqq满足
1p+1q=1\dfrac{1}{p}+\dfrac{1}{q}=1 p1+q1=1
则有
E∣XY∣≤[E∣X∣p]1/p[E∣Y∣q]1/q\text{E}\vert XY\vert\leq \left[\text{E}\vert X\vert^p\right]^{1/p}\left[\text{E}\vert Y\vert^q\right]^{1/q} E∣XY∣≤[E∣X∣p]1/p[E∣Y∣q]1/q

证明过程如下：首先证明对于任意正数aaa和bbb，且正数ppp和qqq满足1p+1q=1\dfrac{1}{p}+\dfrac{1}{q}=1p1+q1=1，必有
1pap+1qbq≥ab\dfrac{1}{p}a^p+\dfrac{1}{q}b^q\geq ab p1ap+q1bq≥ab
当且仅当ap=bqa^p=b^qap=bq时等号成立。

该式的证明，只需构造函数g(a)=1pap+1qbq−abg(a)=\dfrac{1}{p}a^p+\dfrac{1}{q}b^q - abg(a)=p1ap+q1bq−ab，该函数最小值在ap−1=ba^{p-1}=bap−1=b时取到000，因此上式成立。

有了这一步，再将a=∣X∣[E(∣X∣p)]1/pa=\dfrac{\vert X\vert}{\left[\text{E}(\vert X\vert^p)\right]^{1/p}}a=[E(∣X∣p)]1/p∣X∣和b=∣Y∣[E(∣Y∣q)]1/qb=\dfrac{\vert Y\vert}{\left[\text{E}(\vert Y\vert^q)\right]^{1/q}}b=[E(∣Y∣q)]1/q∣Y∣代入，再对两边同时取期望，即可证得Hölder不等式。

3 Minkowski不等式

利用Hölder不等式，可以得到另一个重要的不等式：Minkowski不等式。

Minkowski不等式：已知随机变量XXX和YYY，当1≤q<∞1\leq q<\infty1≤q<∞时，必有
[E(∣X+Y∣p)]1/p≤[E(∣X∣p)]1/p+[E(∣Y∣p)]1/p\left[\text{E}(\vert X+Y \vert^p)\right]^{1/p}\leq \left[\text{E}(\vert X\vert^p)\right]^{1/p}+\left[\text{E}(\vert Y \vert^p)\right]^{1/p} [E(∣X+Y∣p)]1/p≤[E(∣X∣p)]1/p+[E(∣Y∣p)]1/p

它的证明如下：

取满足1p+1q=1\dfrac{1}{p}+\dfrac{1}{q}=1p1+q1=1的qqq，有

E(∣X+Y∣p)=E(∣X+Y∣∣X+Y∣p−1)≤E(∣X∣∣X+Y∣p−1)+E(∣Y∣∣X+Y∣p−1)≤[E(∣X∣p)]1/p[E(∣X+Y∣(p−1)q)]1/q+[E(∣Y∣p)]1/p[E(∣X+Y∣(p−1)q)]1/q={[E(∣X∣p)]1/p+[E(∣Y∣p)]1/p}[E(∣X+Y∣p)]1/q\begin{aligned} \text{E}(\vert X+Y \vert^p) =& \text{E}\left(\vert X+Y \vert \vert X+Y \vert^{p-1}\right)\\ \leq& \text{E}\left(\vert X \vert \vert X+Y \vert^{p-1}\right)+\text{E}\left(\vert Y \vert \vert X+Y \vert^{p-1}\right)\\ \leq& \left[\text{E}\left(\vert X \vert^p\right)\right]^{1/p}\left[\text{E}\left(\vert X+Y \vert^{(p-1)q}\right)\right]^{1/q}\\ & +\left[\text{E}\left(\vert Y \vert^p\right)\right]^{1/p}\left[\text{E}\left(\vert X+Y \vert^{(p-1)q}\right)\right]^{1/q}\\ =&\left\{\left[\text{E}\left(\vert X \vert^p\right)\right]^{1/p}+\left[\text{E}\left(\vert Y \vert^p\right)\right]^{1/p}\right\}\left[\text{E}\left(\vert X+Y \vert^{p}\right)\right]^{1/q} \end{aligned} E(∣X+Y∣p)=≤≤=E(∣X+Y∣∣X+Y∣p−1)E(∣X∣∣X+Y∣p−1)+E(∣Y∣∣X+Y∣p−1)[E(∣X∣p)]1/p[E(∣X+Y∣(p−1)q)]1/q+[E(∣Y∣p)]1/p[E(∣X+Y∣(p−1)q)]1/q{[E(∣X∣p)]1/p+[E(∣Y∣p)]1/p}[E(∣X+Y∣p)]1/q
其中，第一个不等式用到了三角不等式∣X±Y∣≤∣X∣+∣Y∣\vert X\pm Y\vert \leq \vert X\vert+\vert Y\vert∣X±Y∣≤∣X∣+∣Y∣，第二个不等式则是直接使用Hölder不等式。

最后两边同除以[E(∣X+Y∣p)]1/q\left[\text{E}\left(\vert X+Y \vert^{p}\right)\right]^{1/q}[E(∣X+Y∣p)]1/q，即得证。