集中不等式 (Concentration inequality)

在概率论中，集中不等式提供了随机变量偏离一些值（如期望）的上限。

马尔科夫不等式（Markov’s Inequality）

假设XXX是一个非负的随机变量，对于所有常数α>0\alpha > 0α>0，有：
P(X≥α)≤E(X)αP(X \geq \alpha) \leq \frac{E(X)}{\alpha}P(X≥α)≤αE(X)
关于马尔科夫不等式的拓展，如果ϕ\phiϕ是一个严格递增且非负的函数，有：
P(X≥α)=P(ϕ(X)≥ϕ(α))≤E(ϕ(X))ϕ(α)P(X \geq \alpha) = P(\phi(X) \geq \phi(\alpha))\leq \frac{E(\phi(X))}{\phi(\alpha)}P(X≥α)=P(ϕ(X)≥ϕ(α))≤ϕ(α)E(ϕ(X))

契比雪夫不等式（Chebyshev’s Inequality）

对于随机变量XXX，对于所有常数α>0\alpha > 0α>0，有：
P(∣X−E(X)∣≥α)≤Var(X)α2P(|X-E(X)| \geq \alpha) \leq \frac{Var(X)}{\alpha^{2}} P(∣X−E(X)∣≥α)≤α2Var(X)
或者表示为：
P(∣X−E(X)∣≥α⋅Std(X))≤1α2P(|X-E(X)| \geq \alpha \cdot Std(X)) \leq \frac{1}{\alpha^{2}} P(∣X−E(X)∣≥α⋅Std(X))≤α21
其中，Std(X)Std(X)Std(X)是随机变量XXX的标准差。切比雪夫不等式是马尔科夫不等式对于随机变量X−E(X)X-E(X)X−E(X)的情况，所以说切比雪夫不等式是马尔科夫不等式的特殊情况，并且这两个不等式的提出者巴夫尼提·列波维奇·切比雪夫和安德雷·马尔可夫是师生关系。

霍夫丁不等式（Hoeffding’s Inequality）

上面的马尔科夫和切比雪夫不等式都是一般性的，收敛性都比较 loose，为了得到收敛性更强的不等式，也就是指数形式的不等式，

对于独立随机变量X1,X2,...,XnX_{1}, X_{2}, ..., X_{n}X1,X2,...,Xn，对于所有的XiX_{i}Xi有ai≤Xi≤bia_{i} \leq X_{i} \leq b_{i}ai≤Xi≤bi，Sn=∑i=1nXiS_{n} = \sum_{i=1}^{n}X_{i}Sn=∑i=1nXi，En=E(Sn)=∑i=1nE(Xi)E_{n} = E(S_{n})= \sum_{i=1}^{n}E(X_{i})En=E(Sn)=∑i=1nE(Xi)，可以得到随机变量的和与其期望偏差之间的上界，有不等式：
P(∣Sn−En∣≥t)≤2exp(−2t2∑i=1n(ai−bi)2)P(|S_{n} - E_{n}| \geq t) \leq 2 exp(-\frac{2t^{2}}{\sum_{i=1}^{n}(a_{i} - b_{i})^{2}})P(∣Sn−En∣≥t)≤2exp(−∑i=1n(ai−bi)22t2)
也可以得到随机变量的算数平均值与其期望之间的偏差之间的上界，有不等式：
P(∣Xnˉ−E(Xnˉ)∣≥t)≤2exp(−2n2t2∑i=1n(ai−bi)2)P(|\bar{X_{n}} - E(\bar{X_{n}})| \geq t) \leq 2 exp(-\frac{2n^{2}t^{2}}{\sum_{i=1}^{n}(a_{i} - b_{i})^{2}})P(∣Xnˉ−E(Xnˉ)∣≥t)≤2exp(−∑i=1n(ai−bi)22n2t2)

班纳特不等式（Bennett’s Inequality）

班纳特不等式也是用于衡量独立随机变量的和与其期望之间偏差。与Hoeffding的不等式相比，当和的方差小于它们几乎确定的界限时，Bennett不等式提供了一些改进。

对于独立随机变量X1,X2,...,XnX_{1}, X_{2}, ..., X_{n}X1,X2,...,Xn，对于所有的XiX_{i}Xi有Xi≤aX_{i} \leq aXi≤a，Sn=∑i=1nXiS_{n} = \sum_{i=1}^{n}X_{i}Sn=∑i=1nXi，En=E(Sn)=∑i=1nE(Xi)，Vn=Var(Sn)=∑i=1nVar(Xi)E_{n} = E(S_{n}) = \sum_{i=1}^{n}E(X_{i})，V_{n} = Var(S_{n}) = \sum_{i=1}^{n}Var(X_{i})En=E(Sn)=∑i=1nE(Xi)，Vn=Var(Sn)=∑i=1nVar(Xi)可以得到随机变量的和与其期望偏差之间的上界，有不等式：
P(∣Sn−En∣≥t)≤2exp(−Vna2h(atVn))P(|S_{n} - E_{n}| \geq t) \leq 2 exp(-\frac{V_{n}}{a^{2}}h(\frac{at}{V_{n}}))P(∣Sn−En∣≥t)≤2exp(−a2Vnh(Vnat))
其中，h(u)=(1+u)log(1+u)−uh(u) = (1+u)log(1+u) - uh(u)=(1+u)log(1+u)−u

伯恩斯坦不等式（Bernstein’s Inequality）

对于独立随机变量X1,X2,...,XnX_{1}, X_{2}, ..., X_{n}X1,X2,...,Xn，对于所有的XiX_{i}Xi有bi≤Xi≤aib_{i} \leq X_{i} \leq a_{i}bi≤Xi≤ai，bi−ai≤Cb_{i} - a_{i}\leq Cbi−ai≤C, Sn=∑i=1nXiS_{n} = \sum_{i=1}^{n}X_{i}Sn=∑i=1nXi，En=E(Sn)=∑i=1nE(Xi)，Vn=Var(Sn)=∑i=1nVar(Xi)E_{n} = E(S_{n}) = \sum_{i=1}^{n}E(X_{i})，V_{n} = Var(S_{n}) = \sum_{i=1}^{n}Var(X_{i})En=E(Sn)=∑i=1nE(Xi)，Vn=Var(Sn)=∑i=1nVar(Xi)可以得到随机变量的和与其期望偏差之间的上界，有不等式：
P(∣Sn−En∣≥t)≤2exp(−t2/2Vn+Ct/3)P(|S_{n} - E_{n}| \geq t) \leq 2exp(-\frac{t^{2}/2}{V_{n} + Ct/3})P(∣Sn−En∣≥t)≤2exp(−Vn+Ct/3t2/2)
这是Hoeffding的一个推广，因为它不仅可以处理独立变量，也可以处理弱独立变量。

补充

集中不等式在实际中经常会被用到，而在使用这些集中不等式的时候，对数据分布也是有要求的，通常是假设数据的分布函数是具有尾部收敛性质。

REF

Wiki Concentration Inequality