UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数

亚高斯性
亚高斯范数

概率不等式1中介绍了Hoeffding不等式与Chernoff不等式，这两个不等式的共性是它们的上界关于ttt的递减阶数都是指数级的，这类上界有非常好的性质，比如尾部概率迅速降低，概率集中在分布中心位置等。但这两个不等式使用条件非常受限，只能适用于Bernoulli分布或者有界的分布，这一讲我们要尝试的是寻找具有尾部概率递减阶数满足e−ct2e^{-ct^2}e−ct2的所有可能的分布，注意到e−ct2e^{-ct^2}e−ct2这个形式就是正态的kernel，而正态分布，比如X∼N(0,1)X \sim N(0,1)X∼N(0,1)，也满足
P(∣X∣≥t)≤e−t2/2P(|X| \ge t) \le e^{-t^2/2}P(∣X∣≥t)≤e−t2/2

所以我们称满足这个条件的分布为亚高斯分布 (sub-Gaussian distribution)。

亚高斯性

亚高斯性 (sub-Gaussian property)

尾部概率条件：P(∣X∣≥t)≤2exp⁡(−t2/K12),∀t≥0P(|X|\ge t) \le 2\exp(-t^2/K_1^2),\forall t\ge 0P(∣X∣≥t)≤2exp(−t2/K12),∀t≥0
矩条件: ∥X∥Lp≤K2p,∀p≥1\left\| X \right\|_{L^p} \le K_2\sqrt{p},\forall p \ge 1∥X∥Lp≤K2p,∀p≥1
矩母函数条件: Eeλ2X2≤exp⁡(K32λ2),∀∣λ∣≤1/K3Ee^{\lambda^2 X^2} \le \exp(K_3^2\lambda^2),\forall |\lambda| \le 1/K_3Eeλ2X2≤exp(K32λ2),∀∣λ∣≤1/K3
矩母函数上界: EeX2/K42≤2Ee^{X^2/K_4^2} \le 2EeX2/K42≤2
矩母函数又一个条件: EeλX≤exp⁡(K52λ2),∀λ∈R,EX=0Ee^{\lambda X} \le \exp(K_5^2 \lambda^2),\forall \lambda \in \mathbb{R}, EX=0EeλX≤exp(K52λ2),∀λ∈R,EX=0

这五个条件是等价的，我们称满足这五个条件中的任何一个的随机变量为亚高斯随机变量。我们下一讲简单分析一下这五条性质。

亚高斯范数

在亚高斯随机变量空间上可以定义亚高斯范数（sub-Gaussian norm）：
∥X∥ψ2=inf⁡{t>0:EeX2/t2≤2}\left\|X \right\|_{\psi_2} = \inf\{t>0:Ee^{X^2/t^2} \le 2\}∥X∥ψ2=inf{t>0:EeX2/t2≤2}

我们先验证一下这个定义的确是范数：

非负性：
非负是显然的，我们考虑是否有∥X∥ψ2=0⇔X=0,a.s.\left\|X \right\|_{\psi_2}=0 \Leftrightarrow X = 0,a.s.∥X∥ψ2=0⇔X=0,a.s.，后者直接能推出前者，而前者成立意味着∀t>0\forall t>0∀t>0, EeX2/t2≤2Ee^{X^2/t^2} \le 2EeX2/t2≤2，根据Markov不等式（对∣X∣|X|∣X∣与g(x)=ex2/t2g(x)=e^{x^2/t^2}g(x)=ex2/t2）P(∣X∣>ϵ)≤e−ϵ2/t2EeX2/t2≤2e−ϵ2/t2→0,∀0<t<<ϵP(|X|>\epsilon) \le e^{-\epsilon^2/t^2}Ee^{X^2/t^2} \le 2e^{-\epsilon^2/t^2} \to 0,\forall 0<t<<\epsilonP(∣X∣>ϵ)≤e−ϵ2/t2EeX2/t2≤2e−ϵ2/t2→0,∀0<t<<ϵ因此∥X∥ψ2=0⇒X=0,a.s.\left\|X \right\|_{\psi_2}=0 \Rightarrow X = 0,a.s.∥X∥ψ2=0⇒X=0,a.s.
正齐次性：∀λ∈R\forall \lambda \in \mathbb{R}∀λ∈R
∥λX∥ψ2=inf⁡{t>0:Eeλ2X2/t2≤2}=∣λ∣inf⁡{t>0:Eeλ2X2/(λt)2≤2}=∣λ∣∥X∥ψ2\left\|\lambda X \right\|_{\psi_2} = \inf\{t>0:Ee^{\lambda^2X^2/t^2} \le 2\} \\ =|\lambda|\inf\{t>0:Ee^{\lambda^2X^2/(\lambda t)^2} \le 2\}=|\lambda|\left\|X \right\|_{\psi_2}∥λX∥ψ2=inf{t>0:Eeλ2X2/t2≤2}=∣λ∣inf{t>0:Eeλ2X2/(λt)2≤2}=∣λ∣∥X∥ψ2
三角不等式：
记s=∥X∥ψ2,t=∥X∥ψ2s=\left\| X \right\|_{\psi_2},t=\left\| X \right\|_{\psi_2}s=∥X∥ψ2,t=∥X∥ψ2，对于函数f(x)=ex2f(x)=e^{x^2}f(x)=ex2，用Jensen不等式：f(X+Ys+t)≤f(∣X∣+∣Y∣s+t)≤ts+tf(∣X∣t)+ss+tf(∣Y∣s)f\left(\frac{X+Y}{s+t}\right)\le f\left(\frac{|X|+|Y|}{s+t}\right) \\\le \frac{t}{s+t}f\left(\frac{|X|}{t}\right)+\frac{s}{s+t}f\left(\frac{|Y|}{s}\right)f(s+tX+Y)≤f(s+t∣X∣+∣Y∣)≤s+ttf(t∣X∣)+s+tsf(s∣Y∣)对这个式子两端计算期望：Eexp⁡(X+Ys+t)2≤ts+tEexp⁡(∣X∣t)2+ss+tEexp⁡(∣Y∣s)2≤2E\exp\left(\frac{X+Y}{s+t}\right)^2 \\ \le \frac{t}{s+t}E\exp\left(\frac{|X|}{t}\right)^2+\frac{s}{s+t}E\exp\left(\frac{|Y|}{s}\right)^2 \le 2Eexp(s+tX+Y)2≤s+ttEexp(t∣X∣)2+s+tsEexp(s∣Y∣)2≤2因此∥X+Y∥ψ2≤s+t\left\| X+Y \right\|_{\psi_2}\le s+t∥X+Y∥ψ2≤s+t

这个范数是非常有用的，因为亚高斯性的五个条件中，每个不等式都一个参数，我们可以用亚高斯范数统一这些参数：参数C,c>0C,c>0C,c>0

尾部概率条件：P(∣X∣≥t)≤2exp⁡(−ct2/∥X∥ψ22),∀t≥0P(|X|\ge t) \le 2\exp(-ct^2/\left\|X \right\|_{\psi_2}^2),\forall t\ge 0P(∣X∣≥t)≤2exp(−ct2/∥X∥ψ22),∀t≥0
矩条件：∥X∥Lp≤C∥X∥ψ2p,∀p≥1\left\| X \right\|_{L^p} \le C\left\|X \right\|_{\psi_2}\sqrt{p},\forall p \ge 1∥X∥Lp≤C∥X∥ψ2p,∀p≥1
矩母函数条件：EeX2/∥X∥ψ22≤2Ee^{X^2/\left\|X \right\|_{\psi_2}^2} \le 2EeX2/∥X∥ψ22≤2
矩母函数又一个条件： EeλX≤exp⁡(Cλ2∥X∥ψ22),∀λ∈R,EX=0Ee^{\lambda X} \le \exp(C \lambda^2\left\|X \right\|_{\psi_2}^2),\forall \lambda \in \mathbb{R}, EX=0EeλX≤exp(Cλ2∥X∥ψ22),∀λ∈R,EX=0