UA MATH567 高维统计II 随机向量5 亚高斯随机向量

这一讲我们将亚高斯分布推广到高维。

亚高斯随机向量 XXX是一个nnn维随机向量，称XXX是亚高斯随机向量如果∀x∈Sn−1\forall x \in S^{n-1}∀x∈Sn−1，⟨X,x⟩\langle X,x \rangle⟨X,x⟩是亚高斯随机变量。其中Sn−1S^{n-1}Sn−1是nnn维欧式空间中的单位球面，
Sn−1={x∈Rn:∥x∥2=1}S^{n-1}=\{x\in \mathbb{R}^n:\left\|x \right\|_2=1\}Sn−1={x∈Rn:∥x∥2=1}

亚高斯随机向量的亚高斯范数
∥X∥ψ2=sup⁡x∈Sn−1∥⟨X,x⟩∥ψ2\left\| X \right\|_{\psi_2}=\sup_{x \in S^{n-1}}\left\| \langle X,x \rangle \right\|_{\psi_2}∥X∥ψ2=x∈Sn−1sup∥⟨X,x⟩∥ψ2

引理假设随机向量XXX的各个分量均是亚高斯、互相独立且零均值的，则XXX是亚高斯随机向量，并且存在常数C>0C>0C>0
∥X∥ψ2≤Csup⁡i=1,⋯,n∥Xi∥ψ2\left\| X \right\|_{\psi_2}\le C\sup_{i=1,\cdots,n}\left\| X_i \right\|_{\psi_2}∥X∥ψ2≤Ci=1,⋯,nsup∥Xi∥ψ2

证明
∀x∈Sn−1\forall x \in S^{n-1}∀x∈Sn−1，根据推广Hoeffding不等式的第一个结论
∥⟨X,x⟩∥ψ22=∥∑i=1nxiXi∥ψ22≤C∑i=1n∥xiXi∥ψ22\left\| \langle X,x \rangle \right\|_{\psi_2}^2 = \left\| \sum_{i=1}^n x_iX_i \right\|_{\psi_2}^2 \le C \sum_{i=1}^n\left\| x_iX_i \right\|_{\psi_2}^2∥⟨X,x⟩∥ψ22=∥∥∥∥∥i=1∑nxiXi∥∥∥∥∥ψ22≤Ci=1∑n∥xiXi∥ψ22

根据范数的正齐次性，
C∑i=1n∥xiXi∥ψ22=C∑i=1n∣xi∣2∥Xi∥ψ22≤C∑i=1n∣xi∣2max⁡∥Xi∥ψ22=Cmax⁡∥Xi∥ψ22C \sum_{i=1}^n\left\| x_iX_i \right\|_{\psi_2}^2 = C \sum_{i=1}^n |x_i|^2\left\| X_i \right\|_{\psi_2}^2 \le C \sum_{i=1}^n |x_i|^2\max \left\| X_i \right\|_{\psi_2}^2 \\ = C\max \left\| X_i \right\|_{\psi_2}^2Ci=1∑n∥xiXi∥ψ22=Ci=1∑n∣xi∣2∥Xi∥ψ22≤Ci=1∑n∣xi∣2max∥Xi∥ψ22=Cmax∥Xi∥ψ22

于是
∥⟨X,x⟩∥ψ22≤Csup⁡i=1,⋯,n∥Xi∥ψ2\left\| \langle X,x \rangle \right\|_{\psi_2}^2 \le C\sup_{i=1,\cdots,n}\left\| X_i \right\|_{\psi_2}∥⟨X,x⟩∥ψ22≤Ci=1,⋯,nsup∥Xi∥ψ2

事实上，在证明的第一步，我们也可以用范数的三角不等式得到：
∥∑i=1nxiXi∥ψ22≤∑i=1n∥xiXi∥ψ22\left\| \sum_{i=1}^n x_iX_i \right\|_{\psi_2}^2 \le \sum_{i=1}^n\left\| x_iX_i \right\|_{\psi_2}^2∥∥∥∥∥i=1∑nxiXi∥∥∥∥∥ψ22≤i=1∑n∥xiXi∥ψ22

例 spherical distribution是亚高斯向量
X∼Unif(nSn−1)X \sim Unif(\sqrt{n}S^{n-1})X∼Unif(nSn−1)，则XXX是亚高斯向量，且亚高斯范数有界。

证明
假设g∼N(0,In)g \sim N(0,I_n)g∼N(0,In)，则X=ng∥g∥2∼Unif(nSn−1)X = \sqrt{n}\frac{g}{\left\| g \right\|_2} \sim Unif(\sqrt{n}S^{n-1})X=n∥g∥2g∼Unif(nSn−1)，根据对称性⟨X,x⟩\langle X,x \rangle⟨X,x⟩具有相同的性质，∀x∈Sn−1\forall x \in S^{n-1}∀x∈Sn−1，于是为了简化讨论，我们取x=e1x=e_1x=e1，于是⟨X,x⟩=X1\langle X,x \rangle=X_1⟨X,x⟩=X1，下面我们计算
P(X1≥t)=P(ng1∥g∥2≥t)=P(g1∥g∥2≥tn)P(X_1 \ge t)=P(\sqrt{n}\frac{g_1}{\left\| g \right\|_2} \ge t)=P(\frac{g_1}{\left\| g \right\|_2} \ge \frac{t}{\sqrt{n}})P(X1≥t)=P(n∥g∥2g1≥t)=P(∥g∥2g1≥nt)

定义E={∥g∥2≥n2}\mathcal{E}=\{\left\| g \right\|_2 \ge \frac{\sqrt{n}}{2} \}E={∥g∥2≥2n}，第一讲我们讨论过，∥g∥2\left\| g \right\|_2∥g∥2是亚高斯的，于是
P(EC)≤P(∣∥g∥2−n∣>n2)≤2e−cn,∃c>0P(\mathcal{E}^C) \le P(|\left\| g \right\|_2-\sqrt{n}|>\frac{\sqrt{n}}{2}) \le 2e^{-cn},\exists c>0P(EC)≤P(∣∥g∥2−n∣>2n)≤2e−cn,∃c>0

计算
P(g1∥g∥2≥tn)=P(g1∥g∥2≥tn,E)+P(g1∥g∥2≥tn,EC)≤P(g1∥g∥2≥tn,E)+P(EC)≤P(∣g1∣≥t2)+P(EC)≤2e−t28+2e−cnP(\frac{g_1}{\left\| g \right\|_2} \ge \frac{t}{\sqrt{n}}) = P(\frac{g_1}{\left\| g \right\|_2} \ge \frac{t}{\sqrt{n}},\mathcal{E})+P(\frac{g_1}{\left\| g \right\|_2} \ge \frac{t}{\sqrt{n}},\mathcal{E}^C) \\ \le P(\frac{g_1}{\left\| g \right\|_2} \ge \frac{t}{\sqrt{n}},\mathcal{E})+P(\mathcal{E}^C) \le P(|g_1| \ge \frac{t}{2})+P(\mathcal{E}^C) \\ \le 2e^{-\frac{t^2}{8}}+2e^{-cn}P(∥g∥2g1≥nt)=P(∥g∥2g1≥nt,E)+P(∥g∥2g1≥nt,EC)≤P(∥g∥2g1≥nt,E)+P(EC)≤P(∣g1∣≥2t)+P(EC)≤2e−8t2+2e−cn

第一项使用的是正态分布的上界，
1−Φ(t)≤12πte−t2/21-\Phi(t) \le \frac{1}{\sqrt{2\pi} t}e^{-t^2/2} 1−Φ(t)≤2πt1e−t2/2

下面分类讨论：

情况1，假设t≤nt \le \sqrt{n}t≤n，则e−cn≤e−ct2e^{-cn} \le e^{-ct^2}e−cn≤e−ct2，于是上面的tail probability是亚高斯的；

情况2，如果t>nt>\sqrt{n}t>n，则P(∣X1∣≥t)=0P(|X_1| \ge t)=0P(∣X1∣≥t)=0，因为∣X1∣≤∥X∥2=2|X_1| \le \left\| X \right\|_2=2∣X1∣≤∥X∥2=2，上面的tail probability同样是亚高斯的；

投影极限定理(project limit theorem)
X∼Unif(nSn−1)X \sim Unif(\sqrt{n}S^{n-1})X∼Unif(nSn−1)，∀x∈Sn−1\forall x \in S^{n-1}∀x∈Sn−1，⟨X,x⟩d→N(0,1),n→∞\langle X,x \rangle_d \to N(0,1),n \to \infty⟨X,x⟩d→N(0,1),n→∞

说明
在高维的情况下，正态分布与spherical distribution有非常紧密的联系，上上讲我们说明了在高维的情况下，N(0,In)≈Unif(nSn−1)N(0,I_n)\approx Unif(\sqrt{n}S^{n-1})N(0,In)≈Unif(nSn−1)；这个定理则说明Unif(nSn−1)Unif(\sqrt{n}S^{n-1})Unif(nSn−1)沿球面Sn−1S^{n-1}Sn−1任意半径的投影近似服从标准正态分布。

根据对称性，我们同样考虑X1X_1X1，
X1=ng1∥g∥2X_1=\sqrt{n}\frac{g_1}{\left\| g \right\|_2}X1=n∥g∥2g1

根据弱大数定律与依概率收敛的性质，
n∥g∥2→p1\frac{\sqrt{n}}{\left\| g \right\|_2} \to_p 1∥g∥2n→p1

而g1∼N(0,1)g_1 \sim N(0,1)g1∼N(0,1)，所以⟨X,x⟩\langle X,x \rangle⟨X,x⟩趋近于标准正态分布。

UA MATH567 高维统计II 随机向量5 亚高斯随机向量相关推荐

UA MATH567 高维统计III 随机矩阵10 亚高斯矩阵的应用：协方差估计与聚类问题的样本量需求计算
UA MATH567 高维统计III 随机矩阵10 亚高斯矩阵的应用:协方差估计与聚类的样本量如果XXX是零均值的随机变量,则Σ=EXXT\Sigma = EXX^TΣ=EXXT,假设{Xi}i=1 ...
UA MATH567 高维统计III 随机矩阵7 亚高斯矩阵的应用：Stochastic Block Model与社区发现问题描述
UA MATH567 高维统计III 随机矩阵7 亚高斯矩阵的应用:Stochastic Block Model与社区发现我们来介绍亚高斯矩阵的一个应用:评估社区发现算法的效率.Community ...
UA MATH567 高维统计III 随机矩阵6 亚高斯矩阵的范数
UA MATH567 高维统计III 随机矩阵6 亚高斯矩阵的范数在前五讲的理论基础上,我们现在开始正式讨论随机矩阵.假设AAA是一个m×nm \times nm×n的随机矩阵,它的元素AijA_{ ...
UA MATH567 高维统计II 随机向量6 亚高斯随机向量的应用: 半正定规划
UA MATH567 高维统计II 随机向量6 亚高斯随机向量的应用: 半正定规划半正定规划(semidefinite programming, SDP)是凸优化的一个分支: max⁡X⟨A,X⟩s ...
UA MATH567 高维统计II 随机向量10 Grothendieck不等式的证明版本二：kernel trick
UA MATH567 高维统计II 随机向量10 Grothendieck不等式的证明版本二:kernel trick 在介绍亚高斯随机向量的更多应用之前,我们先简单介绍一下核方法(kernel t ...
UA MATH567 高维统计II 随机向量3 常见的高维随机向量的分布
UA MATH567 高维统计II 随机向量3 常见的高维随机向量的分布 Spherical Distribution Symmetric Bernoulli Distribution 正态分布 Fr ...
UA MATH567 高维统计II 随机向量8 图的Max-cut问题 0.5近似算法的运行时间分析
UA MATH567 高维统计II 随机向量8 图的Max-cut问题 0.5近似算法的运行时间分析我们之前讨论了图的max-cut问题的0.5近似算法,也就是给定一张图,按掷硬币的概率决定是否切开 ...
UA MATH567 高维统计II 随机向量11 kernel的构造用内积替换反三角函数
UA MATH567 高维统计II 随机向量11 kernel的构造用内积替换反三角函数我们来做上一讲剩下的kernel的构造,完成Grothendieck不等式的证明中的kernel trick ...
UA MATH567 高维统计II 随机向量9 图的Max-cut问题 0.878近似算法
UA MATH567 高维统计II 随机向量9 图的Max-cut问题 0.878近似算法上一讲我们用整数规划对MAX-CUT问题建了模,CUT(G,x)=12∑xixj=−1Aij=14∑i,jA ...

UA MATH567 高维统计II 随机向量5 亚高斯随机向量

UA MATH567 高维统计II 随机向量5 亚高斯随机向量

UA MATH567 高维统计II 随机向量5 亚高斯随机向量相关推荐

最新文章

热门文章