UA MATH567 高维统计II 随机向量2 各向同性的随机向量

上一讲讨论随机向量L2范数的concentration的时候假设随机向量每个分量的方差为1，这其实是一种常用的假设，这一讲我们的目标就是讨论这种假设，可以把它理解为一元随机变量方差为1的假设的推广。

各向同性 (Isotropy) 称一个随机向量是各向同性的如果它的协方差矩阵为单位矩阵。对于均值为μ\muμ，协方差为Σ\SigmaΣ的随机向量XXX，我们可以定义Z=Σ−1/2(X−μ)Z =\Sigma^{-1/2}(X-\mu)Z=Σ−1/2(X−μ)，显然ZZZ就是一个零均值各向同性的随机向量。

各向同性的充要条件 nnn维随机向量XXX各向同性等价于∀x∈Rn\forall x \in \mathbb{R}^n∀x∈Rn,
E⟨X,x⟩2=∥x∥22E \langle X,x \rangle^2 = \left\| x\right\|_2^2E⟨X,x⟩2=∥x∥22

其中⟨X,x⟩\langle X,x \rangle⟨X,x⟩表示欧氏内积。

说明
E⟨X,x⟩2=E[xTXXTx]=xTE[XXT]x=∥x∥22=xTx⇔E[XXT]=Σ=InE \langle X,x \rangle^2 = E[x^TXX^Tx]=x^TE[XX^T]x=\left\| x\right\|_2^2=x^Tx \\ \Leftrightarrow E[XX^T] = \Sigma = I_nE⟨X,x⟩2=E[xTXXTx]=xTE[XXT]x=∥x∥22=xTx⇔E[XXT]=Σ=In

各向同性的性质

如果XXX是nnn维各向同性随机向量，则E∥X∥22=nE\left\| X \right\|_2^2=nE∥X∥22=n
如果X,YX,YX,Y是独立的nnn维各向同性随机向量，则E⟨X,Y⟩2=nE\langle X,Y \rangle^2=nE⟨X,Y⟩2=n
如果X,YX,YX,Y是独立的nnn维零均值各向同性随机向量，则E∥X−Y∥22=2nE\left\| X-Y \right\|_2^2=2nE∥X−Y∥22=2n

说明
第一条，E∥X∥22=E[XTX]=E[tr(XTX)]=E[tr(XXT)]=tr(E[XXT])=tr(In)=nE\left\| X \right\|_2^2 = E[X^TX]=E[tr(X^TX)]=E[tr(XX^T)]=tr(E[XX^T])=tr(I_n)=nE∥X∥22=E[XTX]=E[tr(XTX)]=E[tr(XXT)]=tr(E[XXT])=tr(In)=n

第二条，E⟨X,Y⟩2=E[XTYYTX]=EX[EY[XTYYTX]]=EX[XTInX]=EX[XTX]=nE\langle X,Y \rangle^2=E[X^TYY^TX]=E_X[E_Y[X^TYY^TX]]=E_X[X^TI_nX]=E_X[X^TX]=nE⟨X,Y⟩2=E[XTYYTX]=EX[EY[XTYYTX]]=EX[XTInX]=EX[XTX]=n

第三条，E∥X−Y∥22=E[(X−Y)T(X−Y)]=E[XTX]−E[XTY]−E[YTX]+E[YTY]=E[XTX]+E[YTY]=2nE\left\| X-Y \right\|_2^2=E[(X-Y)^T(X-Y)]=E[X^TX]-E[X^TY]-E[Y^TX]+E[Y^TY]=E[X^TX]+E[Y^TY]=2nE∥X−Y∥22=E[(X−Y)T(X−Y)]=E[XTX]−E[XTY]−E[YTX]+E[YTY]=E[XTX]+E[YTY]=2n

几乎正交的随机向量：根据各向同性的性质，假设X,YX,YX,Y是独立的nnn维各向同性随机向量，定义
X0=X∥X∥2,Y0=Y∥Y∥2X_0=\frac{X}{\left\|X\right\|_2},Y_0=\frac{Y}{\left\|Y\right\|_2}X0=∥X∥2X,Y0=∥Y∥2Y

则
E⟨X0,Y0⟩=E⟨X,Y⟩∥X∥2∥Y∥2E\langle X_0,Y_0 \rangle=\frac{E\langle X,Y \rangle}{\left\|X\right\|_2\left\|Y\right\|_2}E⟨X0,Y0⟩=∥X∥2∥Y∥2E⟨X,Y⟩

根据各向同性的性质第一条与第二条，
E⟨X,Y⟩∥X∥2∥Y∥2=1n\frac{E\langle X,Y \rangle}{\left\|X\right\|_2\left\|Y\right\|_2} = \frac{1}{\sqrt{n}}∥X∥2∥Y∥2E⟨X,Y⟩=n1

另外，我们还可以计算
E⟨X0,Y0⟩2=EX0TY0Y0TX0=EXTYYTX∥X∥22∥Y∥22=1nE\langle X_0,Y_0 \rangle^2 =EX_0^TY_0Y_0^TX_0=\frac{EX^TYY^TX}{\left\|X\right\|_2^2\left\|Y\right\|_2^2}=\frac{1}{n}E⟨X0,Y0⟩2=EX0TY0Y0TX0=∥X∥22∥Y∥22EXTYYTX=n1

这样就比较明显了，
⟨X0,Y0⟩→L20\langle X_0,Y_0 \rangle \to_{L^2} 0⟨X0,Y0⟩→L20

也就是当nnn足够大时，X0X_0X0与Y0Y_0Y0按L2L^2L2趋于正交。

UA MATH567 高维统计II 随机向量2 各向同性的随机向量相关推荐

UA MATH567 高维统计II 随机向量4 Frame、凸性与各向同性
UA MATH567 高维统计II 随机向量4 Frame.凸性与各向同性上一讲末尾我们介绍了frame作为标准正交基的推广的概念,我们称{ui}i=1N,ui∈Rn\{u_i\}_{i=1}^N, ...
UA MATH567 高维统计II 随机向量3 常见的高维随机向量的分布
UA MATH567 高维统计II 随机向量3 常见的高维随机向量的分布 Spherical Distribution Symmetric Bernoulli Distribution 正态分布 Fr ...
UA MATH567 高维统计II 随机向量8 图的Max-cut问题 0.5近似算法的运行时间分析
UA MATH567 高维统计II 随机向量8 图的Max-cut问题 0.5近似算法的运行时间分析我们之前讨论了图的max-cut问题的0.5近似算法,也就是给定一张图,按掷硬币的概率决定是否切开 ...
UA MATH567 高维统计II 随机向量11 kernel的构造用内积替换反三角函数
UA MATH567 高维统计II 随机向量11 kernel的构造用内积替换反三角函数我们来做上一讲剩下的kernel的构造,完成Grothendieck不等式的证明中的kernel trick ...
UA MATH567 高维统计II 随机向量10 Grothendieck不等式的证明版本二：kernel trick
UA MATH567 高维统计II 随机向量10 Grothendieck不等式的证明版本二:kernel trick 在介绍亚高斯随机向量的更多应用之前,我们先简单介绍一下核方法(kernel t ...
UA MATH567 高维统计II 随机向量9 图的Max-cut问题 0.878近似算法
UA MATH567 高维统计II 随机向量9 图的Max-cut问题 0.878近似算法上一讲我们用整数规划对MAX-CUT问题建了模,CUT(G,x)=12∑xixj=−1Aij=14∑i,jA ...
UA MATH567 高维统计II 随机向量8 图的max-cut问题 0.5近似算法
UA MATH567 高维统计II 随机向量8 图的Max-cut问题 0.5近似算法前两讲讨论了随机向量的概率不等式的一个应用:半正定规划近似求解整数规划,这一讲我们讨论它的另一个应用--图的ma ...
UA MATH567 高维统计II 随机向量7 Grothendieck不等式
UA MATH567 高维统计II 随机向量7 Grothendieck不等式上一讲我们介绍了用半正定规划近似一个整数规划的方法,要证明这种近似与原整数规划解的大小关系,我们需要Grothendie ...
UA MATH567 高维统计II 随机向量6 亚高斯随机向量的应用: 半正定规划
UA MATH567 高维统计II 随机向量6 亚高斯随机向量的应用: 半正定规划半正定规划(semidefinite programming, SDP)是凸优化的一个分支: max⁡X⟨A,X⟩s ...

UA MATH567 高维统计II 随机向量2 各向同性的随机向量

UA MATH567 高维统计II 随机向量2 各向同性的随机向量

UA MATH567 高维统计II 随机向量2 各向同性的随机向量相关推荐

最新文章

热门文章