High-Dimensional Statistics A Non-Asymptotic Viewpoint by Martin J. Wainwright Exercise7.3

Exercise 7.3(Pairwise incoherence) 给定矩阵 $\bold{X}\in\mathbb{R}^{n\times d}$ ，假设其两两不相关性具有上界：

$\delta_{PW}(\bold(X))=\max_{j,k\in [d]}|\frac{<x_j,x_k>}{n}-1_{(j=k)}|\leq \frac{\gamma}{s}.$

这里 $[d]=\{1,2,\cdots,d\}$

(a)设任意 $S\subset [d]$ , 大小为 $s$ ,那么相关帽子矩阵的最小特征值满足

$\gamma_{min}(\frac{\bold{X}_S^T\bold{X}_S}{n})\geq 1 - \gamma >0$

只要 $\gamma$ 足够小。

（b）假设 $\gamma<1/3$ ，那么 $\bold{X}$ 满足限定零空间性质，即

$\mathbb{C}_S\cap null(\bold{X})=\{0\}$

其中 $\mathbb{C}_S=\{\Delta\in\mathbb{R}^d|\|\Delta_{S^c}\|_1\leq\|\Delta_S\|_1\}$ ， $null(\bold{X})=\{\Delta\in\mathbb{R}^d|X\Delta=0\}$ .

证明：(a)根据特征值的定义我们有

$\gamma_{min}\left(\frac{\bold{X}_S^T\bold{X}_S}{n}\right)=\underset{v\in S^{d-1}}{min}v^T\left(\frac{\bold{X}_S^T\bold{X}_S}{n}\right)v=\underset{v\in S^{d-1}}{min}v^T\left(\frac{\bold{X}_S^T\bold{X}_S}{n}-I_S\right)v + 1$

令

$\frac{\bold{X}_S^T\bold{X}_S}{n}-I_S=(T_{ij})_{s\times s}$

则

$\left|v^T\left(\frac{\bold{X}_S^T\bold{X}_S}{n}-I_S\right)v\right|\leq\sum_{j,k}|T_{jk}v_jv_k|\leq\frac{\gamma}{s}\|v\|_1^2\leq\gamma \|v\|_2^2=\gamma$

从而

$\gamma_{min}\left(\frac{\bold{X}_S^T\bold{X}_S}{n}\right)\geq 1 - \gamma$

(b)第一种证明思路：假设 $\Delta\in \mathbb{C}_S\backslash\{0\}$ ，只需说明 $\Delta\notin null(\bold{X})$ 即可，考虑

$\frac{1}{n}\|X\Delta\|^2_2\geq \frac{1}{n}\|X_S\Delta_S\|_2^2+\frac{2}{n}\Delta^T_SX^T_SX_{S^c}\Delta_{S^c}$

其中

$\frac{1}{n}\|X_S\Delta_S\|_2^2\geq (1 - \gamma)\|\Delta_S\|^2_2\geq\frac{1-\gamma}{s}\|\Delta_S\|^2_1$

$\left|\frac{2}{n}\Delta^T_SX^T_SX_{S^c}\Delta_{S^c}\right|\leq \frac{2\gamma}{s}\sum_{j,k}|\Delta^j_S||\Delta^k_{S^c}|=\frac{2\gamma}{s}\|\Delta_S\|_1\|\Delta_{S^c}\|_1\leq\frac{2\gamma}{s}\|\Delta_S\|_1\|\Delta_{S}\|_1$

这里第一个不等式根据第一问中得到的最小特征值得到，再配合1-范数和2-范数之间的联系；第二个不等式根据两两不相关得到。

因此，

$\frac{1}{n}\|X\Delta\|^2_2\geq \frac{1-\gamma}{s}\|\Delta_S\|^2_1 -\frac{2\gamma}{s}\|\Delta_S\|^2_1=\frac{1-3\gamma}{s}\|\Delta_S\|^2_1$

可见，只要 $\gamma< 1/3$ ，就必有 $X\Delta\neq 0$ 。

第二种证明思路：假设 $\Delta\in null(\bold{X})\backslash\{0\}$ ，只要证明 $\Delta \notin \mathbb{C}_S$ 即可。根据 $X\Delta=0$ 得到，

$X_S\Delta_S=-X_{S^c}\Delta_{S^c}$

$\Delta_S^T\frac{X^T_SX_S}{n}\Delta_S=-\Delta_S^T\frac{X^T_SX_{S^c}}{n}\Delta_{S^c}$

其中，等号左边满足

$\Delta_S^T\frac{X^T_SX_S}{n}\Delta_S\geq \frac{1-\gamma}{s}\|\Delta_S\|^2_1$

等号右边满足

$-\Delta_S^T\frac{X^T_SX_{S^c}}{n}\Delta_{S^c}\leq \frac{\gamma}{s}\sum_{j\in S,k\in S^c}|\Delta^j_S||\Delta^k_{S^c}|=\frac{\gamma}{s}\|\Delta_S\|_1\|\Delta_{S^c}\|_1$

从而，

$\frac{1-\gamma}{s}\|\Delta_S\|^2_1\leq\frac{\gamma}{s}\|\Delta_S\|_1\|\Delta_{S^c}\|_1$

$\frac{1-\gamma}{s}\|\Delta_S\|_1\leq\frac{\gamma}{s}\|\Delta_{S^c}\|_1$

如果 $\gamma< 1/2$ ，则必有 $\|\Delta_S\|_1<\|\Delta_{S^c}\|_1$ ，即 $\Delta\notin \mathbb{C}_S$ 。

High-Dimensional Statistics A Non-Asymptotic Viewpoint by Martin J. Wainwright Exercise7.3相关推荐

机器学习经典书籍论文
原文地址:http://blog.sina.com.cn/s/blog_7e5f32ff0102vlgj.html 入门书单 1.<数学之美>PDF6 作者吴军大家都很熟悉.以极为通俗的语 ...
机器学习经典书籍和论文集合
原文地址:http://blog.sina.com.cn/s/blog_7e5f32ff0102vlgj.html 入门书单 1.<数学之美>PDF6 作者吴军大家都很熟悉.以极为通俗的语 ...
【NIPS 2018】完整论文下载链接-续
NeurIPS2018的论文已经开放下载,本文总结了论文的pdf页面.直接点击对应论文即可访问对应的pdf下载页面. 如果希望Batch->所有论文链接续->第一篇 [556] Mult ...
图像处理与计算机视觉资源汇总——论文+代码+教材+视频等等
历时一个多月,终于用业余时间把这些资料整理出来了,总算了却了一块心病,也不至于再看着一堆资料发愁了.以后可能会有些小修小补,但不会有太大的变化了.万里长征走完了第一步,剩下的就是理解和消化了.借新浪i ...
计算机视觉与模式识别方面的代码code
UIUC的Jia-Bin Huang同学收集了很多计算机视觉方面的代码,链接如下: https://netfiles.uiuc.edu/jbhuang1/www/resources/vision/in ...
计算机视觉和模式识别的code
[转]计算机视觉和模式识别的code UIUC的Jia-Bin Huang同学收集了很多计算机视觉方面的代码,链接如下: https://netfiles.uiuc.edu/jbhuang1/w ...
计算机视觉领域经典论文源码
计算机视觉领域经典论文源码转载自:http://blog.csdn.net/ddreaming/article/details/52416643 2016-CVPR论文代码资源: https://t ...
计算机视觉领域经典论文源码大全
计算机视觉领域经典论文源码在读一些大牛的论文后,总是想找些代码读一读,可是查找代码资源是如此的痛苦,经过一番请教和查找,将比较好的资源贴出来,方便大家使用,希望大家有什么更好的资源也能分享出来,可以 ...
Lasso思想及算法
From: http://blog.csdn.net/godenlove007/article/details/11387977 1.只有这么几个人在做LASSO,他们都是大牛,你可以直接GOOGLE ...
[转]CV codes代码分类整理合集
转自:http://www.sigvc.org/bbs/thread-72-1-1.html https://netfiles.uiuc.edu/jbhuang1/www/resources/visi ...

High-Dimensional Statistics A Non-Asymptotic Viewpoint by Martin J. Wainwright Exercise7.3

High-Dimensional Statistics A Non-Asymptotic Viewpoint by Martin J. Wainwright Exercise7.3相关推荐

最新文章

热门文章