UA MATH567 高维统计III 随机矩阵2 算子范数与Frobenius范数基于SVD的low-rank approximation

矩阵的范数

假设AAA是从nnn维欧氏空间到mmm维欧氏空间的线性算子，称∥A∥\left\| A\right\|∥A∥是它的算子范数：
∥A∥=max⁡x∈Sn−1∥Ax∥2\left\| A\right\| = \max_{x \in S^{n-1}}\left\| Ax \right\|_2∥A∥=x∈Sn−1max∥Ax∥2

其中Sn−1S^{n-1}Sn−1是nnn维球面，另一种等价定义是
∥A∥=max⁡x,y∈Sn−1⟨Ax,y⟩=max⁡x,y∈Sn−1xTAy\left\| A\right\| = \max_{x,y \in S^{n-1}} \langle Ax,y \rangle = \max_{x,y \in S^{n-1}} x^TAy∥A∥=x,y∈Sn−1max⟨Ax,y⟩=x,y∈Sn−1maxxTAy

根据Rayleigh定理，
∥A∥=s1(A)\left\| A\right\| = s_1(A)∥A∥=s1(A)

称∥A∥F\left\| A \right\|_F∥A∥F是AAA的Frobenius范数：
∥A∥F=∑Ai,j2=tr(ATA)=∑i=1rsi2(A)\left\| A \right\|_F = \sqrt{\sum A_{i,j}^2} = \sqrt{tr(A^TA)}=\sqrt{\sum_{i=1}^r s_i^2(A)}∥A∥F=∑Ai,j2=tr(ATA)=i=1∑rsi2(A)

关于这两个范数有如下大小关系：
∥A∥≤∥A∥F≤r∥A∥\left\| A\right\| \le \left\| A \right\|_F \le \sqrt{r}\left\| A \right\|∥A∥≤∥A∥F≤r∥A∥

当且仅当只有s1s_1s1非零时，第一个不等号取等；当且仅当所有奇异值相等时，第二个不等号取等。

Low-rank approximation

假设AAA是m×nm \times nm×n的矩阵，r=rank(A)≤min⁡(m,n)r=rank(A) \le \min(m,n)r=rank(A)≤min(m,n)，我们的目标是找到一个rank为kkk的矩阵AkA_kAk，使得A−AkA-A_kA−Ak的范数最小。这个操作在AAA是高维数据时非常有用，因为它能提供一种数据降维的方法。

有一种可行的办法是基于矩阵AAA的SVD寻找它的Low-rank approximation，记它的SVD为
A=∑i=1rsiuiviTA = \sum_{i=1}^rs_iu_iv_i^TA=i=1∑rsiuiviT

我们用前kkk个奇异值与奇异向量构造Low-rank approximation：

Eckart-Young-Mirsky定理
假设
Ak=∑i=1ksiuiviTA_k = \sum_{i=1}^ks_iu_iv_i^TAk=i=1∑ksiuiviT

则使用算子范数或者Frobenius范数，A−AkA-A_kA−Ak的范数都是最小的。

引理 s1=sn=1⇔ATA=In⇔P=AATs_1=s_n=1 \Leftrightarrow A^TA = I_n \Leftrightarrow P=AA^Ts1=sn=1⇔ATA=In⇔P=AAT是一个正交投影矩阵。

我们称ATA=InA^TA=I_nATA=In的性质为Isometry，也就相当于ATAA^TAATA表示一个等距线性算子。那么对一般的矩阵有没有类似Isometry的性质呢？

引理续 如果δ>0\delta>0δ>0，∥ATA−In∥≤max⁡(δ,δ2)\left\| A^TA - I_n\right\| \le \max(\delta,\delta^2)∥∥ATA−In∥∥≤max(δ,δ2)，这个结论蕴涵1−δ≤sn(A)≤s1(A)≤1+δ1-\delta \le s_n(A) \le s_1(A) \le 1+\delta1−δ≤sn(A)≤s1(A)≤1+δ。

简单计算一下即可，
max⁡(δ,δ2)≥∥ATA−In∥≥xT(ATA−In)x,x∈Sn−1=∣∥Ax∥22−∥x∥22∣=∣∥Ax∥22−1∣≥max⁡(∣∥Ax∥2−1∣,∣∥Ax∥22−1∣)\max(\delta,\delta^2) \ge \left\| A^TA - I_n\right\| \ge x^T(A^TA-I_n)x,x \in S^{n-1} \\ = |\left\| Ax \right\|_2^2 - \left\| x \right\|_2^2 | = |\left\| Ax \right\|_2^2 - 1 | \\ \ge \max(|\left\| Ax \right\|_2-1|,|\left\| Ax \right\|_2^2 - 1 |)max(δ,δ2)≥∥∥ATA−In∥∥≥xT(ATA−In)x,x∈Sn−1=∣∥Ax∥22−∥x∥22∣=∣∥Ax∥22−1∣≥max(∣∥Ax∥2−1∣,∣∥Ax∥22−1∣)

所以
δ≥∣∥Ax∥2−1∣\delta \ge |\left\| Ax \right\|_2-1|δ≥∣∥Ax∥2−1∣