SVD分解和矩阵的Lipschitz条件等

Lipschitz条件

可以用如下的公式来表示Lipschitz条件：
∣∣f(x)−f(y)∣∣≤K∣∣x−y∣∣||f(x)-f(y)||\leq K||x-y|| ∣∣f(x)−f(y)∣∣≤K∣∣x−y∣∣
这个公式限制了函数的上升的速率不可能太快，在二维笛卡尔坐标上可以表示为函数的斜率不能够超过一个常数kkk。

矩阵的Lipschitz条件

对于一个矩阵A如果想让其满足Lipschitz条件，那么需要满足下面的公式：
∣∣Ax∣∣≤∣∣Kx∣∣其中K为一个常数,x为向量，A为一个变换矩阵||Ax||\leq ||Kx|| \quad 其中K为一个常数,x为向量，A为一个变换矩阵 ∣∣Ax∣∣≤∣∣Kx∣∣其中K为一个常数,x为向量，A为一个变换矩阵
下面我们对这个公式进行分析：
∣∣Ax∣∣≤K∣∣x∣∣(Ax,Ax)≤K2(x,x)可知:(Ax,Ax)=xTATAx=(ATAx,x)也可知:K2(x,x)=(K2x,x)那么得到:(ATAx,x)≤(K2x,x)((ATA−K2)x,x)≤0\begin{aligned} ||Ax||&\leq K||x||\\ (Ax,Ax)&\leq K^2(x,x)\\ 可知:(Ax,Ax)&=x^TA^TAx=(A^TAx,x)\\ 也可知:K^2(x,x)&=(K^2x,x)\\ 那么得到: (A^TAx,x)&\leq (K^2x,x)\\ ((A^TA-K^2)x,x) &\leq 0\\ \end{aligned} ∣∣Ax∣∣(Ax,Ax)可知:(Ax,Ax)也可知:K2(x,x)那么得到:(ATAx,x)((ATA−K2)x,x)≤K∣∣x∣∣≤K2(x,x)=xTATAx=(ATAx,x)=(K2x,x)≤(K2x,x)≤0
可知ATAA^TAATA是一个半正定矩阵。
因为xTATAxx^TA^TAxxTATAx是一个范数表达式
所以xTATAx永远≥0x^TA^TAx永远\geq 0xTATAx永远≥0,所以半正定
那么可以得到:
xT(ATA−K2)≤0x^T(A^TA-K^2) \leq 0 xT(ATA−K2)≤0
即：
λmax(ATA)<K2\lambda _{max(A^TA)}<\sqrt {K^2}\\ λmax(ATA)<K2
也就是:
谱范数≤K2谱范数\leq \sqrt{K^2}谱范数≤K2

所以如果想要使一个矩阵具有1-Lipschitz 连续性，那么就让A/=λmaxA /= \lambda_{max}A/=λmax

SVD分解，奇异值分解

SVD的定义

如果一个矩阵Am∗mA_{m*m}Am∗m是一个实对称矩阵，那么A=QΣQTA=Q\Sigma Q^TA=QΣQT,其中QQQ为标准正交阵，Σ\SigmaΣ为对角矩阵。Σ=(σ1,0,00,σ2,00,0,σ3)m∗n\Sigma =\begin{pmatrix}\sigma_1,0,0\\0,\sigma_2,0\\0,0,\sigma_3\end{pmatrix}_{m*n}Σ=⎝⎛σ1,0,00,σ2,00,0,σ3⎠⎞m∗n

但是如果对一个矩阵Am∗nA_{m*n}Am∗n那么我们想把它分解为A=Um∗mΣm∗nVn∗nTA=U_{m*m}\Sigma_{m*n} V^T_{n*n}A=Um∗mΣm∗nVn∗nT
并且U,VU,VU,V都是标准真正交阵，即:UTU=E,VTV=EU^TU=E,V^TV=EUTU=E,VTV=E，并且UUU称之为左奇异矩阵，VTV^TVT称之为右奇异矩阵。

SVD的求解

由上面可以知道A=Um∗mΣm∗nVn∗nTA=U_{m*m}\Sigma_{m*n} V^T_{n*n}A=Um∗mΣm∗nVn∗nT，那么我们求ATAA^TAATA可以得到如下:
ATA=(UΣVT)T(UΣVT)=VΣTUTUΣVT=VΣΣTVT同理：AAT=UΣTΣUT(1)\begin{aligned} A^TA&=(U\Sigma V^T)^T(U\Sigma V^T)\\ &=V\Sigma^TU^TU\Sigma V^T\\ &=V\Sigma \Sigma^TV^T\\ 同理：AA^T&=U\Sigma^T \Sigma U^T \end{aligned} \tag1 ATA同理：AAT=(UΣVT)T(UΣVT)=VΣTUTUΣVT=VΣΣTVT=UΣTΣUT(1)
这首我们把ATA和AATA^TA和AA^TATA和AAT分别乘上ui,vi(这是U和V的分量)u_i,v_i(这是U和V的分量)ui,vi(这是U和V的分量)那么就可以得到下列的式子：
(AAT)ui=UΣΣTUTui=σi2ui(这里用到了单位正交矩阵和正交向量的知识)(ATA)vi=σi2vi(2)\begin{aligned} (AA^T)u_i&=U\Sigma \Sigma^T U^Tu_i=\sigma_i^2u_i(这里用到了单位正交矩阵和正交向量的知识)\\ (A^TA)v_i&=\sigma_i^2v_i\\ \end{aligned} \tag2 (AAT)ui(ATA)vi=UΣΣTUTui=σi2ui(这里用到了单位正交矩阵和正交向量的知识)=σi2vi(2)
由上面的式子(2)可以知道，
U=(u1,u2,u3)由(AAT)的特征向量组成V=(v1,v2,v3)由(ATA)的特征向量组成到这里我们就知道了如何把U和V求出来U=(u_1,u_2,u_3)由(AA^T)的特征向量组成\\ V=(v_1,v_2,v_3)由(A^TA)的特征向量组成\\ 到这里我们就知道了如何把U和V求出来 U=(u1,u2,u3)由(AAT)的特征向量组成V=(v1,v2,v3)由(ATA)的特征向量组成到这里我们就知道了如何把U和V求出来

那么如何求Σ=(σ1,0,00,σ2,00,0,σ3)m∗n\Sigma =\begin{pmatrix}\sigma_1,0,0\\0,\sigma_2,0\\0,0,\sigma_3\end{pmatrix}_{m*n}Σ=⎝⎛σ1,0,00,σ2,00,0,σ3⎠⎞m∗n呢？

我们求AVAVAV可以表示为如下：
AV=UΣVTV=UΣ由上可以推出:A(v1,v2,v3)=(u1,u2,u3)(σ1,0,00,σ2,00,0,σ3)⇒(Av1,Av2,Av3)=(σ1u1,σ2u2,σ3u3)m∗n⇒Avi=σiui⇒σi=Aviui(3)\begin{aligned} AV=U\Sigma V^TV&=U\Sigma\\ 由上可以推出:A(v_1,v_2,v_3)&=(u_1,u_2,u_3) \begin{pmatrix} \sigma_1,0,0\\ 0,\sigma_2,0\\ 0,0,\sigma_3 \end{pmatrix}\\ \Rightarrow(Av_1,Av_2,Av_3)&=(\sigma_1u_1,\sigma_2u_2,\sigma_3u_3)_{m*n}\\ \Rightarrow Av_i&=\sigma_iu_i\\ \Rightarrow\sigma_i&=\frac {Av_i}{u_i} \end{aligned} \tag3 AV=UΣVTV由上可以推出:A(v1,v2,v3)⇒(Av1,Av2,Av3)⇒Avi⇒σi=UΣ=(u1,u2,u3)⎝⎛σ1,0,00,σ2,00,0,σ3⎠⎞=(σ1u1,σ2u2,σ3u3)m∗n=σiui=uiAvi(3)

到此我们已经可以求出SVD分解所需要的全部过程了。根据公式（2）求出AAT和ATAAA^T和A^TAAAT和ATA的U,V和σi2U,V和\sigma_i^2U,V和σi2根据公式（3）求出σi\sigma_iσi。

注意ΣΣm,mT和ΣTΣn∗n\Sigma\Sigma^T_{m,m}和\Sigma^T\Sigma_{n*n}ΣΣm,mT和ΣTΣn∗n拥有一样的σi\sigma_iσi，只是可能一个不满秩，一个满秩罢了。