ker矩阵是什么意思_矩阵分析(二)：从特征值到奇异值

在上一篇文章中，空间变换和基变换已经被详细讨论过了。特别是基变换，从两个角度看待它对理解特征值分解和奇异值分解会起到很大的帮助。

阿姆斯特朗：矩阵分析(一)：空间变换与基变换zhuanlan.zhihu.com

一、特征值与特征向量

上一节谈到了形如

这种式子代表基变换，其说明的是在不同的基下相同的变换如何转化。所以容易想到是否存在这样一组基向量：

在这组基下表示的变换最简单。

对于一些变换来说，选择合适的基向量，那么变换相当于只有伸缩没有旋转，那么

就会是对角矩阵。

中的列向量都是

的特征向量。

如下图，变换后，蓝色向量及于其平行的向量都没有改变方向，只有伸缩，那么蓝色向量就是其中一个特征向量，1是对应的特征值（长度没变）。而红色向量则不是特征向量，因为发生了旋转。但是这个剪切变换无法进行特征值分解，因为只有“一个”特征向量不能张成这个二维平面。

只有在一定条件下（如其矩阵形式为实对称矩阵的线性变换），一个变换可以由其特征值和特征向量完全表述，也就是说：所有的特征向量组成了这向量空间的一组基底。

如下图中，变换矩阵为

,可以发现

是一组线性无关的特征向量，因为变换对他们来说只是放缩作用。而

被放大了3倍，

长度没有变化。所以对应的特征值一个是3，一个是1。

也就是

而特征值不仅仅存在于线性代数，在解方程以及信号处理中都有很大的意义。毕竟寻找特征向量其实就是寻找变换或者函数中固有的量或者不变量，它们能代表一些本质的东西。例如信号处理中傅里叶变换用

来分解信号，而

恰好是线性系统的特征向量。

特征值分解又称为矩阵对角化，但是不是所有的矩阵都可以对角化。谱定理描述了什么样的矩阵可以被对角化。

二、奇异值分解SVD

上文中提到过，有些矩阵不能被特征值分解。那么SVD就是一种广义的特征值分解。它可以对任何

矩阵进行分解。

推导

以2*2实矩阵为例。若变换

不能找到特征向量。那么考虑是否可以找到一组单位正交向量

使得变换后得到的两个向量仍然是正交的。如下图：

若选择

为变换后的两个向量的单位向量，

分别为它们的长度，那么即可表示为下式:

而因为单位正交向量

组成

正交矩阵

(列向量)，那么它一定存在逆矩阵且为

。（实数矩阵中用转置即可，不需用共轭转置）

所以

定义

假设

是一个

m×n阶矩阵，其中的元素全部属于域K，也就是实数域或复数域。如此则存在一个分解使得

。

其中

是

m×m阶酉矩阵；

是

m×n阶非负实数对角矩阵；而

，即

的共轭转置，是

n×n阶酉矩阵。这样的分解就称作M的奇异值分解。

对角线上的元素

即为

的

奇异值。

而根据我前面所写，

中是输入的单位正交向量，

中是输出的单位正交向量，

对角线上的值为放缩倍数。如下图

三、对SVD的两种理解

从矩阵分解的角度

直接观察

，即可直接将其理解为把复杂的变换分解为3个连续的变换

、

。如下图

这三个变换都是有意义的。第一个变换

将单位正交向量

转到水平和垂直方向、

相当于对

进行放缩、

将放缩后的向量旋转到最后的位置。（应该知道正交矩阵的作用都是旋转矩阵）如下图所示：

从基变换的角度理解

特征值分解是一种基变换。而观察特征值分解与奇异值分解的形式，可以看到它们之间很相似。

特征值分解：

奇异值分解：

其实奇异值分解也可以视作是一种特征值分解。

是其“特征向量”，在这组“基”表示下，原本很复杂的变换

可以被变为一个相对简单的变换

。

包含两个变换，一个是对基向量的伸缩

，一个是旋转

。（若空间维度发生了变化，还包括

投影）即

（

不准确，只做理解用）

所以说，也可以认为奇异值分解将标准正交基下的向量变为了在

下表示的向量，然后应用相同的变换

,然后变到标准正交基。只不过

包含两个变换，伸缩

和旋转

，而

恰好等于

。

若是考虑在原空间选择一组基，在像空间选择另一组基，那么就有以下：

引用wiki上的几何意义：

因为U和V都是酉的，我们知道U的列向量u1,...,um组成了

空间的一组标准正交基。同样，V的列向量v1,...,vn也组成了

空间的一组标准正交基（根据向量空间的标准点积法则）。

矩阵

代表从

到

的一个线性映射

：

。通过这些标准正交基，这个变换可以用很简单的方式进行描述：

，其中

是

中的第

个对角元。当

时,

。

这样，SVD分解的几何意义就可以做如下的归纳：对于每一个线性映射

，

的奇异值分解在原空间与像空间中分别找到一组标准正交基，使得

把

的第

个基向量映射为

的第

个基向量的非负倍数，并将

中余下的基向量映射为零向量。换句话说，线性变换

在这两组选定的基上的矩阵表示为

，即所有对角元均为非负数的对角矩阵。

如果你觉得有收获，就点个赞吧！

参考：

[1]https://en.wikipedia.org/wiki/Eigenvalues_and_eigenvectors

[2]https://en.wikipedia.org/wiki/Singular_value_decomposition#Geometric_meaning

[3]Feature Column from the AMS