特征值和奇异值的关系

特征值分解和奇异值分解（SVD）在主成分分析（PCA）和机器学习领域都有广泛的应用。PCA的实现由两种方法，一种是特征值分解，另一种是奇异值分解，特征值分解和奇异值分解的目的是一样的，都是提取出一个矩阵最重要的特性。

特征值

线性代数中对特征值和特征向量的定义：设A是n阶方阵，如果存在 λ 和n维非零向量x，使 Ax=λxAx=λxAx=\lambda x，则 λ 称为方阵A的一个特征值，x为方阵A对应于或属于特征值 λ 的一个特征向量。从定义可以看出，对特征向量x进行A变换的实质是将特征向量进行缩放，缩放因子为特征值λ。因此，特征向量的代数上含义是：将矩阵乘法转换为数乘操作；特征向量的几何含义是：特征向量通过方阵A变换只进行伸缩，而保持特征向量的方向不变。特征值表示的是这个特征到底有多重要，类似于权重，而特征向量在几何上就是一个点，从原点到该点的方向表示向量的方向。

　　一个变换方阵的所有特征向量组成了这个变换矩阵的一组基。所谓基，可以理解为坐标系的轴。我们平常用到的大多是直角坐标系，在线性代数中可以把这个坐标系扭曲、拉伸、旋转，称为基变换。我们可以按需求去设定基，但是基的轴之间必须是线性无关的，也就是保证坐标系的不同轴不要指向同一个方向或可以被别的轴组合而成，否则的话原来的空间就“撑”不起来了。从线性空间的角度看，在一个定义了内积的线性空间里，对一个N阶对称方阵进行特征分解，就是产生了该空间的N个标准正交基，然后把矩阵投影到这N个基上。N个特征向量就是N个标准正交基，而特征值的模则代表矩阵在每个基上的投影长度。特征值越大，说明矩阵在对应的特征向量上的方差越大，功率越大，信息量越多。总结一下，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多的事情。不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。

　　在机器学习特征提取中，意思就是最大特征值对应的特征向量方向上包含最多的信息量，如果某几个特征值很小，说明这几个方向信息量很小，可以用来降维，也就是删除小特征值对应方向的数据，只保留大特征值方向对应的数据，这样做以后数据量减小，但有用信息量变化不大，PCA降维就是基于这种思路。

注意：矩阵的特征值要求矩阵是非奇异矩阵（即方阵且行列式的值不为零）

奇异值

特征值及特征值分解都是针对方阵而言，现实世界中，我们看到的大部分矩阵不是方阵，比如每道数据有M个点，一共采集了N道数据，这样就形成了一个N*M的矩阵，那么怎样才能像方阵一样提取出它的特征，以及特征的重要性。奇异值分解就是来干这个事情的。奇异值相当于方阵中的特征值，奇异值分解相当于方阵中的特征值分解。

奇异值分解（SVD）是一种适用于任意矩阵的分解方法。

奇异值分解的原理就不在这里阐述（感兴趣的读者，可以进一步看本博主关于SVD原理的博文）

特征值和奇异值关系

个人觉得：对于非奇异矩阵，对应着特征值。对于奇异矩阵，就需要进行奇异值分解，对应着奇异值。对于奇异矩阵，将A与其转置相乘ATAATAA^{T}A将会得到一个方阵，再求特征值。值得注意的是，对于非奇异矩阵进行奇异值分解（SVD），得到的奇异值，其实就是特征值。

参考

https://www.cnblogs.com/litaotao-doctor/p/5320521.html
https://blog.csdn.net/songer93/article/details/80761450

特征值和奇异值的关系相关推荐

互逆矩阵特征值，奇异值的关系
A 与A^-1 的特征价值互为倒数. 证明 Ax1=lambda1 x1 => inv(A) A x1=lambad1 inv(A) x1 => x1= lambda1 ...
特征值和奇异值（svd）
版权声明: 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如果有问题,请联系wheeleast@gm ...
特征值与奇异值的对比及应用
版权声明: 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如果有问题,请联系wheeleast@gm ...
矩阵的特征值与奇异值
矩阵的特征值与奇异值特征值分解(EVD) 奇异值分解(SVD) SVD的性质及应用矩阵降维求解齐次方程特征值分解(EVD) 对于nnn阶方阵A\bm{A}A来说,其特征值定义为: Au=λu\ ...
机器学习（十二）——机器学习中的矩阵方法（2）特征值和奇异值
http://antkillerfarm.github.io/ QR分解(续) 令A=[a1,⋯,an]A=[\mathbf{a}_1, \cdots, \mathbf{a}_n],其中aia_i为列 ...
SVD奇异值分解中特征值与奇异值的数学理解与意义
前言之前的博客中SVD推荐算法写得不是很严谨,r̂ ui=∑Ff=1PufQfi+μ+bu+bir^ui=∑f=1FPufQfi+μ+bu+bi\hat{r}_{ui}=\sum_{f=1}^{F} ...
矩阵中的特征值和奇异值，物理意义
一.奇异值与特征值基础知识: 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法.两者有着很紧密的关系,我在接下来会谈到,特征值分解和奇异值分解的目的都是一样,就是提取出一个矩阵最重要的特征. ...
ker矩阵是什么意思_矩阵分析(二)：从特征值到奇异值
在上一篇文章中,空间变换和基变换已经被详细讨论过了.特别是基变换,从两个角度看待它对理解特征值分解和奇异值分解会起到很大的帮助. 阿姆斯特朗:矩阵分析(一):空间变换与基变换zhuanlan.zhi ...
线性代数_矩阵零空间的维度与奇异值的关系
1. 矩阵的零空间矩阵A的零空间就Ax=0的解的集合. 零空间的求法:对矩阵A进行消元求得主变量和自由变量:给自由变量赋值得到特解:对特解进行线性组合得到零空间. 假设矩阵如下: 对矩阵A进行高斯消 ...
斐波那契数列和矩阵的特征值于特征向量的关系
从事软件开发的人对斐波那契数列可以说在熟悉不过了,一般是学习递归算法的入门案例写在教科书中,它用递推公式表达是这个样子的: 作为一名自尊自爱的码农,看到这个公式不免既心痒又难骚,必须要安排它一下,就拿 ...

特征值和奇异值的关系

特征值

奇异值

特征值和奇异值关系

参考

特征值和奇异值的关系相关推荐

最新文章

热门文章