特征值、特征向量和奇异值

2024-04-21 17:37:54

特征值和特征向量

1 特征值分解与特征向量

特征值分解可以得到特征值(eigenvalues)与特征向量(eigenvectors)；
特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。

如果说一个向量v⃗\vec{v}v是方阵AAA的特征向量，将一定可以表示成下面的形式：

Aν=λνA\nu = \lambda \nu Aν=λν

λ\lambdaλ为特征向量v⃗\vec{v}v对应的特征值。特征值分解是将一个矩阵分解为如下形式：

A=Q∑Q−1A=Q\sum Q^{-1} A=Q∑Q−1

其中，QQQ是这个矩阵AAA的特征向量组成的矩阵，∑\sum∑是一个对角矩阵，每一个对角线元素就是一个特征值，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。也就是说矩阵AAA的信息可以由其特征值和特征向量表示。

2 奇异值与特征值有什么关系

那么奇异值和特征值是怎么对应起来的呢？我们将一个矩阵AAA的转置乘以AAA，并对ATAA^TAATA求特征值，则有下面的形式：

(ATA)V=λV(A^TA)V = \lambda V (ATA)V=λV

这里VVV就是上面的右奇异向量，另外还有：

σi=λi,ui=1σiAμi\sigma_i = \sqrt{\lambda_i}, u_i=\frac{1}{\sigma_i}A\mu_i σi=λi,ui=σi1Aμi

这里的σ\sigmaσ就是奇异值，uuu就是上面说的左奇异向量。【证明那个哥们也没给】
奇异值σ\sigmaσ跟特征值类似，在矩阵∑\sum∑中也是从大到小排列，而且σ\sigmaσ的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前rrr（rrr远小于m、nm、nm、n）个的奇异值来近似描述矩阵，即部分奇异值分解：
Am×n≈Um×r∑r×rVr×nTA_{m\times n}\approx U_{m \times r}\sum_{r\times r}V_{r \times n}^T Am×n≈Um×rr×r∑Vr×nT

右边的三个矩阵相乘的结果将会是一个接近于AAA的矩阵，在这儿，rrr越接近于nnn，则相乘的结果越接近于AAA。

特征值、特征向量和奇异值相关推荐

特征值特征向量和奇异值分解精彩片段汇总
一.几何角度理解奇异值分解SVD https://baijiahao.baidu.com/s?id=1620247228491947246&wfr=spider&for=pc http ...
关于特征值特征向量和矩阵分解的理解总结
本文章是从其他地方总结一些对自己有用的理论,全文可在底部参考文章中查阅. 侵删,不断学习不断更新- 我们知道,矩阵乘法对应了一个变换,是把任意一个向量变成另一个方向或长度都大多不同的新向量 ...
机器学习笔记 - 特征向量和特征值
一.特征向量和特征值 1.概念简述和应用 (1)概念简述矩阵的特征向量是矩阵理论上的重要概念之一,它有着广泛的应用.特征值和特征向量是数据科学领域的核心. 它到底有什么用? 简而言之,特征向量和特征 ...
矩阵特征向量和特征值的意义
作者:達聞西链接:https://www.zhihu.com/question/30094611/answer/120499954 来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转 ...
【机器学习中的数学基础】矩阵特征值、特征向量和特征值分解的几何意义
[机器学习中的数学基础]矩阵特征值.特征向量和特征值分解的几何意义在<机器学习>西瓜书中的第十章提到了"多维缩放"(简称MDS)方法,该方法是一种经典的的降维方法.此 ...
二次型、特征值/向量、奇异值、特征值、奇异值分解、奇异值分解(SVD)原理与在降维中的应用
一.二次型通过矩阵来研究二次函数(方程),这就是线性代数中二次型的重点. 1 二次函数(方程)的特点 1.1 二次函数最简单的一元二次函数就是: 给它增加一次项不会改变形状: 增加常数项就更不用说 ...
模式识别中的特征向量和矩阵的特征向量有什么关系
模式识别中的特征向量和矩阵的特征向量有什么关系特征向量是个什么东西?学过矩阵论的人都知道,一个可逆的矩阵可以分解为特征值和特征向量的乘积,即AV=lambaV,其中V是特征向量矩阵:这个的好处是可以 ...
python 邻接矩阵_阿里巴巴举荐，Python视频，免费分享，用python求解特征向量和拉普拉斯矩阵...
学过线性代数和深度学习先关的一定知道特征向量和拉普拉斯矩阵,这两者是很多模型的基础,有着很重要的地位,那用python要怎么实现呢? numpy和scipy两个库中模块中都提供了线性代数的库linal ...
特征值分解与奇异值分解原理与计算
(一)特征值如果一个非零向量v是方阵A的特征向量,将一定可以表示成下面形式,而λ是特征向量v对应的特征值:特征值分解是将一个矩阵分解成下面的形式: 其中Q是这个矩阵甲的特征向量组成的矩阵,Σ是一个对 ...

最新文章

热门文章