矩阵的对角化、SVD分解及应用

许多数学对象可以通过将它们分解成多个组成部分或者找到它们的一些属性而更好地理解，这些属性是通用的，而不是由我们选择表示它们的方式产生的。
例如，整数可以分解为质因数。我们可以用十进制或二进制等不同方式表示整数 12，但是 12 = 2 × 2 × 3 永远是对的。从这个表示中我们可以获得一些有用的信息，比如 12 不能被 5 整除，或者 12 的倍数可以被 3 整除。
正如我们可以通过分解质因数来发现整数的一些内在性质，我们也可以通过分解矩阵来发现矩阵表示成数组元素时不明显的函数性质。这里重点关注矩阵的SVD分解和应用。

矩阵运算的总结

先复习一下矩阵运算的几个关键性质：

矩阵运算满足分配率，结合律，特别的一般情况下不能满足交换律。

矩阵对角化

只有对称矩阵可以对角化，一般的矩阵是不一定能对角化的。
矩阵B(方阵)的对角化公式： P^-1AP = B，其中A为对角矩阵，P为单位正交矩阵。
注：正交矩阵是指行向量和列向量是分别标准正交的方阵。
对于单位正交矩阵来说：P^TP=PP^T=I，也就是说P^-1=P^T 。
所以B=P^TAP，正交矩阵受到关注是因为求逆计算代价小。
设P^T 为一系列u的向量，u属于实数范围。
根据公式得A等于值为 λ 的对角矩阵，推导B对角化计算：

由这里引出问题：怎么通过矩阵对角化实现对矩阵的有损压缩？
当我们的矩阵很大时，运算代价很大，通过矩阵对角化上述表达式丢弃部分数据实现矩阵压缩。

SVD分解(奇异值分解)

在我们的现实应用中，更常见的并不是对称方阵，而是一般普通的m x n矩阵，我们应该怎么去分解呢？通过SVD来实现一般矩阵的分解

一般的Am,nA_{m,n}Am,n矩阵是不能直接做对角化分解的，通过SVD的方法，将A矩阵转化：
1、ATAA^TAATA为对称正定矩阵
2、(ATA)T=AT(AT)T=ATA(A^TA)^T = A^T(A^T)^T=A^TA(ATA)T=AT(AT)T=ATA=>对称性
3、xTATAx=(xTAT)(Ax)=(Ax)T(Ax)>=0x^TA^TAx=(x^TA^T)(Ax)=(Ax)^T(Ax)>=0xTATAx=(xTAT)(Ax)=(Ax)T(Ax)>=0=>正定性

应用

能够极大的减小神经网络中算法的复杂度，在深度神经网络中有着广泛的应用

线性代数笔记：矩阵的对角化、SVD分解及应用相关推荐

李宏毅线性代数笔记9：对角化
1 可对角化 2 特征分解如果可对角化的话,那么p矩阵的每一列都是特征向量:对角矩阵对角线上的元素都是特征值如果可对角化的话,那么有n个线性无关的特征向量 3 如何对角化 4 不同特征值对应的特征 ...
机器学习笔记（二）矩阵和线性代数例：用Python实现SVD分解进行图片压缩
线性代数基本只要是理工科,都是必修的一门课.当时学习的时候总是有一个疑惑,这个东西到底是干嘛用的?为什么数学家发明出这么一套方法呢,感觉除了解方程没发现有什么大用啊!但随着学习的深入,慢慢发现矩阵的应 ...
低秩矩阵完备_矩阵之芯 SVD: 基本应用以及与其他分解的关系
上一篇里忘记说了,为什么取名为矩阵之芯呢? 矩阵之芯 SVD: 奇异值分解及其几何解释除了这东西在线性代数里确实比较重要外,从长相看,是不是有点上面图片里的那家伙的身形.矩阵的奇异值分解 ,一分为仨, ...
数据挖掘--矩阵的SVD分解
QR分解虽然很有用,而且具有较为稳定的性质,但也有不足之处:QR分解只能提供原矩阵A的列的一组正交基. 现在介绍的SVD分解可以分别提供对应原矩阵的行.列的正交基. 矩阵U.矩阵V的列向量都是奇异向量 ...
图像SVD分解与重构
图像SVD分解与重构将图像看成一个二维矩阵,三个通道的彩色图像就是3个二维矩阵,对矩阵分别进行svd分解.svd分解是将一个矩阵A写成U∗Σ∗VTU*\Sigma*V^TU∗Σ∗VT的形式,U和V都 ...
SVD分解在注水算法中的应用------P02114003宋阳光，P02114008陈康，P02114010何申旺，P02114011朱海涛，P02114019杨琪
一.引言 SVD分解在数学和应用领域都有广泛的应用,以下是一些SVD分解的主要作用: 1.数据降维:SVD分解可以将高维数据降低到低维表示.通过只保留最重要的奇异值和对应的奇异向量,可以减少数据的维度 ...
线性代数笔记：概率矩阵分解 Probabilistic Matrix Factorization （PMF）
概率矩阵分解模型可以解决大规模.稀疏且不平衡的数据. 1 PMF的两点假设 1.1.观测噪声(观测评分矩阵和近似评分矩阵之差)服从高斯噪声的正态分布观测评分矩阵是ground truth的矩阵,我们 ...
李宏毅线性代数笔记13：SVD分解
1 SVD分解介绍之前用特征值来进行对角化的时候,被对角化的矩阵一定要是方阵,但是SVD的话,非方阵也是可以的. 矩阵Σ对角线上的元素都是大于等于0的我们可以改变U,V的一些行和列,来达到Σ对角线 ...
线性代数(14): 对称矩阵与矩阵的SVD分解
文章目录 1 完美的对称矩阵 2 正交对角化 3 什么是奇异值 4 奇异值的几何意义 5 矩阵的奇异值分解(SVD) 6 在numpy中使用SVD分解参考资料注:转载请标明原文出处链接:https ...

线性代数笔记：矩阵的对角化、SVD分解及应用