奇异值分解本质矩阵_Singular Value Decomposition（奇异值分解）

简介

SVD是将矩阵A分解为U，∑和V三个矩阵，如下：

假设矩阵A是一个6行4列的矩阵，则SVD分解如下：

其中：

VT是一个行向量正交矩阵，即其中任意两个行向量vi正交；

∑是对角矩阵，对角线上有n个非零值（n等于矩阵A的秩），∑矩阵其它位置均为0；例子中矩阵A的秩为3，所以∑对角线上只有3个非零值分别为s1,s2,s3，三者被称为矩阵A的奇异值；

U是一个列向量正交矩阵，即其中任意两个列向量ui正交；

2. 意义解析

奇异值分解相当于对矩阵A在另一个空间Rx的解析/表达，其中：

矩阵V中的正交向量vi是Rx空间的一组正交基；

∑对角线上的值si代表数据在Rx空间对应基vi方向上的差异度；如s1对应v1，s2对应v2，s3对应v3；si越大代表数据在vi方向上区分度越高；

矩阵U中每一行R_ui代表矩阵A中对应的行R_ai在Rx空间中的表达；上例中，U中每一行是一个6维向量，但矩阵A的秩为3，所以U中每一行的前3维（即蓝色的u1，u2，u3维）即可代表A的对应行在Rx空间中的信息；

因为∑空间对角线上的值si代表数据在Rx空间基vi方向上区分度，或者说“重要度”，值越大越重要，所以可以将si较小的值置零，然后经U∑VT运算得矩阵A’（ A’的shape和A的shape相同），矩阵A’保留了原矩阵A的绝大部分信息（同时去除了原矩阵A数据中的大量噪音）；

3. 示例

以一个图片数据进行SVD为例，原图片如下，表达图片的数据矩阵A为400X400；

将A分解为U∑VT，保留∑中最大的1个值，得到还原矩阵A’代表的图像如下：

保留∑中最大的2个值，得到还原矩阵A’代表的图像如下

保留∑中最大的10个值，得到还原矩阵A’代表的图像如下

保留∑中最大的50个值，得到还原矩阵A’代表的图像如下

4. SVD和PCA的关系：

由上式可得，SVD求得的V矩阵就是PCA的特征向量矩阵，而∑矩阵中的奇异值的平方就是PCA的特征值；而实际PCA通常就是通过SVD求解的；

奇异值分解本质矩阵_Singular Value Decomposition（奇异值分解）相关推荐

【机器学习的数学基础】（七）矩阵分解(Matrix Decomposition)(中)
文章目录 4 矩阵分解(Matrix Decomposition)(中) 4.3 Cholesky分解 4.4 特征分解与对角化 4.5 奇异值分解 4.5.1 几何图解SVD 4.5.2 SVD的构 ...
推荐系统学习笔记之三 LFM (Latent Factor Model) 隐因子模型 + SVD (singular value decomposition) 奇异值分解
Low Rank Matrix Factorization低阶矩阵分解在上一篇笔记之二里面说到我们有五部电影,以及四位用户,每个用户对电影的评分如下,?表示未评分. Movies\User User ...
一文帮你梳理清楚：奇异值分解和矩阵分解 | 技术头条
作者 | K. Delphino 译者 | Linstancy 编辑 | Rachel 出品 | AI科技大本营(id:rgznai100) [导读]在推荐系统的相关研究中,我们常常用到两个相关概念: ...
Chapter 7 (Symmetric Matrices and Quadratic Forms): The Singular Value Decomposition (奇异值分解, SVD)
目录奇异值奇异值的定义非零奇异值 The Singular Value Decomposition (SVD) 奇异值分解一些性质几何解释紧奇异值分解与截断奇异值分解奇异值分解与矩阵近似 ...
矩阵的奇异值分解matlab,矩阵奇异值分解(SVD)
看到一个博客园里讲解奇异值分解的博文,说的很清楚,加深了对SVD的理解,分享一下! 强大的矩阵奇异值分解(SVD)及其应用摘录一些话如下: 奇异值分解是一个有着很明显的物理意义的一种方法,它可以将一 ...
matlab 求矩阵奇异值,matlab怎么求矩阵的奇异值和奇异值分解来看看吧
有时候我们在使用matlab进行运算的时候,想求矩阵的奇异值和进行奇异值分解,怎么操作呢,下面来分享一下方法工具/材料 matlab 矩阵的奇异值和奇异值分解操作方法 01 第一步我们首先需要知道 ...
单目初始化单应矩阵本质矩阵恢复R t 三角变换求 3D点
单目初始化单应矩阵本质矩阵恢复R t 三角变换求 3D点博文末尾支持二维码赞赏哦 ^_^ /* * This file is part of ORB-SLAM2 * * 单目相机初始化 * 用 ...
多视图几何总结——基础矩阵、本质矩阵和单应矩阵的求解过程
多视图几何总结--基础矩阵.本质矩阵和单应矩阵的求解过程多视图几何总结--基础矩阵.本质矩阵和单应矩阵的求解过程 1. 说明--其实求解过程大同小异 2. 单应矩阵求解过程 2.1 基于代数误差的线 ...
视觉SLAM十四讲学习笔记-第七讲-视觉里程计-对极几何和对极约束、本质矩阵、基础矩阵
专栏系列文章如下: 专栏汇总视觉SLAM十四讲学习笔记-第一讲_goldqiu的博客-CSDN博客视觉SLAM十四讲学习笔记-第二讲-初识SLAM_goldqiu的博客-CSDN博客视觉SLA ...

奇异值分解本质矩阵_Singular Value Decomposition（奇异值分解）

奇异值分解本质矩阵_Singular Value Decomposition（奇异值分解）相关推荐

最新文章

热门文章

奇异值分解 本质矩阵_Singular Value Decomposition（奇异值分解）

奇异值分解 本质矩阵_Singular Value Decomposition（奇异值分解）相关推荐

最新文章

热门文章

奇异值分解本质矩阵_Singular Value Decomposition（奇异值分解）

奇异值分解本质矩阵_Singular Value Decomposition（奇异值分解）相关推荐