奇异值分解与低秩矩阵近似

2024-05-12 09:38:18

奇异值分解

任何实矩阵\(\textbf{A} \in \mathbb{R}^{m \times n}\)都可以分解为

$\textbf{A} = \textbf{U}\Sigma\textbf{V}^T$, (1)

其中, \(\textbf{U} \in \mathbb{R}^{m \times m}\)和\(\textbf{V} \in \mathbb{R}^{n \times n}\)分别为满足\(\textbf{U}^T\textbf{U} = \textbf{I}\)以及\(\textbf{V}^T\textbf{V} = \textbf{I}\)的m阶与n阶酉矩阵. 其中\((\Sigma)_{ii} = \sigma_i\)且其它位置的元素均为0, \(\sigma_i\)为非负实数且满足\(\sigma_1 \geqslant \sigma_2 \geqslant ... \geqslant 0\).

式(1)为奇异值分解(SVD), 其中\(\textbf{U}\)的列向量\(\textbf{u}_i \in \mathbb{R}^m\)称为\(\textbf{A}\)的左奇异向量, \(\textbf{V}\)的列向量\(\textbf{v}_i \in \mathbb{R}^n\)称为\(\textbf{A}\)的右奇异向量, \(\sigma^i\)称为奇异值. 矩阵的秩就等于非零奇异值的个数。

低秩矩阵近似

给定一个秩为\(r\)的矩阵\(\textbf{A}\), 欲求其最优\(k\)秩近似矩阵\(\widetilde{\textbf{A}}, k \leqslant{r}\), 该问题可形式化为

$\min \limits_{\widetilde{A} \in \mathbb{R}^{m \times n}}\| \textbf{A} - \widetilde{\textbf{A}}\|_F$, (2) $s.t. \ rank(\widetilde{\textbf{A}}) = k .$

对矩阵\(\textbf{A}\)进行奇异值分解后，将矩阵\(\Sigma\)中的 \(r\ - \ k\) 个最小的奇异值置零获得矩阵\(\Sigma_k\), 仅保留最大的\(k\)个奇异值, 则

\(\textbf{A}_k = \textbf{U}_k\Sigma_k\textbf{V}^T_k\), (3)
就是(2)的最优解，其中\(\textbf{U}_k\)和\(\textbf{V}_k\)分别是式(1)中前k列组成的矩阵. （Eckart-Young-Mirsky定理）

reference:
《机器学习》 by 周志华

转载于:https://www.cnblogs.com/lhtan/p/7998662.html

奇异值分解与低秩矩阵近似相关推荐

低秩矩阵完备_矩阵之芯 SVD: 基本应用以及与其他分解的关系
上一篇里忘记说了,为什么取名为矩阵之芯呢? 矩阵之芯 SVD: 奇异值分解及其几何解释除了这东西在线性代数里确实比较重要外,从长相看,是不是有点上面图片里的那家伙的身形.矩阵的奇异值分解 ,一分为仨, ...
低秩矩阵(Low-Rank)的意义
1．回顾基础: 矩阵的秩度量的是矩阵行列之间的相关性,如果各行各列都是线性无关的,矩阵就是满秩.非零元素的行或列决定了秩的大小.//划重点,秩可以度量矩阵自身相关性讲个小故事: 首先来思考,为什么叫 ...
低秩矩阵的应用--背景建模
背景建模是从拍摄的视频中分离出背景和前景. 由于背景的视频基本是不变的,所以如果把每帧当做一个矩阵的一列那么,矩阵是低秩的,所以低秩矩阵的恢复来恢复出背景. 今天主要完成了,在自己的数据库让进行背景和 ...
9.3 低秩矩阵分解-机器学习笔记-斯坦福吴恩达教授
低秩矩阵分解(Low Rank Matrix Factorization) 我们将用户对电影的评分表格: 用矩阵表示: Y=[55005??0?40?00540050]Y=\left[\begin{m ...
低秩矩阵补全算法matlab实现,推荐系统中的矩阵补全算法
最基本的问题,以用户电影评分为例,也就是这个用户-电影矩阵. 表中是用户多电影的评分,但评分有缺失,因为用户不可能对所有电影作出评价. 那么推荐问题就是给用户合理推荐一个没看过的电影,合理是指,预测用 ...
推荐系统之---如何理解低秩矩阵？
1.说明在推荐系统中有有一种推荐方式:LFM,也叫隐因子分解.这中推荐方式在Netflix公司的百万美金大赛中可以说是大放异彩.但是在这里面涉及到一个假设.假设评分矩阵是低秩的(Low rank). ...
低秩矩阵RPCA MATLAB,低秩矩阵分解
[实例简介] 低秩矩阵分解代码,inexact alm [实例截图] [核心代码] inexactalm └── inexact alm ├── inexact_alm_rpca │ ├── ch ...
机器学习——低秩矩阵分解中低秩的意义、矩阵填补、交叉验证
在研读论文<Matrix completion by deep matrix factorization>时,遇到了一些不明白的知识点,花费了大量时间在网上查阅相关资料,终于找到了能够让自 ...
低秩矩阵完备_多源域和多视角 “秩约束”
Robust Multi-view Representation: A Unified Perspective from Multi-view Learning to Domain Adaption ...

最新文章

热门文章