奇异值分解(SVD)原理详解及推导 (转)
很不错的文章,适合入门。
转载出处http://blog.csdn.net/zhongkejingwang/article/details/43053513
在网上看到有很多文章介绍SVD的,讲的也都不错,但是感觉还是有需要补充的,特别是关于矩阵和映射之间的对应关系。前段时间看了国外的一篇文章,叫A Singularly Valuable Decomposition The SVD of a Matrix,觉得分析的特别好,把矩阵和空间关系对应了起来。本文就参考了该文并结合矩阵的相关知识把SVD原理梳理一下。
SVD不仅是一个数学问题,在工程应用中的很多地方都有它的身影,比如前面讲的PCA,掌握了SVD原理后再去看PCA那是相当简单的,在推荐系统方面,SVD更是名声大噪,将它应用于推荐系统的是Netflix大奖的获得者Koren,可以在Google上找到他写的文章;用SVD可以很容易得到任意矩阵的满秩分解,用满秩分解可以对数据做压缩。可以用SVD来证明对任意M*N的矩阵均存在如下分解:
这个可以应用在数据降维压缩上!在数据相关性特别大的情况下存储X和Y矩阵比存储A矩阵占用空间更小!
在开始讲解SVD之前,先补充一点矩阵代数的相关知识。
正交矩阵
正交矩阵是在欧几里得空间里的叫法,在酉空间里叫酉矩阵,一个正交矩阵对应的变换叫正交变换,这个变换的特点是不改变向量的尺寸和向量间的夹角,那么它到底是个什么样的变换呢?看下面这张图
a'和b'实际上是x在e1'和e2'轴上的投影大小,所以直接做内积可得,then
旋转变换是正交变换的一个方面,这个挺有用的,比如在开发中需要实现某种旋转效果,直接可以用旋转变换实现。正交变换的另一个方面是反射变换,也即e1'的方向与图中方向相反,这个不再讨论。
总结:正交矩阵的行(列)向量都是两两正交的单位向量,正交矩阵对应的变换为正交变换,它有两种表现:旋转和反射。正交矩阵将标准正交基映射为标准正交基(即图中从e1、e2到e1'、e2')
特征值分解——EVD
所以可得到A的特征值分解(由于对称阵特征向量两两正交,所以U为正交阵,正交阵的逆矩阵等于其转置)
这里假设A有m个不同的特征值,实际上,只要A是对称阵其均有如上分解。
矩阵A分解了,相应的,其对应的映射也分解为三个映射。现在假设有x向量,用A将其变换到A的列空间中,那么首先由U'先对x做变换:
U是正交阵U'也是正交阵,所以U'对x的变换是正交变换,它将x用新的坐标系来表示,这个坐标系就是A的所有正交的特征向量构成的坐标系。比如将x用A的所有特征向量表示为:
则通过第一个变换就可以把x表示为[a1 a2 ... am]':
紧接着,在新的坐标系表示下,由中间那个对角矩阵对新的向量坐标换,其结果就是将向量往各个轴方向拉伸或压缩:
从上图可以看到,如果A不是满秩的话,那么就是说对角阵的对角线上元素存在0,这时候就会导致维度退化,这样就会使映射后的向量落入m维空间的子空间中。
最后一个变换就是U对拉伸或压缩后的向量做变换,由于U和U'是互为逆矩阵,所以U变换是U'变换的逆变换。
根据对称阵A的特征向量,如果A是2*2的,那么就可以在二维平面中找到这样一个矩形,是的这个矩形经过A变换后还是矩形:
这个矩形的选择就是让其边都落在A的特征向量方向上,如果选择其他矩形的话变换后的图形就不是矩形了!
奇异值分解——SVD
所以如果正交基v选择为A'A的特征向量的话,由于A'A是对称阵,v之间两两正交,那么
这样就找到了正交基使其映射后还是正交基了,现在,将映射后的正交基单位化:
当k < i <= m时,对u1,u2,...,uk进行扩展u(k+1),...,um,使得u1,u2,...,um为m维空间中的一组正交基,即
同样的,对v1,v2,...,vk进行扩展v(k+1),...,vn(这n-k个向量存在于A的零空间中,即Ax=0的解空间的基),使得v1,v2,...,vn为n维空间中的一组正交基,即
现在可以来对A矩阵的映射过程进行分析了:如果在n维空间中找到一个(超)矩形,其边都落在A'A的特征向量的方向上,那么经过A变换后的形状仍然为(超)矩形!
vi为A'A的特征向量,称为A的右奇异向量,ui=Avi实际上为AA'的特征向量,称为A的左奇异向量。下面利用SVD证明文章一开始的满秩分解:
整个SVD的推导过程就是这样,后面会介绍SVD在推荐系统中的具体应用,也就是复现Koren论文中的算法以及其推导过程。
参考文献:A Singularly Valuable Decomposition The SVD of a Matrix
奇异值分解(SVD)原理详解及推导 (转)相关推荐
- 奇异值分解(SVD)原理详解及推导(转载)
转载自:http://blog.csdn.net/zhongkejingwang/article/details/43053513 在网上看到有很多文章介绍SVD的,讲的也都不错,但是感觉还是有需要补 ...
- 奇异值分解(SVD)原理详解及推导
转载于:http://blog.csdn.net/zhongkejingwang/article/details/43053513 在网上看到有很多文章介绍SVD的,讲的也都不错,但是感觉还是有需要补 ...
- 奇异值分解(SVD)原理详解
奇异值分解(SVD)原理详解 一.奇异值与特征值基础知识: 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法.两者有着很紧密的关系,我在接下来会谈到,特征值分解和奇异值分解的目的都是一样,就 ...
- 奇异值分解(SVD)的原理详解及推导
1. 写在前面 最近整理推荐系统模型的时候, 第二个模型打算整理一下隐语义模型, 这里面绕不开一种思想就是矩阵分解, 而作为矩阵分解的经典方法SVD感觉这次有必要学学了, SVD不仅是一个数学问题,在 ...
- 【机器学习】XgBoost 原理详解 数学推导
XgBoost (Xtreme Gradient Boosting 极限 梯度 增强) 1.基本描述: 假设Xg-模型有 t 颗决策树数,t棵树有序串联构成整个模型,各决策 ...
- 主成分分析(PCA)原理详解 2016/12/17 · IT技术 · 主成分分析, 数学 分享到: 21 原文出处: 中科春哥 一、PCA简介 1. 相关背景 主成分分析(Principa
主成分分析(PCA)原理详解 2016/12/17 · IT技术 · 主成分分析, 数学 分享到:21 原文出处: 中科春哥 一.PCA简介 1. 相关背景 主成分分析(Principal Co ...
- EMD算法之Hilbert-Huang Transform原理详解和案例分析
目录 Hilbert-Huang Transform 希尔伯特-黄变换 Section I 人物简介 Section II Hilbert-Huang的应用领域 Section III Hilbert ...
- 图像质量损失函数SSIM Loss的原理详解和代码具体实现
本文转自微信公众号SIGAI 文章PDF见: http://www.tensorinfinity.com/paper_164.html http://www.360doc.com/content/19 ...
- Softmax函数详解与推导
原文:https://www.cnblogs.com/zongfa/p/8971213.html Softmax函数详解与推导 一.softmax函数 softmax用于多分类过程中,它将多个神经元的 ...
最新文章
- jboss的几个常用操作
- linux系统qt中make安装,Linux系统下Qt的基本安装和配置
- Mule ESB 学习笔记(11)Web Service Proxy(这里是一个可以正常运行的例子)
- 2020年10月13日工作日志 - 挂掉的单元测试
- 软件测试实验报告下载 实验一到实验五
- 文本框宽度自动适应文本宽度
- 程序员的年龄越大编程能力越弱???原来我们都理解错了
- 人是什么垃圾?AI识别功能用到垃圾分类上时 网友试了试“扫自己”
- 05 | 服务编排层:Pipeline 如何协调各类 Handler ?
- k8s查看pod的yaml文件_k8s监控系统prometheus-operator
- 数据库系统概论第五版(笔记)
- 三种循环语句的详解和使用(for,while,do-while)
- 如何使用python实现翻转英文句子的单词顺序
- 循环控制语句--for循环
- oracle监听生成trace,监听器控制程序lsnrctl跟踪trace file
- 星环科技的“星图解密”:只有偏执狂,才能让中国基础软件打破对国外进口的依赖...
- 深信服 2022届校园招聘 C++笔试编程题目
- 360随身wifi驱动 v3.1.0.1075 官方版
- ROS中搭建分布式系统 主从机模式
- Android 6.0新特性[zz]
热门文章
- linux sort 命令详解
- 分水岭算法分割图像的原理概述及OpenCV代码实现
- linux的tmp目录不会清空,关于Linux系统中/tmp目录的清除问题
- leetcode算法题--两个字符串的最小ASCII删除和★
- leetcode算法题--等差数列划分
- 整活插件 炉石传说_炉石传说:一顿操作猛如虎,定睛一看原地杵,会长整活被死人抬走...
- uniapp怎么引入css_uniapp - css样式设置scoped
- Windows CE 6.0 安装顺序
- sofa-rpc集群容错之Failfast实现
- Ubuntu 16.04设置Redis为开机自动启动服务