【数学基础】特征值,特征向量与SVD奇异值分解
点击上方,选择星标或置顶,每天给你送干货!
阅读大概需要5分钟
跟随小博主,每天进步一丢丢
资源获取链接!(该链接文末可获得知识图谱、python、DL、ML、NLP、C++、TensorFlow、QL、pytorch4NLP、PRML等学习资源!)
来自:纸鱼AI
本文是深度学习笔记系列文章,本次文章将介绍线性代数里比较重要的概念:特征值,特征向量以及SVD奇异值分解。
向量
回顾线性代数中,含有n个元素的向量可以表示为:
一般默认向量为列向量,也就是n行1列的矩阵,行向量表示为x的转置即.
特征值和特征向量
当维度为n*n的方阵A、n维向量x和实数 λ满足下式时:
上式可以看成将矩阵 A 作用在向量 x 上,只对该向量的长度进行变换,此时λ 为矩阵 A 的特征值,x 为对应的特征向量(从几何角度看左乘一个矩阵可以看成一个空间变换)。
将上式变换一下可得:
当且仅当矩阵为奇异矩阵时才存在非零解 x ,令其行列式为0,可以得到 λ 的多项式,求得特征值,再根据特征值即可求出相应的特征向量.
令矩阵 A 的第 i 个特征值为 λi, 对应的特征向量为 xi, 所有特征向量构成的矩阵为 X ,若X可逆,则A可对角化表示为:
其中 Λ 为所以对应特征值组成的对角矩阵.
特别的若A为对称矩阵,则A的特征值均为实数,特征向量可化为正交特征向量,即X为正交矩阵,用U表示,则矩阵A可表示为:
SVD奇异值分解
若A为m*n矩阵,则存在m*m的正交矩阵U、n*n的正交矩阵V和m*n的对角矩阵D满足:
其中U为左奇异矩阵,列向量为的特征向量;V为右奇异矩阵,列向量为的特征向量;矩阵D中对角线元素为A的奇异值,为的特征值的平方根. 因为一个矩阵乘以它的转置为对称矩阵,必能正交对角化,因此任意矩阵均能奇异值分解.
SVD应用
SVD一个常见的应用就是降维,如对于图像数据矩阵A进行SVD,取前k大的奇异值,U和V都取前k个向量,再恢复到原图像大小,k取值合理的情况下可以与原图几乎一样,这样就实现了对图像的压缩.
可以发现和PCA主成分分析很相似。在PCA中我们先计算协方差矩阵,再求出前k大特征值对应的特征向量作为主成分,对数据进行降维。
当计算协方差矩阵时,我们需要计算(A维数为n*p,n为样本数,p为特征个数,且A已进行取均值化),计算SVD时也有这个,由此可以得到PCA的另一种解法:通过对A进行SVD分解计算右奇异矩阵V,V中列向量即为PCA所需的特征向量。这种方法更为方便,sklearn中的PCA就是通过SVD来实现的。
资源获取链接!(该链接文末可获得知识图谱、python、DL、ML、NLP、C++、TensorFlow、QL、pytorch4NLP、PRML等学习资源!)
推荐阅读:
【ACL 2019】腾讯AI Lab解读三大前沿方向及20篇入选论文
【一分钟论文】IJCAI2019 | Self-attentive Biaffine Dependency Parsing
【一分钟论文】 NAACL2019-使用感知句法词表示的句法增强神经机器翻译
【一分钟论文】Semi-supervised Sequence Learning半监督序列学习
【一分钟论文】Deep Biaffine Attention for Neural Dependency Parsing
详解Transition-based Dependency parser基于转移的依存句法解析器
经验 | 初入NLP领域的一些小建议
学术 | 如何写一篇合格的NLP论文
干货 | 那些高产的学者都是怎样工作的?
一个简单有效的联合模型
近年来NLP在法律领域的相关研究工作
让更多的人知道你“在看”
【数学基础】特征值,特征向量与SVD奇异值分解相关推荐
- matlab矩阵及其基本运算—特征值分解和svd奇异值分解
特征值分解 函数 eig eig: Find eigenvalues and eigenvectors 格式 d = eig(A) %求矩阵A的特征值d,以向量形式存放d. d = e ...
- 【Matlab】特征值分解eig和奇异值分解svd
前言:当A是方阵时,使用eig特征值分解和实验svd奇异值分解,有什么异同? (1)特征值分解:函数eig 格式:[V,D] = eig(A) %计算A的特征值对角阵D和特征向量V,使AV= ...
- 主成分分析中特征值分解与SVD(奇异值分解)的比较及其相关R语言的实现
2019独角兽企业重金招聘Python工程师标准>>> >pca <- read.csv("D:/pca.csv") >pca x1 ...
- 矩阵分解之: 特征值分解(EVD)、奇异值分解(SVD)、SVD++
目录: 1.矩阵分解 1.1 矩阵分解的产生原因 1.2 矩阵分解作用 1.3 矩阵分解的方法 1.4 推荐学习的经典矩阵分解算法 2. 特征值分解(EVD) 3. 奇异值分解(SVD) 4. SVD ...
- 矩阵分解之特征值分解(EVD)、奇异值分解(SVD)、SVD++
矩阵分解之: 特征值分解(EVD).奇异值分解(SVD).SVD++_人鱼线的博客-CSDN博客_evd分解 矩阵的特征分解和奇异值(SVD)分解--求法和意义_奔跑的Yancy的博客-CSDN博客_ ...
- svd奇异值分解_传统推荐算法(一)SVD推荐(1)解读奇异值分解
文章目录 写在前面 1. 从几何变换到奇异值分解 2. 代数角度理解奇异值与奇异向量 2.1 从正交基映射推导SVD 2.2 特征值分解求解奇异值和奇异向量 2.2.1 求解过程 2.2.2 推论 2 ...
- svd奇异值分解_Lecture 28 | 奇异值分解
01 Singular Value Decomposition 奇异值分解 奇异值分解指任一mxn的矩阵A都可以分解为一个mxm酉矩阵U乘一个mxn对角阵Σ再乘一个nxn酉矩阵V共轭转置的形式. 下面 ...
- Singular Value Decomposition(SVD)--奇异值分解【转】
奇异值分解是线性代数中一种重要的矩阵分解,在信号处理.统计学等领域有重要应用.奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似.然而这两种矩阵分解尽管有其相关性,但还是有明显 ...
- 矩阵理论(二)特征值分解和SVD分解
特征值分解和SVD分解是两种将矩阵进行分解的经典方法,两者在机器学习的各类算法中被广泛使用(如PCA降维.文本LSI.推荐算法等等). 一.特征值分解 定义:对于方阵A\boldsymbol AA,若 ...
- SVD奇异值分解(标题重复率过高)
本篇为<深度学习>系列博客的第三篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅. 之前在看slam的时候就遇到过SVD但是没有做系统的学习,现在接触到深度学习, ...
最新文章
- IMX8QXP内部M4移植rt-thread
- vue-router 响应路由参数的变化
- 数据采集标注、模型开发、部署落地,百度大脑全栈 AI 能力详解
- 一致性哈希和哈希槽对比
- (转)淘淘商城系列——导入商品数据到索引库——dao层
- Tyvj P1029 牛棚回声
- 为什么越来越少的人用 jQuery?
- 行为模型、价值模型、市场模型
- 简述线性反馈移位寄存器
- 机器学习之初识SVM
- 产品读书《认知盈余》
- flink on yarn 103错误浅析
- was expecting double-quote to start field name错误
- 第16课:迁移学习的模型训练
- 平面设计学习需要会哪些知识
- unity实现绳子效果(绳索插件Obi Rope)
- Stream流的一些骚操作
- wordpress文章ID不连续显示问题的完美解决
- php 仿面包网 源码 飞飞cms_飞飞cms5.0二开商业最新仿面包网PC+手机精品影视系统含会员,迅雷下载功能强大N188...
- 从网线到IO模型(网络基础整合)
热门文章
- ssm整合之配置applicationContext-service.xml
- POJ 3468 A Simple Problem with Integers(线段树区间更新)
- [Javascript]基于ExplorerCanvas绘制表盘时钟
- Springboot2.x 拦截器
- Hyperledger Fabric 实战(十): Fabric node SDK 样例 - 投票DAPP
- Linux驱动模型解析bus之platform bus
- 可遇不可求的Question之error: Failed dependencies: MySQLconflicts 错误篇
- DRILLNET 2.0------第二十章 高温高压钻井水力计算模型
- C#狂想曲(1):去类型化与弱化语法
- 数理统计基本原理复习