MIT | 数据分析、信号处理和机器学习中的矩阵方法 笔记系列 Lecture 6 Singular Value Decomposition (SVD)
本系列为MIT Gilbert Strang教授的"数据分析、信号处理和机器学习中的矩阵方法"的学习笔记。
- Gilbert Strang & Sarah Hansen | Sprint 2018
- 18.065: Matrix Methods in Data Analysis, Signal Processing, and Machine Learning
- 视频网址: https://ocw.mit.edu/courses/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/
- 关注 下面的公众号,回复“ 矩阵方法 ”,即可获取 本系列完整的pdf笔记文件~
内容在CSDN、知乎和微信公众号同步更新
- CSDN博客
- 知乎
- 微信公众号
- qq邮箱: 981591477
- Markdown源文件暂未开源,如有需要可联系邮箱
- 笔记难免存在问题,欢迎联系邮箱指正
Lecture 0: Course Introduction
Lecture 1 The Column Space of A A A Contains All Vectors A x Ax Ax
Lecture 2 Multiplying and Factoring Matrices
Lecture 3 Orthonormal Columns in Q Q Q Give Q ′ Q = I Q'Q=I Q′Q=I
Lecture 4 Eigenvalues and Eigenvectors
Lecture 5 Positive Definite and Semidefinite Matrices
Lecture 6 Singular Value Decomposition (SVD)
Lecture 7 Eckart-Young: The Closest Rank k k k Matrix to A A A
Lecture 8 Norms of Vectors and Matrices
Lecture 9 Four Ways to Solve Least Squares Problems
Lecture 10 Survey of Difficulties with A x = b Ax=b Ax=b
Lecture 11 Minimizing ||x|| Subject to A x = b Ax=b Ax=b
Lecture 12 Computing Eigenvalues and Singular Values
Lecture 13 Randomized Matrix Multiplication
Lecture 14 Low Rank Changes in A A A and Its Inverse
Lecture 15 Matrices A ( t ) A(t) A(t) Depending on t t t, Derivative = d A / d t dA/dt dA/dt
Lecture 16 Derivatives of Inverse and Singular Values
Lecture 17 Rapidly Decreasing Singular Values
Lecture 18 Counting Parameters in SVD, LU, QR, Saddle Points
Lecture 19 Saddle Points Continued, Maxmin Principle
Lecture 20 Definitions and Inequalities
Lecture 21 Minimizing a Function Step by Step
Lecture 22 Gradient Descent: Downhill to a Minimum
Lecture 23 Accelerating Gradient Descent (Use Momentum)
Lecture 24 Linear Programming and Two-Person Games
Lecture 25 Stochastic Gradient Descent
Lecture 26 Structure of Neural Nets for Deep Learning
Lecture 27 Backpropagation: Find Partial Derivatives
Lecture 28 Computing in Class [No video available]
Lecture 29 Computing in Class (cont.) [No video available]
Lecture 30 Completing a Rank-One Matrix, Circulants!
Lecture 31 Eigenvectors of Circulant Matrices: Fourier Matrix
Lecture 32 ImageNet is a Convolutional Neural Network (CNN), The Convolution Rule
Lecture 33 Neural Nets and the Learning Function
Lecture 34 Distance Matrices, Procrustes Problem
Lecture 35 Finding Clusters in Graphs
Lecture 36 Alan Edelman and Julia Language
文章目录
- Lecture 6 Singular Value Decomposition (SVD)
- 6.1 SVD的概念
- 6.2 What are U , V T U, V^T U,VT and Σ \Sigma Σ in A = U Σ V T A = U\Sigma V^T A=UΣVT?
- 6.3 Eigenvalues的意义
Lecture 6 Singular Value Decomposition (SVD)
6.1 SVD的概念
奇异值 (Singular Values) VS 特征值 (Eigenvalues)
Singular Values 与 Eigenvalues 非常相似
但 A 的 Singular Values 适用于rectangular matrices! 且有两个 singular vectors
特征值、特征向量概念的局限:
❌ 仅适用于方阵:If A is Ax rectangular ⇒ \Rightarrow ⇒ ≠ λ x \not ={\lambda x} =λx ( m × n × n × 1 ) = ( m × 1 ) (m \times n \times n \times 1) = (m \times 1) (m×n×n×1)=(m×1)
❌ 即便A is square, 若A只是一个general而不是symmetric matrix ⇒ \Rightarrow ⇒ A可能会有complex eigenvalues, not orthogonal eigenvectors, etc.
MIT | 数据分析、信号处理和机器学习中的矩阵方法 笔记系列 Lecture 6 Singular Value Decomposition (SVD)相关推荐
- MIT18.065 数据分析、信号处理和机器学习中的矩阵方法-学习笔记
文章目录 MIT18.065 数据分析.信号处理和机器学习中的矩阵方法 Lecture 1 The Column Space of A Contains All Vectors Ax A=CR A=C ...
- lu分解法matlab_MIT 18.065—机器学习中的矩阵方法02 矩阵乘法与矩阵分解
数据分析.信号处理和机器学习中的矩阵方法 第02讲 矩阵乘法与矩阵分解 新MIT 线性代数|机器学习(中英机翻字幕)18.065 by Gilbert Strang_哔哩哔哩 (゜-゜)つロ 干杯~- ...
- 机器学习(十一)——机器学习中的矩阵方法(1)LU分解、QR分解
http://antkillerfarm.github.io/ 因子分析的EM估计(续) 去掉和各参数无关的部分后,可得: ∑i=1mE[logp(x(i)|z(i);μ,Λ,Ψ)]=∑i=1mE[1 ...
- 机器学习(十三)——机器学习中的矩阵方法(3)病态矩阵、协同过滤的ALS算法(1)
http://antkillerfarm.github.io/ 向量的范数(续) 范数可用符号∥x∥λ\|x\|_\lambda∥x∥λ表示.常用的有: ∥x∥1=∣x1∣+⋯+∣xn∣\|x\|_ ...
- 机器学习(十三)——机器学习中的矩阵方法(3)病态矩阵、协同过滤的ALS算法(1)...
http://antkillerfarm.github.io/ 向量的范数(续) 范数可用符号∥x∥λ表示. 经常使用的有: ∥x∥1=|x1|+⋯+|xn| ∥x∥2=x21+⋯+x2n−−−−−− ...
- 机器学习(十二)——机器学习中的矩阵方法(2)特征值和奇异值
http://antkillerfarm.github.io/ QR分解(续) 令A=[a1,⋯,an]A=[\mathbf{a}_1, \cdots, \mathbf{a}_n],其中aia_i为列 ...
- 【机器学习中的矩阵分解】LU分解、QR分解、SVD分解
学习总结 文章目录 学习总结 一.三角分解(LU分解) 1.1 高斯消元 1.2 LU分解原理 1.3 LU分解python代码 1.4 LU分解算法 二.QR分解 2.1 Schmid 正交化 2. ...
- 机器学习中的矩阵方法(附录A): 病态矩阵与条件数
转载地址:https://www.cnblogs.com/daniel-D/p/3219802.html 思路:利用范数考察Ax = b中b的扰动对于x的影响
- 机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则
在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中,我们讨论了使用微分法来求解矩阵向量求导的方法.但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦. ...
最新文章
- PostgreSQL学习手册(常用数据类型)
- Redis随笔Jedis、jedisCluster的使用
- [HDOJ2586]How far away?(最近公共祖先, 离线tarjan, 并查集)
- 还原virtual函数的本质-----C++
- MySQL 自带的四个数据库 介绍
- python3.6安装ipython_centos6.5下安装python3.6、pip、ipython
- 图像分割中的深度学习:U-Net 体系结构
- [Oracle] Data Pump 详细使用教程(5)- 命令交互模式
- bootstrap表格遍历_BootStrap实现带有增删改查功能的表格(DEMO详解)
- 「镁客早报」传SpaceX计划展开7.5亿美元贷款融资;LG开始为苹果生产OLED面板
- @程序员,如何在编程面试中脱颖而出?
- Linux make menuconfig打开失败
- 3个方面:做好竞品数据分析!
- 闲置路由器做无线打印服务器
- android 解析rss,在Android中解析RSS源
- StringBuffer(史上最详细)
- AStar2006百度之星程序设计大赛试题
- 赛灵思FPGA——ZYNQ介绍
- 树模型系列之XGBoost算法
- chrony的安装与使用,再搭建一个自己的时间服务器
热门文章
- MIT18.065 数据分析、信号处理和机器学习中的矩阵方法-学习笔记