【数学和算法】最小二乘法，SVD奇异值分解、LU分解的应用场景

多项式拟合曲线时使用最小二乘法，把问题化简为A*x=B的线性方程组；

然后使用LU矩阵分解算法求解线性方程组A*x=B，具体做法是：

先对矩阵A进行行初等变换得到上三角矩阵U；
再求出下三角矩阵L，就变成了求解L*U*x=B,由于L、U是下三角或上三角矩阵，所以很容易求解x；

SVD奇异值分解也是用来对矩阵进行分解，他是把一个矩阵分解为三个矩阵。它是使用特殊方法来求解出矩阵的左奇异矩阵U和右奇异矩阵V和奇异值矩阵。但是求解U、V的方法有很多种，并非只有使用A^T*A 这一个方法，而且计算矩阵A^T*A 这个方法计算量太大，不合适。该博客是以这种方法为例，所以这一点需要明白。

SVD的实现算法有很多种，可以不用先求出矩阵 X^T * X ，也能求出我们的右奇异矩阵V。也就是说，我们的PCA算法可以不用做特征分解，而是做SVD来完成。这个方法在样本量很大的时候很有效。
实际上，scikit-learn的PCA算法的背后真正的实现就是用的SVD，而不是我们我们认为的暴力特征分解。

涉及到求矩阵X的协方差矩阵的，都需要进行以下步骤：

求X的各个维度均值；
将 X的各个维度减去均值，再赋值给X，即in place就地操作；
计算X的协方差矩阵C = 1/m * X * X^T；

深入理解PCA与SVD的关系讲解了PCA问题可以转化为SVD问题求解。

【数学和算法】最小二乘法，SVD奇异值分解、LU分解的应用场景相关推荐

【数学和算法】SVD奇异值分解原理、以及在PCA中的运用
详细的介绍请参考这篇博客:SVD奇异值分解 SVD奇异值分解是用来对矩阵进行分解,并不是专门用来求解特征值和特征向量. 而求解特征值和求解特征向量,可以选择使用SVD算法进行矩阵分解后,再用矩阵分解后 ...
【数学和算法】奇异值分解在【图像压缩】中的应用
图片压缩这篇博客奇异值的物理意义是什么有例子分析使用奇异值分解来进行图像压缩与图像去噪,并且对于不是方阵的矩阵也可以分解. 下面这个图像压缩例子是以方阵图像为例,使用暴力分解得到特征值和特征向量.但 ...
视觉SLAM中的数学——解方程AX=b与矩阵分解：奇异值分解（SVD分解）特征值分解 QR分解三角分解 LLT分解
前言本博客主要介绍在SLAM问题中常常出现的一些线性代数相关的知识,重点是如何采用矩阵分解的方法,求解线性方程组AX=B.主要参考了<计算机视觉--算法与应用>附录A以及Eigen库的方 ...
矩阵的各种分解: LU分解, QR分解, 特征分解, 对称对角化, 奇异值分解 SVD
本文主要关注的是有关 "怎样的矩阵能够进行 XX 分解" 的问题,具体分解的实现方式在这里不做归纳. 欢迎访问我的个人主页 zhekaili.github.io,已查看更多的线性代 ...
SVD奇异值分解中特征值与奇异值的数学理解与意义
前言之前的博客中SVD推荐算法写得不是很严谨,r̂ ui=∑Ff=1PufQfi+μ+bu+bir^ui=∑f=1FPufQfi+μ+bu+bi\hat{r}_{ui}=\sum_{f=1}^{F} ...
【数学与算法】奇异矩阵、奇异值、奇异值分解、奇异性
我们经常会碰到几个名词很相近的一些数学术语,例如奇异矩阵.奇异值.奇异值分解.奇异性,经常会混淆,这里把它们的定义放在一起,做一下总结: 1.奇异矩阵: 奇异矩阵是线性代数的概念,就是该矩阵的秩不是满 ...
几种矩阵分解算法： LU分解，Cholesky分解，QR分解，SVD分解，Jordan分解
目录 1.LU分解 2. LDLT分解法 3. Cholesky分解的形式 4. QR分解 5.SVD分解 5.1 SVD与广义逆矩阵 6. Jordan 分解参考文章: ---------我只是搬 ...
【机器学习中的矩阵分解】LU分解、QR分解、SVD分解
学习总结文章目录学习总结一.三角分解(LU分解) 1.1 高斯消元 1.2 LU分解原理 1.3 LU分解python代码 1.4 LU分解算法二.QR分解 2.1 Schmid 正交化 2. ...
其他算法-SVD奇异值分解
目录 SVD原理特征值分解EVD 奇异值分解SVD SVD的性质基于Numpy的SVD图像压缩奇异值分解即 Singular Value Decomposition,简称SVD,SVD广泛应用于 ...

【数学和算法】最小二乘法，SVD奇异值分解、LU分解的应用场景

【数学和算法】最小二乘法，SVD奇异值分解、LU分解的应用场景相关推荐

最新文章

热门文章