我的机器学习教程「美团」算法工程师带你入门机器学习以及「三分钟系列」数据结构与算法已经开始更新了，欢迎大家订阅~这篇专栏整合了这几年的算法知识，简单易懂，也将是我实体书的BLOG版。

欢迎大家扫码关注微信公众号「图灵的猫」，除了有更多AI、算法、Python相关文章分享，还有免费的SSR节点和外网学习资料。其他平台（微信/知乎/B站）也是同名「图灵的猫」，不要迷路哦~

正交矩阵和Gram-Schmidt正交化

在关于投影矩阵的部分,根据Strang的授课内容,我进行简单的归纳总结.知道了投影矩阵是什么,有什么用.

这篇文章仍然是关于投影矩阵的一个应用.

什么是正交矩阵和Gram-Schmidt正交化,相信学过线性代数的朋友们都知道.

这里,我只想说标准正交化和标准正交矩阵带来的好处.

标准正交化(orthonormal)的定义是:如果向量q1,q2,…,qn满足下式

则q1,q2,…,qn是标准正交的

我们很容易得出,如果一个矩阵Q的列向量是标准正交的,那么Q’Q=I.如果Q还是个方阵,那么就称矩阵Q是正交矩阵.且有Q’Q=I ==> Q’ = Q-1

鉴于正交矩阵这个优良的特性,如果一个向量b投影到Q上,Q是正交阵的话,投影矩阵就变得简单了:

P=Q(Q’Q)-1Q’=QQ’=I,对于最小二乘问题Q’Qx=Q’b,可简化为x=Q’b,即

下面要说下Gram和Schmidt给我们带来的Gram-Schmidt正交化方法,它使得矩阵分析变得简单.

假设在R2空间内的两个相互独立的向量a,b,他们共同生成了R2空间,如下图所示

向量a和b的方向都是任意的,但是二者并不垂直,a的方向不是一定为水平的,这里只是为了好看起见

我现在想找两个向量A,B,他们不仅相互独立,且正交,也就是A和B生成的空间与a和b生成的空间一样,但是A和B是垂直的.

怎么办呢,之前学过的投影矩阵似乎能帮上忙,如下图

图中e是和a垂直的,e=b-xa(如果这个不明白怎么来的,请大家看投影矩阵系列的三篇文章)\

所以,我们取A=a,B = b-xA=b – A’b/(A’A) * A

R3空间中的正交化公式同理可以简单推出:

然后,我们把向量A,B,C normalize一下(Stang说这可能是他所记得的Schmidt对此公式的唯一贡献)

由此,引出了重要的矩阵分解中的QR分解

我们假定A = [a1 a2],那么A可以分解为一个正交阵(Q)和一个上三角阵(R)的乘积

正交矩阵和Gram-Schmidt正交化相关推荐

通俗理解“Schmidt正交化”和“正交矩阵” 此博文包含图片 (2015-05-19 09:50:47) 施密特正交化在空间上是不断建立垂直于原次维空间的新向量的过程。如图β2垂直于β1（1维）
通俗理解"Schmidt正交化"和"正交矩阵" 施密特正交化在空间上是不断建立垂直于原次维空间的新向量的过程. 如图β2垂直于β1(1维)构建新2维,β3垂直于 ...
线性空间标准正交基的构造——Schmidt正交化
证明: 两两正交的一组向量必然线性无关线性空间的标准正交基定义 (定义摘自<矩阵论>,程云鹏,1999年第2版,p88) 下面的定理证明了欧式空间一定存在标准正交基,其证明过程可以看作把 ...
schmidt正交化
设r1,r2,r3线性无关第一步,正交化第二步,单位化证明施密特正交化
线性代数 --- Gram-Schmidt, 格拉姆-施密特正交化（下）
Gram-Schmidt正交化过程到目前为止,我们都是在反复强调"对于无解的方程组Ax=b而言,如果矩阵A是标准正交矩阵的话,就怎么怎么好了....".因为,不论是求投影还是计算 ...
QR decomposition and Givens Rotation (QR分解与Givens旋转)
在最近做的一个研究中,需要对 QR 分解进行更新,因此了解了一些关于 QR 分解和 Givens 旋转的内容.在这里进行总结. QR 分解所谓 QR 分解,就是将一个矩阵(可以不是方阵)分解成一个正 ...
矩阵分析——QR分解
Gram-Schmidt正交化在提到矩阵的QR分解前,必须要提到Gram–Schmidt方法,理论上QR分解是由Gram–Schmidt正交化推出来的.那么Gram–Schmidt正交化究竟是什么. ...
QR分解的三种方法和实现过程
QR分解在解最小二乘问题 m i n ∣ ∣ A x − b ∣ ∣ min||Ax-b|| min∣∣Ax−b∣∣时,将其转化成 A T A x = A T b A^{T}Ax=A^{T}b AT ...
矩阵论复习-过渡矩阵、生成子空间、表示矩阵、度量矩阵、酉空间、内积
一小部分矩阵论的整理复习,这个由于公式输入的太麻烦了,所以就弄了一点.后面直接看着书复习的. 矩阵论复习线性空间基与维数基变换公式.过渡矩阵.坐标变换公式线性子空间齐次方程组的解空间特征子 ...
python/sympy计算施密特正交化向量
sympy的符号计算功能很强大,学习矩阵分析,重温了线性代数中施密特正交化的方法,正好可以用sympy解决一些计算问题.施密特正交化,也称 Gram-Schmidt 正交化过程 (Gram–Schmi ...
正交矩阵，（标准）正交基，正交投影，正交分解定理，最佳逼近定理，格拉姆-施密特方法求正交基（手算+MATLAB），QR分解（手算+MATLAB计算、分析）
正交(orthogonality).正交集(orthogonal set).单位正交集定义:如果向量uuu和向量vvv是相互正交的,则有:u⋅v=0u\cdot v=0u⋅v=0. 因为对于零向量, ...

正交矩阵和Gram-Schmidt正交化

正交矩阵和Gram-Schmidt正交化

正交矩阵和Gram-Schmidt正交化相关推荐

最新文章

热门文章