原文地址1：https://www.face2ai.com/Math-Linear-Algebra-Chapter-4-1转载请标明出处

Abstract: 本篇介绍正交性，向量正交，矩阵正交，子空间正交
Keywords: Orthogonality,Four Subspace,Orthogonal Complements,Fundamental Theorem of Linear Algebra ,Combining Bases from Subspaces,Split

四个正交子空间

正交

这个地方大师Gilbert写了关于AxAxAx的三个境界：

This is only a number
It is combination of column vectors
It shows Subspaces

这个跟王国维的人生三大境界有的一拼，这里必须要展示下我的文学功底了（其实是上高中抄别人作文学会的）–"古今之成大事业、大学问者，必经过三种之境界："昨夜西风凋碧树。独上高楼，望尽天涯路。"此第一境也。"衣带渐宽终不悔，为伊消得人憔悴。"此第二境也。"众里寻他千百度，蓦然回首，那人却在灯火阑珊处。“此第三境也。此等语皆非大词人不能道。然遽以此意解释诸词，恐为晏欧诸公所不许也。” "
差不多就这意思，对事物的追求是逐渐加深的，当我们走到了深处，木然回首，一看，线性代数也就那么回事。
不扯没用的，继续说正交（orthogonality）
正交的三个层次是

向量正交
矩阵正交
子空间正交

两个向量正交是说他们的dot product为0
vtw=0and∣∣v∣∣2+∣∣w∣∣2=∣∣v+w∣∣2v^tw=0 \,\, and \,\, ||v||^2+||w||^2=||v+w||^2 vtw=0and∣∣v∣∣2+∣∣w∣∣2=∣∣v+w∣∣2
前一个式子表明了位置关系，后面的距离表明了长度关系，当vvv和www是二维向量的话，这个也证明了平面勾股定理的正确性，当然，如果把勾股定理扩展到高维，也是成立的。
解释下垂直和正交的关系，垂直说的是相交直线间的角度关系，如果两个向量不想交，但是他们也可以有正交关系。
这里我们先略过矩阵正交，直接看子空间，因为矩阵正交在后面有个比较实用的分解
下面将要正式推出本文最最最重要的一个知识点，就是四个子空间的正交关系，子空间正交，就是说子空间A内的任意向量和子空间B内的所有向量全部互相正交。

definition:
vtw=0forallvinVandallwinWv^tw=0 \,\,for\,\,all\,\,v\,\,in\,\,V\,\,and\,\,all\,\,w\,\,in\,\,W vtw=0forallvinVandallwinW

这个条件看似挺严格，但是这个例子会让你豁然开朗：Ax=0Ax=0Ax=0 这个是矩阵A的nullspace的表达，x属于nullspace，如果我们把A写的详细点(…ai…\dots a_i\dots…ai…，表示矩阵中的一行),并且加入一个行向量 rtr^trt（作用下面再说）:
rtAx=rt(Ax)=rt[…a1……a2…⋮…an…][x1x2⋮xn]=rt[00⋮0]r^tAx=r^t(Ax)= r^t\begin{bmatrix} \dots a_1\dots\\ \dots a_2\dots \\ \vdots\\ \dots a_n\dots \end{bmatrix} \begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix}= r^t\begin{bmatrix} 0\\ 0\\ \vdots\\ 0 \end{bmatrix} rtAx=rt(Ax)=rt⎣⎢⎢⎢⎡…a1……a2…⋮…an…⎦⎥⎥⎥⎤⎣⎢⎢⎢⎡x1x2⋮xn⎦⎥⎥⎥⎤=rt⎣⎢⎢⎢⎡00⋮0⎦⎥⎥⎥⎤
所以
rtAx=0r^tAx=0 rtAx=0
那么这说明了什么呢？rtAr^tArtA是什么呢？同学们，这可是A的行空间啊，x是nullspace，他俩乘在一起是0啊，说明对于任意这两个空间的内的向量的dot product都是0啊，亲人们，正交啊。
上面的完整推到过程只用到了Ax=0Ax=0Ax=0这个事实，也就是规定x属于Nullspace的前提。

同样的道理可以推导出，列空间和左Nullspace也是正交的，那么我们就有另一个部分Fundamental Theorem了：

Fundamental Theorem Part II（不完整版）
The row space is perpendicular to the nullspace
The column space is perpendicular to the nullspace of ATA^TAT

Fundamental Theorem I 说的是四个subspaces之间的维度的相互关系，第二部分说的是四个subspaces之间的正交关系，看来线性代数的核心是这四个subspace没错了。

正交互补(Orthogonal Complements)

This is very important ,The Fundamental subspace are more than just orthogonal in pairs.Their dimansions are also right.说实话，right这个词我想了半天也不知道对应中文那个词，三维空间中的两条线正交，但是他们并不可能是一个属于3×33\times 33×3矩阵的nullspace和rowspace因为他们都是dimension 1的加起来并不是3？你要问我为什么，往下看喽

Definition:Orthogonal Complement of a subspace V contains every vector that is perpendicular to V.This orthogonal subsapce is denot V⊥V^{\perp}V⊥(pronounced “V perp”)

通过上面的定义以及上面nullspace和rowspace正交的推到可以得出，row space的orthogonal Complement肯定是nullspace中所有vector，也就是说不存在一个向量，正交与rowspace却不属于nullspace。
证明非常日能够以，基本就是改改上面的那段推导。
反过来依然成立，如果以vector正交于nullspace，那么它一定属于rowspace，证明如下：

如果一个vector 正交于nullspace，而不属于rowspace，那么把vector添加到矩阵A最下一行形成A’，那么A′x=0A'x=0A′x=0依然成立，也就是说nullspace不会改变，但是rowspace却增加了（rank增加了1），那么r+(n−r)=nr+(n-r)=nr+(n−r)=n将不再成立，所以vector一定属于rowspace

各位，大招来了，本章，本书的重点：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-R2F5tm3j-1592544155304)(https://tony4ai-1251394096.cos.ap-hongkong.myqcloud.com/blog_images/Math-Linear-Algebra-Chapter-4-1/4spaces.png)]

没错，就是之前上一张重点的图的一个信息补全，这里面值得注意的包括subspace之间的正交关系，以及dimension之间的互补关系，但要注意一下，其实在使用消元确定Ax=bAx=bAx=b解的时候可以得到nullsapce和columnspace之间的dimension互补关系，但是这里面把rowspace和nullspace写到一起主要还是正交的关系，而且向量长度相同n，加上rowspace和columnspace的dimension永远是一致的（rank），所以也就是这么放了（以上是我自己的理解）

Fundamental Theorem Part II（完整版）
N(A)N(A)N(A) is the orthogonal complement of the row space C(AT)C(A^T)C(AT) (in RnR^nRn)
N(AT)N(A^T)N(AT) is the orthogonal complement of the row space C(A)C(A)C(A) (in RmR^mRm)

解读：Fundamental Theorem Part I给出维度关系，Fundamental Theorem Part II给出垂直关系，complement时表示一个向量xinRnx\,in\,R^nxinRn总能分解到rowspace和nullspace两部分，而且根据两个subspace之间的dimension关系，可以确定，rowspace和nullspace加起来是完整的RnR^nRn空间（这个后面有讨论）
当A(xr+xn)A(x_r+x_n)A(xr+xn)时，奇迹出现了，还记得我们写Ax=b的无数个解的时候的完整解么?
x=xparticular+xnx=x_{particular}+x_nx=xparticular+xn
和上面这种形式是对应的
矩阵A和向量相乘，可以有很多种解读，但是说到最根本的地方就是，AxAxAx就是为了让x goes to column space，并没有其他什么更高级的功能。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-D6rITC9c-1592544155313)(https://tony4ai-1251394096.cos.ap-hongkong.myqcloud.com/blog_images/Math-Linear-Algebra-Chapter-4-1/4spaces_extra.png)]
通过上面那张图可以看出，任何一个n维向量可以被分解到rowspace和nullspace，然后通过A goes to column space和 0
这里最重要的是任何一个属于RnR^nRn的向量都能被分解到row space 和 null space

下面是我的幡然悔悟的一个非常重要的问题，为什么不是每个矩阵都有逆：
来仔细观察箭头，xrx_rxr->xbx_bxb,是单射，没错，如果是单射就有逆运算，对于列空间的一个元素都有且只有一个行空间中的向量与之对应，但是由于不存在A−1A^{-1}A−1 使得 xn=A−10x_n=A^{-1}0xn=A−10成立，也就是说不存在A−1A^{-1}A−1 使得 x=A−1bx=A^{-1}bx=A−1b这也是为什么不是所有的矩阵都有逆，但是我们能确定一个 A^−1\hat{A}^{-1}A^−1 使得 xr=A^−1bx_r=\hat{A}^{-1}bxr=A^−1b成立，这个戴帽子的A叫做pseudoinvers ，伪逆
这也告诉我并不是因为矩阵行列式为0他才没有逆，以前老师说，来算行列式，值是0矩阵没有逆，说的的确是真理，但是他一直也没说为啥。

组合子空间基

这段补充说明下矩阵基bases的一些扩展，主要还是用到上面那张图，就是离这里最近的那张带映射的图，rowspace和nullspace是可以span整个RnR^nRn的，比如在rowspace中找到r个线性独立的bases加上nullspace里面n-r个线性独立的bases，他们就能span出整个空间，为啥？因为这两个空间里的bases肯定线性独立，人家都正交了，哪来线性关系。所以，任何一个n维向量都能备份家到rowspace和nullspace，如果nullspace只有0向量，恭喜，x=xrx=x_rx=xr，A可逆，Ax=b有唯一解。在RnR^nRn 中任何n个线性独立的vectors必然能span出RnR^nRn，反过来说也对，同理写成矩阵形式，一个由n个线性独立的向量组成的n×nn \times nn×n矩阵必然可逆。

注意:任何一个n维向量都能被split成一个rowspace中的向量和一个nullspace中的向量

总结

这篇内容实在是多到不行，而且都是精华，慢慢吸收，后面我如果发现问题可能还会补充，欢迎大家讨论

【线性代数】4-1:四个正交子空间(Orthogonality of the Four Subspace)相关推荐

经济应用数学基础二线性代数（第四版）赵树嫄编中国人大版课后习题答案
更多答案:http://www.daanbar.com/book-info/122.html 经济应用数学基础二线性代数 (第四版) 赵树嫄编中国人大版第1章行列式第2章矩阵第3章线 ...
漫步线性代数二十四——行列式应用
本篇文章介绍四个应用:AA的逆,求解Ax=bAx=b,盒子的体积以及主元.他们都是线性代数里面非常关键的计算,而行列式给出了这些答案的公式. 1.计算A−1A^{-1}.2×22\times 2矩阵展 ...
线性代数笔记17——正交向量与正交子空间
正交向量正交是垂直的令一种说法,两个向量正交意味着两个向量的夹角是90°. 这可以用直角三角形的三边解释: 当x和y正交时,二者的点积是0,反过来也一样.这个结论在n维空间也适用,当Rn空间内的两个 ...
线性代数：第四章向量组的线性相关性（2）向量空间线性方程组解的结构
第三节向量空间一．数字概念定义3.1 设V是n维向量集合,且非空,若 (i) 则, : (ii) 则 . 则称V是一个向量空间. 定义3.2 设是两个向量空间,若 ,则称的 ...
线性代数拾遗（四）：线性方程组的应用
‍‍ 线性代数拾遗(一):线性方程组.向量方程和矩阵方程线性代数拾遗(二):线性方程组的解集及其几何意义线性代数拾遗(三):线性变换以及矩阵的意义前面几章,我们回顾了一遍线性方程组和矩阵的一些概 ...
线性代数：第四章向量组的线性相关性（1）向量组的线性相关性向量组的秩
第一节向量组的线性相关性一．数学概念定义1.1 n个有次序的数 ,所组成的数组称为n维向量,这n个数称为该向量的n个分量,第i个数称为第i个分量. 定义1. 2 给定向量组A: ,对 ...
线性代数 --- 投影Projection 四（投影有什么用？Why projection）
笔者在投影这一系列的开篇就说过,我在学习投影的过程中,有很长的一段时间都是把重点放在了,如何计算投影本身,也就是背公式上. 现在我发现(尤其是明白了投影即分量之后),学习投影的主要目的(或者说是学习重 ...
应用MATLAB求解线性代数题目（四)——线性方程组
目录求解齐次线性方程组求解非齐次线性方程组同解方程组向量形式.矩阵形式的方程组则线性表出的问题可以通过方程组求解. 求解齐次线性方程组求齐次线性方程组的基础解系的命令: B=null(A) ...
从零开始学数据分析之——《线性代数》第四章线性方程组
4.1 线性方程组的初等变换用消元法解线性方程组 1)交换两方程位置 2)用非零数乘某方程 3)某方程的l倍加到另一方程 4.2 线性方程组有解的判定系数矩阵增广矩阵方程组的解: 1)当, ...

【线性代数】4-1:四个正交子空间(Orthogonality of the Four Subspace)

四个正交子空间

正交

正交互补(Orthogonal Complements)

组合子空间基

总结

【线性代数】4-1:四个正交子空间(Orthogonality of the Four Subspace)相关推荐

最新文章

热门文章