一、正交向量（Orthogonal Vector）

谈到正交向量，我们经常会聊到另一个概念：垂直（Perpendicular），在直角三角形中，有一个著名的定理：毕达哥拉斯定理（Pythagoras）：两边平方和等于第三边平方和。

对于直角三角形有：
∣∣X∣∣2+∣∣Y∣∣2=∣∣X+Y∣∣2XTX+YTY=(X+Y)T(X+Y)XTX+YTY=(XT+YT)(X+Y)XTY+YTX=0XTY=0(1)\begin{aligned} \vert \vert X \vert \vert^2+\vert \vert Y \vert \vert^2 &= \vert \vert X+Y \vert \vert^2 \\ X^TX+Y^TY &=(X+Y)^T(X+Y)\\ X^TX+Y^TY&=(X^T+Y^T)(X+Y)\\ X^TY+Y^TX&=0\\ X^TY&=0 \end{aligned}\tag{1} ∣∣X∣∣2+∣∣Y∣∣2XTX+YTYXTX+YTYXTY+YTXXTY=∣∣X+Y∣∣2=(X+Y)T(X+Y)=(XT+YT)(X+Y)=0=0(1)
注：线性代数中向量一般指的是列向量。

上面等式变换用到了几个已知事实：

(X+Y)T=XT+YT(X+Y)^T=X^T+Y^T(X+Y)T=XT+YT
对于一个列向量，写成矩阵形式有：∣∣X∣∣2=XTX\vert \vert X \vert \vert^2=X^TX∣∣X∣∣2=XTX
XTY=YTXX^TY=Y^TXXTY=YTX

(1)(1)(1)告诉我们两个向量正交的条件是：点乘等于0。对于数学你只需要遵循规则，假如X是零向量，那么它与任意一个向量都是正交的，因为零向量与任何向量相乘都会等于0，所以零向量与任何向量都正交。

如果aaa和bbb相互正交，则：aTb=0a^Tb=0aTb=0和bTa=0b^Ta=0bTa=0都成立，转置是为了让列向量完成点积运算。

二、子空间正交性

子空间SSS与子空间TTT正交的含义：对于SSS中的任意向量均与TTT中的向量正交。

课上老师还举了一个例子：黑板与地板是否为的两个平面子空间是否是正交？答案是否定的。因为随便找一个黑板面上与交线呈45度的向量，无论你怎么找地板上都不能找到对应的正交向量，这不满足正交子空间定义，所以这两子空间不正交。或者你直接举交线作为反例，这个交线处向量既属于黑板又属于地板，但是他们直角是平行关系，不符合正交含义（这也就告诉我们两个相交平面一定不是正交的）

2.1 R2R^2R2及其子空间正交性讨论

那么平面上有哪些子空间是满足正交性要求的呢？R2R^2R2空间中，子空间有：

零向量000
过原点的直线LLL
整个平面空间DDD

零空间与LLL何时正交？答：始终正交
LLL和DDD何时正交？答：永远不正交，因为线在平面内。
LLL和另一个LLL何时正交？答：满足原点处垂直可能正交。

2.2 行空间和列空间正交性

结论1：C(AT)C(A^T)C(AT)行空间与N(A)N(A)N(A)零空间正交。

解释：AX=0AX=0AX=0中看成以下行向量与零空间XXX的乘积：
[row1row2row3]X=[000]\begin{bmatrix} row1\\ row2\\ row3 \end{bmatrix}X=\begin{bmatrix} 0\\0\\0 \end{bmatrix} ⎣⎡row1row2row3⎦⎤X=⎣⎡000⎦⎤
可以看出，系数矩阵行向量与零空间（也是一个向量）的乘积始终为0，意味着行空间中与所有零空间中的向量都是正交的，行空间除了行向量外，还需要包含行向量的系数组合，显然容易得到他们的线性组合也是正交的，这也就给出了一开始的结论：行空间与零空间是正交的。

在本文的最开始的图片可以看出，左侧将RnR^nRn空间分为两部分：n−rn-rn−r和rrr维，右侧将RmR^mRm空间分为m−rm-rm−r和rrr，他们都把各自的空间分割得恰到好处，使得两者的和恰好等于行数、或者维数。

在三维空间R3R^3R3中，是否行空间是一条直线，零空间也是一条直线，答案是否定的，原因如下：他们的维数不能恰好分割我们的R3R^3R3空间。举个具体的例子：
A=[1252410]A=\begin{bmatrix} 1&2&5\\2&4&10 \end{bmatrix} A=[1224510]
在这里n=3n=3n=3 r=1r=1r=1 dim(N(A))=2dim(N(A))=2dim(N(A))=2。在这里，行空间是一条直线，但是对应的零空间维数一定是222，所以不可能出现一开始那种行空间和零空间都是直线的情况。

总结：零空间和行空间是正交的，他们的维数是互补的。

三、无解方程的最优解

前面我们已经讨论过方程Ax=bAx=bAx=b解的情况，不是所有方程都有解。现实生活中有很多情况是属于无解的情况，我们需要解这些“无解”的方程以继续我们的研究。

听上去有点滑稽，这个方程是无解的，为什么我们要去“解”它呢？两个理由：

现实中广泛存在
虽然无解，但是有最优解

当一个卫星经过，你要测量出它的位置，你做了一千次测量，也就是有对应的一千个方程，事实上确定他的参数不需要这么多方程；再如，进行体检中脉搏频率测量，事实上只需要进行一次测量即可，有些数据是不那么可靠的，为了更加准确，我们会进行多测测量。

测量次数的增加将会增加方程组个数，同时增加bbb出错的可能性，这个出错或者说误差较大的方程，将会使得整个方程无解，最重要的是我们没有办法直接zhai出这些“坏”数据，但是我们可以利用线性代数只是，求出其最优解。

下面不加证明的给出以下方法求取最优解：
Ax=b(2)Ax=b\tag{2} Ax=b(2)
两边同时乘以ATA^TAT有：
ATAx^=ATb(3)A^TA\hat x=A^Tb\tag{3} ATAx^=ATb(3)
因为新的方程的系数和结果向量都发生改变，为了区分，用x^\hat xx^表示，这个x^\hat xx^就是最优解。

关于ATAA^TAATA的几点说明：

ATAA^TAATA是一个对称矩阵，见定义
ATAA^TAATA不一定是可逆的

为了继续求解最优解，我们需要这个ATAA^TAATA是可逆的。为了继续说明，假设ATAA^TAATA是可逆的，如：
[111215][x1x2]=[b1b2b3](4)\begin{bmatrix} 1&1\\1&2\\1&5 \end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}\tag{4} ⎣⎡111125⎦⎤[x1x2]=⎣⎡b1b2b3⎦⎤(4)
虽然线性代数非常牛，但是对于这种三个方程只有两个未知数的，如果b3b_3b3不为0，仍然不能求得它的解。

可以通过（3）式使得方程继续求解：
[111125][111215]=[38830](5)\begin{bmatrix} 1&1&1\\1&2&5 \end{bmatrix}\begin{bmatrix} 1&1\\1&2\\1&5 \end{bmatrix}=\begin{bmatrix} 3&8\\8&30 \end{bmatrix}\tag{5} [111215]⎣⎡111125⎦⎤=[38830](5)

不是所有的ATAA^TAATA都是可逆的，如：
[111333][131313]=[39927](6)\begin{bmatrix} 1&1&1\\3&3&3 \end{bmatrix}\begin{bmatrix} 1&3\\1&3\\1&3 \end{bmatrix}=\begin{bmatrix} 3&9\\9&27 \end{bmatrix}\tag{6} [131313]⎣⎡111333⎦⎤=[39927](6)
(6)就是一个不可逆的矩阵，理由：两个秩为1的矩阵相乘不可能得到一个秩大于1的矩阵。

不加证明给出以下结论：
N(ATA)=N(A)rank(ATA)=rank(A)(7)N(A^TA)=N(A)\\ rank (A^TA)=rank(A) \tag{7} N(ATA)=N(A)rank(ATA)=rank(A)(7)
ATAA^TAATA只有当AAA的列线性无关时成立，下节课将会证明。

14正交向量与子空间相关推荐

麻省理工公开课：线性代数正交向量与子空间
在前面文章<矩阵的四个基本子空间>中提到: 一个秩为r,m*n的矩阵A中,其行空间和列空间的维数为r,零空间和左零空间的维数分别为n-r,m-r,并且有行空间与零空间正交, ...
空间正交基的定义_正交向量与子空间
正交(Orthogonality) 正交是垂直概念的推广,是线性代数中的用语.如果两个向量之间的角度是90度,则这两个向量正交. 比如下图,向量x和向量y正交.于是与向量x+y在长度上符合勾股定理的关 ...
麻省理工公开课：线性代数》中文笔记来了
MLNLP社区在Github上最新发布了一套MIT线性代数课程Linear Algebra的学习笔记,目前已获得1600star.项目简介如下所示,欢迎大家关注! 1.项目动机 <麻省理工公开课 ...
线性代数及矩阵论（三）
线性代数原文 MIT 18.06 线性代数笔记矩阵论笔记来自工程矩阵理论综合线性代数机器学习的数学基础配合视频线性代数工程矩阵理论文章目录十一.矩阵空间.秩1矩阵和小世界图 1.矩阵 ...
线性代数-Gilbert Strang(第二部分)
第十四课时:正交向量与子空间结论: 行空间(r)与零空间(n-r)是正交的列空间(r)与左零空间(m-r)是正交的正交向量在n维空间中,向量之间的夹角为90度. 如果 XTY=0X^TY=0, ...
gram矩阵的性质_第十七课：正交矩阵和GramSchmidt正交化——MIT线性代数课程学习笔记...
公众号关注 "DL_NLP" 设为 "星标",重磅干货,第一时间送达! ◎ 原创 | 深度学习算法与自然语言处理 ◎ 作者 | 丁坤博一. 知识概要这一节 ...
Python 模块大全（很详细！）
转载:.... Python的模块大全,很全,有详细介绍! 另外附Python两个教程 1. Python详细教程(廖雪峰的官方网站,语言简洁!) 2. Python 进阶教程 (Vamei) 3. ...
利用逆矩阵解线性方程组_机器人学导论---第四章操作臂逆运动学（一）4.1-4.11...
第四章操作臂逆运动学[(一)4.1-4.11] (一)概述 1.为求出要求的关节角以放置相对于工作台坐标系{S}的工具坐标系{T},可将这个问题分为两部分(1)进行坐标变换求出相对于基坐标{B}的腕 ...
漫步线性代数十一—— 四个基本子空间
上篇文章处理了定义而不是,我们知道基是什么,但不知道如何找到他们.现在,从一个明确描述的子空间开始,我们开始计算显式的基. 子空间能用两种方式描述.第一,我们可以给出一个生成空间的向量集合.(例如:列 ...

14正交向量与子空间