基本子空间中有着更加特殊和精确的关系，由此可以引出向量空间的正交性及投影等问题。

正交性及正交补

定义：设SSS和T" role="presentation" style="position: relative;">TTT是RnRnR^n的两个子空间（subspace），如果对于∀V∈S，w∈T，vTw=0∀V∈S，w∈T，vTw=0\forall V\in S，w\in T，v^Tw=0，则SSS垂直于T" role="presentation" style="position: relative;">TTT（S is perpendicular to T），并且，这个定义是对称的，即SSS垂直于T" role="presentation" style="position: relative;">TTT<=>TTT垂直于S" role="presentation" style="position: relative;">SSS。记做S⊥TS⊥TS\perp T。也可以说SSS和T" role="presentation" style="position: relative;">TTT是正交的（S and T are orthogonal）。

几个常见结论

设A=B1B2A=B1B2A = B_1B_2，其中B1B1B_1是n×rn×rn\times r 矩阵，B2B2B_2是r×nr×nr\times n矩阵，后两矩阵秩都为rrr，则A" role="presentation" style="position: relative;">AAA是一个n×n矩阵，且r(A)=rn×n矩阵，且r(A)=rn \times n 矩阵，且r(A) = r。

AAA的每一列是B1" role="presentation" style="position: relative;">B1B1B_1的列向量的线性组合，因此C(A)⊂C(B1)C(A)⊂C(B1)C(A)\subset C(B_1)。
AAA的每一列是B2" role="presentation" style="position: relative;">B2B2B_2的行向量的线性组合，因此C(AT)⊂C(BT2)C(AT)⊂C(B2T)C(A^T)\subset C(B_2^T)。
B1B1B_1是列满秩，则存在可逆n×nn×nn\times n矩阵E1E1E_1，E1B1=(Ir 0)TE1B1=(Ir0)TE_1B_1 = (I_r\space 0)^T。
B2B2B_2是行满秩，则存在可逆n×nn×nn\times n矩阵E2E2E_2，B2E2=(Ir 0)B2E2=(Ir0)B_2E_2 = (I_r\space 0)。
C(A)=C(AE2)=C(B1(Ir 0))=C(B1)C(A)=C(AE2)=C(B1(Ir0))=C(B1)C(A) = C(AE_2)=C(B_1(I_r\space 0)) = C(B_1)。因此，dimC(A)=dimC(B1)dimC(A)=dimC(B1)dimC(A) = dimC(B_1)，即r(A)=r(B1)=rr(A)=r(B1)=rr(A) = r(B_1) = r。
若AAA的列向量线性无关，则ATA" role="presentation" style="position: relative;">ATAATAA^TA为可逆方阵。

AAA列满秩 => Ax=0" role="presentation" style="position: relative;">Ax=0Ax=0Ax = 0只有零解 => ATAx=0ATAx=0A^TAx = 0 只有零解 => ATAATAA^TA列满秩。
又因为ATAATAA^TA是n×nn×nn\times n方阵，因此为可逆矩阵。
若S∩T≠{0}S∩T≠{0}S\cap T \neq\{0\}，则∃v∈S∩T，vTv≠0∃v∈S∩T，vTv≠0\exists v \in S\cap T，v^Tv\neq 0。因此SSS和T" role="presentation" style="position: relative;">TTT不正交。
命题：设SSS和T" role="presentation" style="position: relative;">TTT是RnRnR^n中的两个子空间，且dimS+dimT>n，则S和TdimS+dimT>n，则S和TdimS + dimT > n，则S和T不正交。

子空间的正交性

定理：设AAA是 n×n" role="presentation" style="position: relative;">n×nn×nn\times n矩阵，则C(A)和N(AT)C(A)和N(AT)C(A)和N(A^T)正交，C(AT)C(AT)C(A^T)和N(A)N(A)N(A)正交。

设α∈N(AT)α∈N(AT)\alpha \in N(A^T)，则αTA=0αTA=0\alpha^T A = 0。
因此α和Aα和A\alpha 和 A的全部列向量垂直。可以得到N(AT)⊥C(A)N(AT)⊥C(A)N(A^T)\perp C(A)。
将AAA 换成AT" role="presentation" style="position: relative;">ATATA^T，可以得到C(AT)⊥N(A)C(AT)⊥N(A)C(A^T)\perp N(A)。

四个子空间还存在着如下的关系：

N(AT)+C(A)=Rm，C(A)+N(AT)=RnN(AT)+C(A)=Rm，C(A)+N(AT)=Rn

N(A^T)+ C(A) = R^m，C(A)+N(A^T) = R^n
我们说 C(A)是N(AT)C(A)是N(AT)C(A)是N(A^T)在 RmRmR^m上的正交补， C(AT)C(AT)C(A^T)是 N(A)N(A)N(A)在 RnRnR^n上的正交补。

定义：设V⊂RnV⊂RnV\subset R^n是一个子空间，VVV在Rn" role="presentation" style="position: relative;">RnRnR^n中的正交补定义为集合

{w∈Rn|vTw=0,∀v∈V}{w∈Rn|vTw=0,∀v∈V}

\{w\in R^n |v^Tw = 0,\forall v\in V\}

子空间的性质

若AAA对称，即A=AT" role="presentation" style="position: relative;">A=ATA=ATA = A^T，则C(A)=C(AT)C(A)=C(AT)C(A) = C(A^T)，因此C(A)⊥N(A)C(A)⊥N(A)C(A) \perp N(A)。
ATAATAA^TA为对称阵，且N(A)=N(ATA)，C(AT)=C(ATA)N(A)=N(ATA)，C(AT)=C(ATA)N(A) = N(A^TA)， C(A^T)= C(A^TA)。

Ax=0⇒ATAx=0⇒N(A)⊆N(ATA)Ax=0⇒ATAx=0⇒N(A)⊆N(ATA)

Ax = 0 \Rightarrow A^TAx= 0 \Rightarrow N(A) \subseteq N(A^TA)

ATAx=0⇒xTATAx=0⇒Ax=0⇒N(ATA)⊆N(A)ATAx=0⇒xTATAx=0⇒Ax=0⇒N(ATA)⊆N(A)

A^TAx= 0 \Rightarrow x^TA^TAx= 0 \Rightarrow Ax = 0 \Rightarrow N(A^TA)\subseteq N(A)

⇒N(A)=N(ATA)⇒N(A)=N(ATA)

\Rightarrow N(A ) = N(A^TA)
若Ax=bAx=bAx= b有解，则Ax=bAx=bAx= b在C(AT)C(AT)C(A^T)中有唯一解。

存在性：设Ax=bAx=bAx= b有解，则b∈C(A)b∈C(A)b\in C(A)。又因为C(A)=C(AAT)C(A)=C(AAT)C(A) = C(AA^T)，因此b∈C(AAT)b∈C(AAT)b\in C(AA^T)

∴∃y∈Rm⇒AATy=b∴∃y∈Rm⇒AATy=b

\therefore \exists y \in R^m \Rightarrow AA^Ty = b

letxr=ATy⇒Axr=b∴xr∈C(AT)letxr=ATy⇒Axr=b∴xr∈C(AT)

let x_r = A^Ty \Rightarrow Ax_r = b \therefore x_r \in C(A^T)
唯一性（反证法）：若x1r，x2r∈C(AT)，and Ax1r=b=Ax2rxr1，xr2∈C(AT)，andAxr1=b=Axr2x_r^1，x_r^2\in C(A^T)，and\space Ax_r^1 = b = Ax_r^2

∴A(x1r−x2r)=0⇒x1r−x2r∈N(A)∴A(xr1−xr2)=0⇒xr1−xr2∈N(A)

\therefore A(x_r^1-x_r^2) = 0\Rightarrow x_r^1-x_r^2\in N(A)

∵x1r，x2r∈C(AT)∴x1r，x2r∈C(AT)∩N(A)={0}∵xr1，xr2∈C(AT)∴xr1，xr2∈C(AT)∩N(A)={0}

\because x_r^1，x_r^2\in C(A^T) \therefore x_r^1，x_r^2\in C(A^T)\cap N(A) = \{0\}

∴x1r=x2r∴xr1=xr2

\therefore x_r^1=x_r^2

欢迎关注我的个人博客。

线性代数笔记2：基本子空间的正交性及性质相关推荐

已知法向量求投影_MIT—线性代数笔记15 子空间投影
第15讲子空间投影 Projections onto subspaces 网易公开课open.163.com 投影(射影)Projections 投影问题的几何解释就是:如何在向量a的方向上寻找与 ...
如何将一个向量投影到一个平面上_MIT—线性代数笔记15 子空间投影
第15讲子空间投影 Projections onto subspaces 网易公开课open.163.com 投影(射影)Projections 投影问题的几何解释就是:如何在向量a的方向上寻找与 ...
李宏毅线性代数笔记5：线性方程组
1 线性方程的解 1.1 两维的情况 span of the columns of A--由A的列向量张成的空间 2 线性方程有解的充要条件线性方程x1a1+x2a2+--+xnan=β有解(con ...
线性代数笔记11——向量空间
向量空间又称线性空间,是线性代数的中心内容和基本概念之一.在解析几何里引入向量概念后,使许多问题的处理变得更为简洁和清晰,在此基础上的进一步抽象化,形成了与域相联系的向量空间概念. 线性组合线性组合 ...
线性代数笔记18——投影矩阵和最小二乘
一维空间的投影矩阵先来看一维空间内向量的投影: 向量p是b在a上的投影,也称为b在a上的分量,可以用b乘以a方向的单位向量来计算,现在,我们打算尝试用更"贴近"线性代数的方式表达 ...
线性代数笔记：Khatri-Rao积
1 介绍 Khatri-Rao积的定义是两个具有相同列数的矩阵与矩阵的对应列向量的克罗内克积(线性代数笔记:Kronecker积_UQI-LIUWJ的博客-CSDN博客) 排列而成的,其生成的矩阵大小 ...
线性代数笔记：概率矩阵分解 Probabilistic Matrix Factorization （PMF）
概率矩阵分解模型可以解决大规模.稀疏且不平衡的数据. 1 PMF的两点假设 1.1.观测噪声(观测评分矩阵和近似评分矩阵之差)服从高斯噪声的正态分布观测评分矩阵是ground truth的矩阵,我们 ...
我总结的120页《图解MIT线性代数笔记.pdf》，都是干货！
作者:丁坤博北京大学研究生线性代数在工科学科上的地位是任何学科无可比拟的,MIT的线性代数课程更是线性代数课程中的最佳学习资料,我们本次分享这套课程的图解笔记. 经过最近几个月的整理和总结,我们产 ...
MIT线性代数笔记三矩阵的乘法和逆矩阵
文章目录 1. 矩阵乘法 Matrix multiplication 1.1 标准方法(行乘以列) 1.2 列向量的线性组合 1.3 行向量的线性组合 1.4 分块乘法 2. 逆矩阵 2.1 逆矩阵的 ...
线性代数笔记17——正交向量与正交子空间
正交向量正交是垂直的令一种说法,两个向量正交意味着两个向量的夹角是90°. 这可以用直角三角形的三边解释: 当x和y正交时,二者的点积是0,反过来也一样.这个结论在n维空间也适用,当Rn空间内的两个 ...

线性代数笔记2：基本子空间的正交性及性质

正交性及正交补

几个常见结论

子空间的正交性

子空间的性质

线性代数笔记2：基本子空间的正交性及性质相关推荐

最新文章

热门文章