本文依据Nicholas Hoell的讲义The Fundamental Theorem of Linear Algebra翻译，水平有限，如有不当欢迎指正。

一、预备知识：正交补空间

1.1 正交补空间的定义

对于一个nnn维子空间S⊆RnS\subseteq \mathbb{R}^nS⊆Rn，顾名思义，它的正交补空间（orthogonal complement）里的每一个向量都和SSS中的列向量正交。
记SSS的正交补空间为S⊥⊆RnS^\perp \subseteq \mathbb{R}^nS⊥⊆Rn，它由列向量v∈Rnv\in \mathbb{R}^nv∈Rn构成，要求vvv与SSS中的所有向量都正交。则S⊥S^\perpS⊥可以用数学语言描述为：
S⊥={v∈Rn∣u⋅v=0,u∈S}S^\perp=\lbrace v\in\mathbb{R}^n|u\cdot v=0,u\in S\rbraceS⊥={v∈Rn∣u⋅v=0,u∈S}
正交补空间也可以简称为“正交补”。

1.2 表示定理

设v∈Rnv\in\mathbb{R}^nv∈Rn表示任意一个nnn维向量，S⊆RnS\subseteq\mathbb{R}^nS⊆Rn，那么存在s∈Ss\in Ss∈S，s⊥∈S⊥s_\perp\in S^\perps⊥∈S⊥，使得
v=s+s⊥v=s+s_\perpv=s+s⊥
即，任意一个nnn维向量可以表示为两个nnn维向量的和：其中一个属于nnn维空间的一个子空间，另一个属于这个子空间的正交补空间。

证明：
Rn\mathbb{R}^nRn的每个子空间SSS都有自己的基，所以也有标准正交基（这个标准正交基可以由任意一组基得到，例如使用施密特正交化和标准化等方法），因此，SSS空间中的一个向量sss可以表示为：
s=(v⋅s1)s1+(v⋅s2)s2+...+(v⋅sdim(S))sdim(S)s=(v\cdot s_1)s_1+(v\cdot s_2)s_2+...+(v\cdot s_{dim(S)})s_{dim(S)}s=(v⋅s1)s1+(v⋅s2)s2+...+(v⋅sdim(S))sdim(S)
其中，s1,s2,...,sdim(S)s_1, s_2, ..., s_{dim(S)}s1,s2,...,sdim(S)是SSS的一个标准正交基，易知它们满足：∣∣sj∣∣=1且sj⋅si=0,i≠j||s_j||=1且s_j\cdot s_i=0, i\ne j∣∣sj∣∣=1且sj⋅si=0,i=j。因此可以构造：
(v−s)⋅s=v⋅s−s⋅s=v⋅[(v⋅s1)s1+(v⋅s2)s2+...+(v⋅sdim(S))sdim(S)]−[(v⋅s1)2s1⋅s1+(v⋅s2)2s2⋅s2+...+(v⋅sdim(S))2sdim(S)⋅sdim(S)]=(v⋅s1)2+(v⋅s2)2+...+(v⋅sdim(S))2−[(v⋅s1)2+(v⋅s2)2+...+(v⋅sdim(S))2]=0(v-s)\cdot s=v\cdot s-s\cdot s\\=v\cdot[(v\cdot s_1)s_1+(v\cdot s_2)s_2+...+(v\cdot s_{dim(S)})s_{dim(S)}]\\-[(v\cdot s_1)^2s_1\cdot s_1+(v\cdot s_2)^2s_2\cdot s_2+...+(v\cdot s_{dim(S)})^2s_{dim(S)}\cdot s_{dim(S)}]\\=(v\cdot s_1)^2+(v\cdot s_2)^2+...+(v\cdot s_{dim(S)})^2\\-[(v\cdot s_1)^2+(v\cdot s_2)^2+...+(v\cdot s_{dim(S)})^2]\\=0(v−s)⋅s=v⋅s−s⋅s=v⋅[(v⋅s1)s1+(v⋅s2)s2+...+(v⋅sdim(S))sdim(S)]−[(v⋅s1)2s1⋅s1+(v⋅s2)2s2⋅s2+...+(v⋅sdim(S))2sdim(S)⋅sdim(S)]=(v⋅s1)2+(v⋅s2)2+...+(v⋅sdim(S))2−[(v⋅s1)2+(v⋅s2)2+...+(v⋅sdim(S))2]=0
所以(v−s)⊥s(v-s)\perp s(v−s)⊥s。利用这个关系，定义s⊥=v−ss_\perp =v-ss⊥=v−s，这样就有v=s+s⊥v=s+s_\perpv=s+s⊥，且s⊥∈S⊥s_\perp\in S^\perps⊥∈S⊥

二、一个命题

设AAA为m×nm\times nm×n矩阵，则：
(col(AT))⊥=ker(A)(col(A^T))^\perp=ker(A)(col(AT))⊥=ker(A)
其中col(⋅)col(\cdot)col(⋅)表示一个矩阵的列空间，ker(⋅)ker(\cdot)ker(⋅)表示一个矩阵的核空间。
这个命题是线性代数基本定理的依据。

证明：
设v∈ker(A)v\in ker(A)v∈ker(A)，则
Av=(00⋮0)=(row1(A)⋅vrow2(A)⋅v⋮rowm(A)⋅v)Av=\begin{pmatrix}0\\0\\\vdots\\0\end{pmatrix}=\begin{pmatrix}row_1(A)\cdot v\\row_2(A)\cdot v\\\vdots\\row_m(A)\cdot v\end{pmatrix}Av=⎝⎜⎜⎜⎛00⋮0⎠⎟⎟⎟⎞=⎝⎜⎜⎜⎛row1(A)⋅vrow2(A)⋅v⋮rowm(A)⋅v⎠⎟⎟⎟⎞
其中rowi(A)row_i(A)rowi(A)表示AAA的第iii个行向量。所以v⊥rowi(A),i=1,2,...,mv\perp row_i(A),i=1,2,...,mv⊥rowi(A),i=1,2,...,m，所以v∈(row(A))⊥=(col(AT))⊥v\in (row(A))^\perp=(col(A^T))^\perpv∈(row(A))⊥=(col(AT))⊥，row(A)row(A)row(A)表示AAA的行向量生成的空间。由于这个结论对所有的vvv都成立，因此ker(A)⊆(col(AT))⊥ker(A)\subseteq (col(A^T))^\perpker(A)⊆(col(AT))⊥。同理，如果v∈(col(AT))⊥v\in (col(A^T))^\perpv∈(col(AT))⊥，则必有
v⋅rowi(A)=0,i=1,2,...,mv\cdot row_i(A)=0, i=1,2,...,mv⋅rowi(A)=0,i=1,2,...,m
因此v∈ker(A)v\in ker(A)v∈ker(A)。由于这个结论对所有vvv都成立，所以(col(AT))⊥⊆ker(A)(col(A^T))^\perp\subseteq ker(A)(col(AT))⊥⊆ker(A)
所以ker(A)=(col(AT))⊥ker(A)=(col(A^T))^\perpker(A)=(col(AT))⊥

根据上面的内容，我们也可以顺便得到另一个重要性质：
S=(S⊥)⊥S=(S^\perp)^\perpS=(S⊥)⊥

证明：
如果v∈(S⊥)⊥v\in (S^\perp)^\perpv∈(S⊥)⊥，则v⋅s⊥=0v\cdot s_\perp=0v⋅s⊥=0对所有s⊥∈S⊥s_\perp\in S^\perps⊥∈S⊥都成立。设SSS和S⊥S^\perpS⊥的标准正交基分别为{s1,...,sdim(S)}\{s_1,...,s_{dim(S)}\}{s1,...,sdim(S)}和{s1⊥,s2⊥,...,sdim(S)⊥}\{s_1^\perp,s_2^\perp,...,s_{dim(S)}^\perp\}{s1⊥,s2⊥,...,sdim(S)⊥}，则有：
v=(v⋅s1)s1+(v⋅s2)s2+...+(v⋅sdim(S))sdim(S)+(v⋅s1⊥)s1⊥+(v⋅s2⊥)s2⊥+...+(v⋅sdim(S)⊥)sdim(S)⊥=(v⋅s1)s1+(v⋅s2)s2+...+(v⋅sdim(S))sdim(S)v=(v\cdot s_1)s_1+(v\cdot s_2)s_2+...+(v\cdot s_{dim(S)})s_{dim(S)}\\+(v\cdot s_1^\perp)s_1^\perp+(v\cdot s_2^\perp)s_2^\perp+...+(v\cdot s_{dim(S)}^\perp)s_{dim(S)}^\perp\\=(v\cdot s_1)s_1+(v\cdot s_2)s_2+...+(v\cdot s_{dim(S)})s_{dim(S)}v=(v⋅s1)s1+(v⋅s2)s2+...+(v⋅sdim(S))sdim(S)+(v⋅s1⊥)s1⊥+(v⋅s2⊥)s2⊥+...+(v⋅sdim(S)⊥)sdim(S)⊥=(v⋅s1)s1+(v⋅s2)s2+...+(v⋅sdim(S))sdim(S)
既然vvv可以用SSS的基表示，那么v∈Sv\in Sv∈S。由于这个结论对所有vvv都成立，所以(S⊥)⊥⊆S(S^\perp)^\perp\subseteq S(S⊥)⊥⊆S。另一方面，对于s∈Ss\in Ss∈S，由于s⋅s⊥=0s\cdot s_\perp=0s⋅s⊥=0，所以s∈(S⊥)⊥s\in(S^\perp)^\perps∈(S⊥)⊥。由于这个结论对所有s⊥s_\perps⊥都成立，所以s⊆(S⊥)⊥s\subseteq(S^\perp)^\perps⊆(S⊥)⊥。
所以S=(S⊥)⊥S=(S^\perp)^\perpS=(S⊥)⊥。

三、线性代数基本定理

在此基础上，介绍线性代数基本定理：
设AAA为m×nm\times nm×n矩阵，则
col(AT)=(ker(A))⊥col(A^T)=(ker(A))^\perpcol(AT)=(ker(A))⊥
因此，
Rn=ker(A)⊕col(AT)=ker(A)⊕row(A)\mathbb{R}^n=ker(A)\oplus col(A^T)=ker(A)\oplus row(A)Rn=ker(A)⊕col(AT)=ker(A)⊕row(A)
其中⊕\oplus⊕这个符号称为“direct sum”（直和）。可见，nnn维空间被分为了两部分：AAA的核空间与行空间。
这个定理有什么意义呢？
对于方程
Ax=bAx=bAx=b
如果b∈col(A)b\in col(A)b∈col(A)，这个方程是有解的。根据这个定理，我们可以将解表示为
x=p+vhx=p+v_hx=p+vh
其中p∈row(A)p\in row(A)p∈row(A)为Ap=bAp=bAp=b的特解，而vh∈ker(A)v_h\in ker(A)vh∈ker(A)为核空间（Ax=0Ax=0Ax=0）内的通解。矩阵的零化度描述了Ax=bAx=bAx=b缺乏唯一可解性。

四、该定理的应用

这个定理可以用于证明最小二乘解的存在性，见：
如何证明ATAX=ATB一定有解？

线性代数基本定理（核空间与行空间）——The Fundamental Theorem of Linear Algebra相关推荐

线性代数 --- 线性代数基本定理下（四个基本子空间两两正交且互为正交补）
正交子空间前面我们已经知道了,两个向量的内积为0是勾股定理的另一种表现形式.现在我们来研究一下两个子空间之间的正交.虽然,我很不喜欢一上来就先给个定义,但我这里还是要给,sorry! 现有两个子空间 ...
线性代数 --- 线性代数基本定理上（四个基本子空间的维数，行秩=列秩）
由向量张成VS用条件约束构造子空间的方法主要有两种: 1,一种是给出一组向量,由他们来张成子空间. 例如,矩阵的列空间和行空间就是通过这种方法来构造的. 2,一种是给出子空间所应受到的约束,满足这些 ...
线性代数第九版pdf英文_《Linear Algebra Done Right》线性代数复习及部分习题解答（3.C）...
个人声明本系列文章记录本人自学线性代数教材<Linear Algebra Done Right>的概念梳理(复习)和部分习题解答(练习).如有任何错误或不严谨之处恳请读者在评论区留言提醒 ...
GAMES101课程学习笔记—Lec 02：Linear Algebra 线性代数回顾
GAMES101课程学习笔记-Lec 02:Linear Algebra 线性代数回顾 0 图形学的依赖学科 1 向量 1.1 点乘 1.2 叉乘 2 矩阵本节课知识比较基础,大学课程里应该都学过, ...
Linear Algebra 线性代数
Linear Algebra 线性代数最近在看Deep Learning这本书,刚看了Linear Algebra章,总结一下. 名词函数 Scalars:标量,就是单个数,一般用小写倾斜字体表示. ...
【机器学习的数学基础】（二）线性代数(Linear Algebra)（中）
文章目录 2 线性代数(Linear Algebra)(中) 2.4 向量空间 2.4.1 群 2.4.2 向量空间 2.4.3 向量子空间 2.5 线性独立 2.6 基和秩 2.6.1 生成集和基 ...
matlab中没有linearmodel,MATLAB线性代数简明教程(Linear Algebra Using MATLAB)
MATLAB线性代数简明教程(Linear Algebra Using MATLAB) 编辑锁定讨论上传视频 <MATLAB线性代数简明教程(Linear Algebra Using MA ...
矩阵消元-线性代数课时2（MIT Linear Algebra , Gilbert Strang）
这是Strang教授的第二讲,讲解了求线性方程组的一种系统方法:消元法(Gaussian elimination),它的核心思想是行变换.本课时的几个核心知识点:消元.回代.消元过程的矩阵描述和逆矩阵 ...
列空间和零空间-线性代数课时6（MIT Linear Algebra , Gilbert Strang）
这是Strang教授的第六讲,讲解的内容是线性代数里的俩个最重要向量子空间:列空间和零空间,同时还有上节课剩余的一点关于向量空间的问题.1.向量空间和子空间;2.列空间;3.零空间. 1.向量空间和子 ...

线性代数基本定理（核空间与行空间）——The Fundamental Theorem of Linear Algebra

目录