矩阵论极简笔记（2）:列空间、正交补、零空间、行空间

本篇讲解线性代数的4个基本空间

Vector space, subspace, linear space 是同一个东东

子空间（subspace）可以想象成一个超平面，根据线性空间的定义，0元素必须在超平面上才是子空间。

上式不是子空间。因为 $\alpha \boldsymbol{x}=[\alpha x_1,\alpha x_2, \alpha x_3]=[0,0,0],if \alpha = 0$

直线当然是平面的子空间，直线、平面当然是三维空间的子空间。

例1

频域是有限带宽的复数空间的信号x是子空间：

子空间的直和direct sum

Span你理解正确了吗？

span{S} = {set of all possible linear combinations of vectors in S}

例2

the set

虽然向量集合是一条直线，但是张成的子空间是平面。

例3

所以，集合并集union不等于集合加和sum。该例并集是一个点和y轴，sum为过（1，0）平行y轴的一条直线。

Two subspaces are called disjoint when the only vector common to both is 0. When two subspaces S and T are disjoint, then their sum is called a direct sum (denoted S ⊕ T ).

代数补algebraic complements

或正交补(orthogonal complement)

可见，代数补并不是集合补集。

T和S是R2的代数补，T和Q也是R2的代数补，

因为， $a(1,0)+b(1,1)=(a+b,b)$

正交补(orthogonal complement)

正交补定义为： $S^\perp =\left \{ \boldsymbol{x} \in\mathbb{ C}^{n} : \boldsymbol{x}^H\boldsymbol{s}=0\forall \boldsymbol{s} \in S \right \}$

例4

证明：S是子空间，那么其正交补也是子空间。

以上，即得到一个重要的向量分解思想：向量+其正交补，且唯一。

上式证明：

$\forall x \in \mathbb{C}^n$ ,P是子空间S的投影算子

正交补的重要性质

根据定义， $\mathbb{C}^{n}$ 的正交补只有0元素。

列空间Range space: Subspaces Associated with Linear Maps

例5

固定FIR滤波器响应, h, x为复数空间任意值，所有可能的信号输出y是子空间：

所以y属于R(H)，那就存在一个信号x，卷积得到y。这在反卷积求x具有应用意义。

列空间还有一个典型应用就方程组求解，对于Ax=b，显然 $b \in range(A)$ ，方程组有解

上述定理当然须m ≤ n，即方程个数不能多于未知数，否则可能无解也可能有解；且须行满秩，否则会出现 $0 \boldsymbol{x}=const$ ，无解。

A是行满秩，一定有解，包括无穷多解。只有列大于等于行才可能行满秩。

A是列满秩序，无解或有唯一解。只有行大于等于列可能列满秩。

行满秩，且行比列少，解系肯定有自由变量。无穷多解。

列满秩，存在唯一映射，且b不可能为0，即A的零空间N（A）={0}

对于Ax=b的解结构可称之为仿射子空间

投影

投影的重要性质

投影唯一，矩阵P是投影算子，Px是投影（垂足）
子空间S垂足的投影还是本身。 $P(s)=s ,\forall s\in S$
子空间S的投影算子P是一个矩阵，在正交补 $S^{\perp }$ 的投影=0。 $P_{S \perp}(s)=0,\forall s \in S$
子空间S的投影算子P，那么 $I-P$ 是正交补 $S^{\perp }$ 的投影算子，因为 $Ix-Px\in S^{\perp }$ ,所以 $I-P$ 是正交补 $S^{\perp }$ 的投影算子。
$R(P)=S$
$P^2=P^H=P$

4个基本子空间

复数空间可以分解为矩阵A的列空间+矩阵A的列空间的正交补，而矩阵A的列空间的正交补=矩阵A转置的零空间。

附录灵魂问答

矩阵乘法怎么用希格码求和表达？

$\boldsymbol{x }\in \mathbb{C}^n,\boldsymbol{y}\in \mathbb{C}^m$

矩阵转置怎么用元素表示？

以及