矩阵 II : 线性组的线性相关性

学习机器学习, 基础的线性代数知识是必备的基础功, 对于线性代数的探索, 向量组也是线性代数的重要基础. 今天我们就开始学习一下线性代数中重要的向量组知识. 这是本人关于线性组的线性相关性的学习分享.

章节目录

相关性基本概念
1.1 相性相关和线性无关
1.2 相性相关性的判别定理
向量组的秩与极大无关组
2.1 秩与极大无关组
2.2 等价向量组
向量空间
3.1 向量空间的概念
3.2 正交基
3.3 基变换与坐标变换
3.4 线性方程组解的结构

本文是一篇包含大量枯燥数学知识的文章, 作者能力有限, 如果您在阅读过程中发现任何错误, 还请您务必联系本人,指出错误, 避免后来读者再学习错误的知识.谢谢!

本文也同时发布于我的个人博客, 欢饮访问.(文中超链接均指向本人的博客网站, 不想离开 CSDN 页面的读者慎点)

这里偷个懒, 就不介绍向量的基本定义了. 我们直入主题.不是很清楚向量基本概念的读者可以先熟悉一下相关知识.

相关性基本概念

相性相关和线性无关

设 α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 均为 n 维向量, 如果存在一组数 k1,k2,...,kmk1,k2,...,kmk_1,k_2,...,k_m 使

α=k1α1+k2α2+...+kmαmα=k1α1+k2α2+...+kmαm

\alpha=k_1\alpha_1+k_2\alpha_2+...+k_m\alpha_m

则称向量 αα\alpha 是 α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 的线性组合, 或者称向量 αα\alpha 可由 α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 的线性表示

判断向量 αα\alpha 是否可由 α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 线性表示的问题, 可以转化为判断非齐次线性方程组是否有解的问题. 其中 αα\alpha 作为线性方程组的 b, α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 作为线性方程组的对应系数, k1,k2,...,kmk1,k2,...,kmk_1,k_2,...,k_m 作为未知数.

设 α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 均为 n 维向量, 如果存在一组不全为零的数 k1,k2,...,kmk1,k2,...,kmk_1,k_2,...,k_m 使

k1α1+k2α2+...+kmαm=0k1α1+k2α2+...+kmαm=0

k_1\alpha_1+k_2\alpha_2+...+k_m\alpha_m=0

则称向量组 α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 线性相关, 否则,称向量组 α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 的线性无关

判断向量组是否线性相关的问题可以转化为判断齐次线性方程组是否有非零解的问题.

注意: 区分一下线性表示和相性相关:
线性表示是判断一组向量是否可以通过适当的线性组合表示另外一个向量.
线性相关是判断一组向量是否可以通过适当的线性组合表示成一个零向量.
注意线性相关定义中加粗的”不全为零”关键字. 线性相关要求组合时使用的系数不能全部为零, 而线性表示并没有这个要求.

相性相关性的判别定理

向量组 α1,α1,...,αm(m≥2)α1,α1,...,αm(m≥2)\alpha_1,\alpha_1,...,\alpha_m (m\ge2) 线性相关的充分必要条件是至少其中一个向量可由其余 m-1 个向量线性表示.
证明:

必要性:

设 α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 线性相关, 由定义知, 存在不全为零的一组数 k1,k2,...,kmk1,k2,...,kmk_1,k_2,...,k_m, 使

k1α1+k2α2+...+kmαm=0k1α1+k2α2+...+kmαm=0

k_1\alpha_1+k_2\alpha_2+...+k_m\alpha_m=0

不妨设 k1≠0k1≠0k_1\neq0, 则有:

α1=(−k2k1α2)+(−k3k1α3)+...+(−kmk1αm)α1=(−k2k1α2)+(−k3k1α3)+...+(−kmk1αm)

\alpha_1=(-\frac{k_2}{k_1}\alpha_2)+(-\frac{k_3}{k_1}\alpha_3)+...+(-\frac{k_m}{k_1}\alpha_m)

即 α1α1\alpha_1 可由 α2,α3,...,αmα2,α3,...,αm\alpha_2,\alpha_3,...,\alpha_m 线性表示.

充分性:

不妨设 αmαm\alpha_m 可由 α1,α1,...,αm−1α1,α1,...,αm−1\alpha_1,\alpha_1,...,\alpha_{m-1} 线性表示, 由定义知, 存在一组数 k1,k2,...,km−1k1,k2,...,km−1k_1,k_2,...,k_{m-1}, 使

αm=k1α1+k2α2+...+km−1αm−1αm=k1α1+k2α2+...+km−1αm−1

\alpha_m=k_1\alpha_1+k_2\alpha_2+...+k_{m-1}\alpha_{m-1}

即

k1α1+k2α2+...+km−1αm−1+(−1)kmαm=0k1α1+k2α2+...+km−1αm−1+(−1)kmαm=0

k_1\alpha_1+k_2\alpha_2+...+k_{m-1}\alpha_{m-1}+(-1)k_m\alpha_m=0

因为 m 个数 k1,k2,...,km−1,−1k1,k2,...,km−1,−1k_1,k_2,...,k_{m-1}, -1 不全为零, 所以α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 线性相关.

推论: 两个向量线性相关的充分必要条件是它们的对应分量成比例.

需要指出, 向量组 α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 线性相关时, 一般不能肯定是哪个向量可由其他的向量线性表示, 更不能理解为其中的任一个向量都可以由其他向量线性表示

设向量组 α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 线性无关, 而向量组 α1,α1,...,αm,βα1,α1,...,αm,β\alpha_1,\alpha_1,...,\alpha_m,\beta 线性相关, 则向量 ββ\beta 可由 α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 线性表示, 且表示唯一
证明:

由 α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 线性相关可知存在不全为零的一组数 k1,k2,...,km,km+1k1,k2,...,km,km+1k_1,k_2,...,k_m,k_{m+1}, 使

k1α1+k2α2+...+kmαm+km+1β=0k1α1+k2α2+...+kmαm+km+1β=0

k_1\alpha_1+k_2\alpha_2+...+k_m\alpha_m+k_{m+1}\beta=0

假设 km+1=0km+1=0k_{m+1}=0, 上式变为

k1α1+k2α2+...+kmαm=0k1α1+k2α2+...+kmαm=0

k_1\alpha_1+k_2\alpha_2+...+k_m\alpha_m=0

此时 k1,k2,...,kmk1,k2,...,kmk_1,k_2,...,k_m 全部为零, 得到 α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 线性相关, 这与题设矛盾, 因此 km+1≠0km+1≠0k_{m+1}\neq0, 于是有:

β=(−k1km+1α1)+(−k2km+1α2)+...+(−kmkm+1αm)β=(−k1km+1α1)+(−k2km+1α2)+...+(−kmkm+1αm)

\beta=(-\frac{k_1}{k_{m+1}}\alpha_1)+(-\frac{k_2}{k_{m+1}}\alpha_2)+...+(-\frac{k_m}{k_{m+1}}\alpha_m)

再证唯一性. 设有两个表达式

β=k1α1+k2α2+...+kmαm,β=l1α1+l2α2+...+lmαmβ=k1α1+k2α2+...+kmαm,β=l1α1+l2α2+...+lmαm

\beta=k_1\alpha_1+k_2\alpha_2+...+k_m\alpha_m, \qquad \beta=l_1\alpha_1+l_2\alpha_2+...+l_m\alpha_m

两式相减, 可得:

(k1−l1)α1+(k2−l2)α2+...+(km−lm)αm=0(k1−l1)α1+(k2−l2)α2+...+(km−lm)αm=0

(k_1-l_1)\alpha_1+(k_2-l_2)\alpha_2+...+(k_m-l_m)\alpha_m=0

因为 α1,α1,...,αmα1,α1,...,αm\alpha_1,\alpha_1,...,\alpha_m 线性无关, 所以

k1−l1=0,...,km−lm=0k1−l1=0,...,km−lm=0

k_1-l_1=0, ..., k_m-l_m=0

即 k1=l1,...,km=lmk1=l1,...,km=lmk_1=l_1, ..., k_m=l_m, 故表达式唯一.

如果向量组的部分向量线性相关, 则这个向量组就线性相关.
推论1: 若向量组线性无关, 则其任一部分向量也线性无关.

设矩阵 A=(aij)m∗nA=(aij)m∗n\mathsf{A}=(a_{ij})_{m*n}, 称

αi=(αi1,(αi2,...,(αin),βj=(α1j,(α2j,...,(αmj)T,αi=(αi1,(αi2,...,(αin),βj=(α1j,(α2j,...,(αmj)T,

\alpha_i=(\alpha_{i1},(\alpha_{i2},...,(\alpha_{in}), \qquad \beta_j=(\alpha_{1j},(\alpha_{2j},...,(\alpha_{mj})^T,

分别为 AA\mathsf{A} 的行向量和列向量.

设矩阵 A=(aij)m∗nA=(aij)m∗n\mathsf{A}=(a_{ij})_{m*n}, 则:
(1) AA\mathsf{A} 的行向量组线性相关的充分必要条件是 rankA<mA<m\mathsf{A}\lt m;
(2) AA\mathsf{A} 的列向量组线性相关的充分必要条件是 rankA<nA<n\mathsf{A}\lt n;
证明:

考虑 AA\mathsf{A} 的行向量组

αi=(αi1,(αi2,...,(αin)αi=(αi1,(αi2,...,(αin)

\alpha_i=(\alpha_{i1},(\alpha_{i2},...,(\alpha_{in})

设一组数 k1,k2,...,kmk1,k2,...,kmk_1,k_2,...,k_m, 使

k1α1+k2α2+...+kmαm=0k1α1+k2α2+...+kmαm=0

k_1\alpha_1+k_2\alpha_2+...+k_m\alpha_m=0

写成分量形式, 可得

⎧⎩⎨⎪⎪⎪⎪a11k1+a21k2+...+am1km=0a12k1+a22k2+...+am2km=0...a1nk1+a2nk2+...+amnkm=0{a11k1+a21k2+...+am1km=0a12k1+a22k2+...+am2km=0...a1nk1+a2nk2+...+amnkm=0

\begin{cases} a_{11}k_1+a_{21}k_2+...+a_{m1}k_m=0\\ a_{12}k_1+a_{22}k_2+...+a_{m2}k_m=0\\\qquad \qquad...\\a_{1n}k_1+a_{2n}k_2+...+a_{mn}k_m=0\\\end{cases}

该方程组的系数矩阵为 ATAT\mathsf{A^T}, 有定理(指向本人博客网站)可知, 该方程组有非零解的充分必要条件是 rankAT<mAT<m\mathsf{A^T}\lt m, 也就是 rankA<mA<m\mathsf{A}\lt m.

推论1: 设 AA\mathsf{A} 是 n 阶方阵, 则 AA\mathsf{A} 的行(列)向量组线性相关的充分必要条件是 detA=0A=0\mathsf{A}=0.
推论2: 当 m>nm>nm\gt n 时, n 维向量组 α1,α2,...,αmα1,α2,...,αm\alpha_1,\alpha_2,...,\alpha_m 一定线性相关. (也就是说, 向量个数大于向量维数时, 向量组线性相关).

推论3: 设两个向量组

T1:αiT2:βi=(αi1,αi2,...,αir)=(αi1,αi2,...,αir,αir+1,...,αin)(86)(87)(86)T1:αi=(αi1,αi2,...,αir)(87)T2:βi=(αi1,αi2,...,αir,αir+1,...,αin)

\begin{align}T_1: \alpha_i&=(\alpha_{i1},\alpha_{i2},...,\alpha_{ir})\\ T_2: \beta_i&=(\alpha_{i1},\alpha_{i2},...,\alpha_{ir},\alpha_{i{r+1}},...,\alpha_{in})\end{align}

则当向量组 T1T1T_1 线性无关时, 向量组 T1T1T_1 也线性无关.

证明:
构造两个矩阵

AB=⎡⎣⎢⎢⎢⎢α1α2⋮αm⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢a11a21⋮am1a12a22⋮am2⋯⋯⋱⋯a1ra2r⋮amr⎤⎦⎥⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢β1β2⋮βm⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢a11a21⋮am1⋯⋯⋮⋯⋯⋯⋮⋯a1ra2r⋮amra1r+1a2r+1⋮amr+1⋯⋯⋱⋯a1na2n⋮amn⎤⎦⎥⎥⎥⎥⎥,>(88)(89)(88)A=[α1α2⋮αm]=[a11a12⋯a1ra21a22⋯a2r⋮⋮⋱⋮am1am2⋯amr](89)B=[β1β2⋮βm]=[a11⋯⋯a1ra1r+1⋯a1na21⋯⋯a2ra2r+1⋯a2n⋮⋮⋮⋮⋮⋱⋮am1⋯⋯amramr+1⋯amn],>

\begin{align} \mathsf{A}&=\begin{bmatrix}{\alpha_1}\\{\alpha_2}\\{\vdots}\\{\alpha_m}\\\end{bmatrix}=\begin{bmatrix}{a_{11}}}}\\{a_{21}}}}\\{\vdots}\\{a_{m1}}}}\\\end{bmatrix}\\\mathsf{B}&=\begin{bmatrix}{\beta_1}\\{\beta_2}\\{\vdots}\\{\beta_m}\\\end{bmatrix}=\begin{bmatrix}{a_{11}}}}}}\\{a_{21}}}}}}\\{\vdots}\\{a_{m1}}}}}}\\\end{bmatrix}, \qquad > \end{align}

易见, AA\mathsf{A} 是 BB\mathsf{B} 的子矩阵, 且 AA\mathsf{A} 与 BB\mathsf{B} 的行数相同. 由上述定理可知, 若 T1T1T_1 线性无关, 则 rankA=mA=m\mathsf{A}=m, 从而 rankB=mB=m\mathsf{B}=m, 于是 T2T2T_2 线性无关.

设 AA\mathsf{A} 是 m*n 矩阵, 有以下结论:
(1) 若 AA\mathsf{A} 中某个 r 阶子式 Dr≠0Dr≠0\mathsf{D_r}\neq0, 则 AA\mathsf{A} 中含 DrDr\mathsf{D_r} 的 r 个行(列)向量线性无关.
(2) 若 AA\mathsf{A} 中所有 r 阶子式等于 0, 则 AA\mathsf{A} 的任意 r 个行(列)向量线性相关.

证明:

只证明列的情形.
(1) 设 DrDr\mathsf{D_r} 位于 AA\mathsf{A} 的 i1,i2,...,iri1,i2,...,iri_1,i_2,...,i_r 列, 取这 r 个列向量 βi1,βi2,...,βirβi1,βi2,...,βir\beta_{i_1},\beta_{i_2},...,\beta_{i_r} 构造 m*r 矩阵.

B=(βi1,βi2,...,βir)B=(βi1,βi2,...,βir)

\mathsf{B}=(\beta_{i_1},\beta_{i_2},...,\beta_{i_r})

由于 BB\mathsf{B} 中有一个 r 阶子式 Dr≠0Dr≠0\mathsf{D_r}\neq0, 所以 rankB=rB=r\mathsf{B}=r, 有上一条定理可知 βi1,βi2,...,βirβi1,βi2,...,βir\beta_{i_1},\beta_{i_2},...,\beta_{i_r} 线性无关.

(2) 任取 AA\mathsf{A} 的 r 个列向量 βi1,βi2,...,βirβi1,βi2,...,βir\beta_{i_1},\beta_{i_2},...,\beta_{i_r}, 并构成 m*r 矩阵 BB\mathsf{B} (同上), 因为 rankB≤B≤\mathsf{B}\le rankA<rA<r\mathsf{A}\lt r, 有上一条定理可知, 向量组 βi1,βi2,...,βirβi1,βi2,...,βir\beta_{i_1},\beta_{i_2},...,\beta_{i_r} 线性相关.

向量组的秩与极大无关组

秩与极大无关组

设有向量组 TTT, 若:
(1) T" role="presentation">TTT 中有 r 个向量 α1,α2,...,αrα1,α2,...,αr\alpha_1,\alpha_2,...,\alpha_r 线性无关;
(2) TTT 中的任意 r+1 个向量都线性相关, 则称 α1,α2,...,αr" role="presentation">α1,α2,...,αrα1,α2,...,αr\alpha_1,\alpha_2,...,\alpha_r 为向量组 TTT 的一个极大线性无关向量组, 简称为极大无关组. 称数 r 为向量组 T" role="presentation">TTT 的秩.

由定义可知, 如果向量组 TTT 的秩为 r, 那么 T" role="presentation">TTT 中任何 r 个线性无关的向量都可以作为 TTT 的极大无关组.

设 A" role="presentation">AA\mathsf{A} 是 m*n 矩阵, 且 rankA=r(>1)A=r(>1)\mathsf{A}=r(\gt1), 则 AA\mathsf{A} 的行(列)向量组的秩等于 r; 若 AA\mathsf{A} 中某个 r 阶子式 Dr≠0Dr≠0\mathsf{D_r}\neq0, 则 AA\mathsf{A} 中含 DrDr\mathsf{D_r} 的 r 个行(列)向量是 AA\mathsf{A} 的行(列)向量组的一个极大无关组.
证:

由 rankA=rA=r\mathsf{A}=r 知, AA\mathsf{A} 中至少有一个 r 阶子式 Dr≠0Dr≠0\mathsf{D_r}\neq0, 且 AA\mathsf{A} 中所有的 r+1 阶子式都等于 0. 根据前一条定理可知, AA\mathsf{A} 中行 DrDr\mathsf{D_r} 的 r 个行(列)向量相性相关. 且 AA\mathsf{A} 中任意的 r+1 个行(列)向量线性无关.

设 AA\mathsf{A} 是 m*n 矩阵, 有以下结论:
(1)若 A−→−−−−−初等行变换BA→初等行变换B\mathsf{A} \xrightarrow{初等行变换} \mathsf{B}, 则 AA\mathsf{A} 的任意 s 个列向量与 BB\mathsf{B} 中对应的 s 个列向量有相同的线性相关性
(2)若 A−→−−−−−初等列变换CA→初等列变换C\mathsf{A} \xrightarrow{初等列变换} \mathsf{C}, 则 AA\mathsf{A} 的任意 s 个行向量与 CC\mathsf{C} 中对应的 s 个行向量有相同的线性相关性
证明:

设 A=(α1,α2,...,αn),B=(β1,β2,...,βn)A=(α1,α2,...,αn),B=(β1,β2,...,βn)\mathsf{A}=(\alpha_1,\alpha_2,...,\alpha_n), \mathsf{B}=(\beta_1,\beta_2,...,\beta_n). 取 AA\mathsf{A} 的 s 个列向量 αj1,αj2,...,αjsαj1,αj2,...,αjs\alpha_{j_1},\alpha_{j_2},...,\alpha_{j_s} 及 BB\mathsf{B} 中对应的 s 个列向量 βj1,βj2,...,βjsβj1,βj2,...,βjs\beta_{j_1},\beta_{j_2},...,\beta_{j_s}, 由于 A−→−−−−−初等行变换BA→初等行变换B\mathsf{A} \xrightarrow{初等行变换} \mathsf{B}, 所以

(αj1,αj2,...,αjs)−→−−−−−初等行变换(βj1,βj2,...,βjs)(αj1,αj2,...,αjs)→初等行变换(βj1,βj2,...,βjs)

(\alpha_{j_1},\alpha_{j_2},...,\alpha_{j_s}) \xrightarrow{初等行变换} (\beta_{j_1},\beta_{j_2},...,\beta_{j_s})

从而线性方程组

(αj1,αj2,...,αjs)⎡⎣⎢⎢⎢⎢x1x2⋮xs⎤⎦⎥⎥⎥⎥=0与(βj1,βj2,...,βjs)⎡⎣⎢⎢⎢⎢x1x2⋮xs⎤⎦⎥⎥⎥⎥=0(αj1,αj2,...,αjs)[x1x2⋮xs]=0与(βj1,βj2,...,βjs)[x1x2⋮xs]=0

(\alpha_{j_1},\alpha_{j_2},...,\alpha_{j_s})\begin{bmatrix}{x_1}\\{x_2}\\{\vdots}\\{x_s}\\\end{bmatrix}=0 \qquad 与\qquad (\beta_{j_1},\beta_{j_2},...,\beta_{j_s})\begin{bmatrix}{x_1}\\{x_2}\\{\vdots}\\{x_s}\\\end{bmatrix}=0

同解, 故向量组 αj1,αj2,...,αjsαj1,αj2,...,αjs\alpha_{j_1},\alpha_{j_2},...,\alpha_{j_s} 与向量组 βj1,βj2,...,βjsβj1,βj2,...,βjs\beta_{j_1},\beta_{j_2},...,\beta_{j_s} 有相同的线性相关性.

类似的, 可证明另一结论.

等价向量组

设有两个 n 维向量组

T1:α1,α2,...,αr;T2:β1,β2,...,βs;T1:α1,α2,...,αr;T2:β1,β2,...,βs;

T_1:\alpha_1,\alpha_2,...,\alpha_r;\qquad T_2:\beta_1,\beta_2,...,\beta_s;

如果 αiαi\alpha_i 可由 β1,β2,...,βsβ1,β2,...,βs\beta_1,\beta_2,...,\beta_s 线性表示, 则称向量组 T1T1T_1 可由向量组 T2T2T_2 线性表示; 如果方程组 T1T1T_1 与向量组 T2T2T_2 可以互相线性表示则称向量组 T1T1T_1 与向量组 T2T2T_2 等价.

注意: 这里只需要是线性表示即可, 未要求相性相关.

向量组与它的任意一个极大无关组等价
证明:

设向量组 TTT 的一个极大无关组为 T1:α1,α2,...,αr" role="presentation">T1:α1,α2,...,αrT1:α1,α2,...,αrT_1:\alpha_1,\alpha_2,...,\alpha_r, 因为 T1T1T_1 是 TTT 的一个部分组, 所以 T1" role="presentation">T1T1T_1 可由 TTT 线性表示.
另一方面, 对于 T" role="presentation">TTT 中的任一向量 αα\alpha, 当 αα\alpha 在 T1T1T_1 中时, αα\alpha 可由 T1T1T_1 表示.当 αα\alpha 不在 T1T1T_1 中时, 由于 α1,α2,...,αr,αα1,α2,...,αr,α\alpha_1,\alpha_2,...,\alpha_r,\alpha 是 TTT 中 r+1 个向量, 所以线性相关,由定理知, α" role="presentation">αα\alpha 可由 T1T1T_1线性表示. 因此 TTT 可由 T1" role="presentation">T1T1T_1 线性表示, 故 TTT 与 T1" role="presentation">T1T1T_1 等价.

推论: 向量组的任意两个极大无关组等价.

设有两个 n 维向量组

T1:α1,α2,...,αr;T2:β1,β2,...,βs;T1:α1,α2,...,αr;T2:β1,β2,...,βs;

T_1:\alpha_1,\alpha_2,...,\alpha_r;\qquad T_2:\beta_1,\beta_2,...,\beta_s;

若 T1T1T_1 线性无关, 且 T1T1T_1 可由 T2T2T_2 线性表示, 则 r≤sr≤sr\le s.

向量空间

向量空间的概念

设 VVV 为非空的 n 维实向量集合, 如果对向量的加法运算和数乘运算满足:
(1) 对任意 α∈V,β∈V" role="presentation">α∈V,β∈Vα∈V,β∈V\alpha \in V, \beta \in V, 有 α+β∈Vα+β∈V\alpha+\beta \in V (称为对加法封闭)
(2) 对任意 α∈V,k∈Rα∈V,k∈R\alpha \in V, k \in R, 有 kα∈Vkα∈Vk\alpha \in V (称为对数乘封闭)
则称集合 VVV 为向量空间.

向量 α1,α2,...,αm" role="presentation">α1,α2,...,αmα1,α2,...,αm\alpha_1,\alpha_2,...,\alpha_m 生成的向量空间, 记作 L(α1,α2,...,αm)L(α1,α2,...,αm)L(\alpha_1,\alpha_2,...,\alpha_m).

设有两个 n 维向量集合 V1V1V_1 和 V2V2V_2, 如果 V1⊂V2V1⊂V2V_1 \subset V_2, 且 V1V1V_1 与 V2V2V_2 都是向量空间, 则称 V1V1V_1 是 V2V2V_2 的子空间.

设 VVV 为向量空间, 若
(1) V" role="presentation">VVV 中有 r 个向量 α1,α2,...,αrα1,α2,...,αr\alpha_1,\alpha_2,...,\alpha_r 线性无关;
(2) VVV 中任一向量 α" role="presentation">αα\alpha 都可由 α1,α2,...,αrα1,α2,...,αr\alpha_1,\alpha_2,...,\alpha_r 线性表示,
则称 α1,α2,...,αrα1,α2,...,αr\alpha_1,\alpha_2,...,\alpha_r 为 VVV 的一个基, 称数 r 为 V" role="presentation">VVV 的维数, 记作 dimVVV, 即 dimV=r" role="presentation">V=rV=rV=r.

设向量空间 VVV 的一个基为 α1,α2,...,αr" role="presentation">α1,α2,...,αrα1,α2,...,αr\alpha_1,\alpha_2,...,\alpha_r, 对 α∈Vα∈V\alpha \in V, 有

α=x1α1+x2α2+...+xrαrα=x1α1+x2α2+...+xrαr

\alpha=x_1\alpha_1+x_2\alpha_2+...+x_r\alpha_r

称数组 (x1,x2,...,xr)T(x1,x2,...,xr)T(x_1,x_2,...,x_r)^T 为向量 αα\alpha 在基 α1,α2,...,αrα1,α2,...,αr\alpha_1,\alpha_2,...,\alpha_r 下的坐标.

正交基

设向量空间 VVV 的一个基为 α1,α2,...,αr" role="presentation">α1,α2,...,αrα1,α2,...,αr\alpha_1,\alpha_2,...,\alpha_r, 如果

[αi,αj]=0,i≠j[αi,αj]=0,i≠j

[\alpha_i,\alpha_j]=0, i \neq j

则称 α1,α2,...,αrα1,α2,...,αr\alpha_1,\alpha_2,...,\alpha_r 为 VVV 的正交基. 如果还有

‖αi‖=1" role="presentation">∥αi∥=1‖αi‖=1

\Vert \alpha_i \Vert = 1

则称 α1,α2,...,αrα1,α2,...,αr\alpha_1,\alpha_2,...,\alpha_r 为 VVV 的标准正交基.

下面介绍从向量空间 V" role="presentation">VVV 的一个基出发, 构造 VVV 的一个正交基的施密特(Schmidt)正交化方法.

设 V" role="presentation">VVV 的一个基为 α1,α2,...,αrα1,α2,...,αr\alpha_1,\alpha_2,...,\alpha_r, 令

β1β2=α1=α2+k1β1(5)(6)(5)β1=α1(6)β2=α2+k1β1

\begin{align} \beta_1&=\alpha_1\\ \beta_2&=\alpha_2+k_1\beta_1\\ \end{align}

要求 [β2,β1]=0[β2,β1]=0[\beta_2,\beta_1]=0, 可得 k21=−[α2,β1][β1,β1]k21=−[α2,β1][β1,β1]k_{21}=-\frac{[\alpha_2,\beta_1]}{[\beta_1,\beta_1]}, 显然 β2≠0β2≠0\beta_2\neq0,否则 α1,α2α1,α2\alpha_1,\alpha_2 线性相关, 产生矛盾. 再令

β3=α3+k32β2+k31β1β3=α3+k32β2+k31β1

\beta_3=\alpha_3+k_{32}\beta_2+k_{31}\beta_1

要求 [β3,βj]=0(j=1,2)[β3,βj]=0(j=1,2)[\beta_3,\beta_j]=0 (j=1,2), 可得 k3j=−[α3,βj][βj,βj]k3j=−[α3,βj][βj,βj]k_{3j}=-\frac{[\alpha_3,\beta_j]}{[\beta_j,\beta_j]}, 同理可知 β3≠0β3≠0\beta_3\neq0, 如此下去……,最后令

βr=αr+kr,r−1βr−1+...+kr1β1βr=αr+kr,r−1βr−1+...+kr1β1

\beta_r=\alpha_r+k_{r,{r-1}}\beta_{r-1}+...+k_{r1}\beta_1

要求 [βr,βj]=0(j=1,2,...,r−1)[βr,βj]=0(j=1,2,...,r−1)[\beta_r,\beta_j]=0 (j=1,2,...,r-1), 可得 krj=−[αr,βj][βj,βj]krj=−[αr,βj][βj,βj]k_{rj}=-\frac{[\alpha_r,\beta_j]}{[\beta_j,\beta_j]}, 同理可知 βr≠0βr≠0\beta_r\neq0, 于是得到:
(1) β1,β2,...,βrβ1,β2,...,βr\beta_1,\beta_2,...,\beta_r 是两两正交的非零向量, 从而线性无关
(2) β1,β2,...,βrβ1,β2,...,βr\beta_1,\beta_2,...,\beta_r 与 α1,α2,...,αrα1,α2,...,αr\alpha_1,\alpha_2,...,\alpha_r 等价, 从而 β1,β2,...,βrβ1,β2,...,βr\beta_1,\beta_2,...,\beta_r 是 VVV 的一个正交基.
(3) 令 γi=1‖βi‖βi" role="presentation">γi=1∥βi∥βiγi=1‖βi‖βi\gamma_i=\frac{1}{\Vert \beta_i \Vert}\beta_i, 可得 VVV 的一个标准正交基 γ1,γ2,...,γr" role="presentation">γ1,γ2,...,γrγ1,γ2,...,γr\gamma_1,\gamma_2,...,\gamma_r.

基变换与坐标变换

设向量空间 VVV 的两个基为

(I):α1,α2,...,αr;(II):β1,β2,...,βr" role="presentation">(I):α1,α2,...,αr;(II):β1,β2,...,βr(I):α1,α2,...,αr;(II):β1,β2,...,βr

(I):\alpha_1,\alpha_2,...,\alpha_r;\qquad (II):\beta_1,\beta_2,...,\beta_r

由于基(II)可由基(I)线性表示, 所以有

⎧⎩⎨⎪⎪⎪⎪β1=c11α1+c21α2+...+cr1αrβ2=c12α1+c22α2+...+cr2αr...βr=c1rα1+c2rα2+...+crrαr{β1=c11α1+c21α2+...+cr1αrβ2=c12α1+c22α2+...+cr2αr...βr=c1rα1+c2rα2+...+crrαr

\begin{cases} \beta_1=c_{11}\alpha_1+c_{21}\alpha_2+...+c_{r1}\alpha_r\\ \beta_2=c_{12}\alpha_1+c_{22}\alpha_2+...+c_{r2}\alpha_r\\ \qquad \qquad...\\ \beta_r=c_{1r}\alpha_1+c_{2r}\alpha_2+...+c_{rr}\alpha_r\\ \end{cases}

令矩阵 C=(cij)r∗rC=(cij)r∗r\mathsf{C}=(c_ij)_{r*r}, 称 CC\mathsf{C} 为由基(I)到基(II)的过渡矩阵.

上式又可写为

(β1,β2,...,βr)=(α1,α2,...,αr)C(β1,β2,...,βr)=(α1,α2,...,αr)C

(\beta_1,\beta_2,...,\beta_r)=(\alpha_1,\alpha_2,...,\alpha_r)\mathsf{C}

称上式为由基(I)到基(II)的基变换公式.

过渡矩阵是可逆的.
证明略.(有兴趣的读者可以自己研究一下:))

线性方程组解的结构

通过之前两篇线性代数的文章(行列式,矩阵I)中提到的, 我们已经得到以下结论:
(1) 若 (A|b)−→−−−−初等行变换B|d(A|b)→初等行变换B|d\mathsf{(A|b)} \xrightarrow{初等行变换} \mathsf{B|d}, 则 Ax=bAx=b\mathsf{A}x=b 与 Bx=dBx=d\mathsf{B}x=d 同解.
(2) Ax=0Ax=0\mathsf{A}x=0 有非零解的充分必要条件是 rankA<nA<n\mathsf{A}\lt n.(n为矩阵的列数).
(3) Ax=bAx=b\mathsf{A}x=b 有解的充分必要条件是 rankA=A=\mathsf{A}=rankA^A^\mathsf{\hat A}.
(4) 设 rankA=A=\mathsf{A}=rankA^=rA^=r\mathsf{\hat A}=r, 即 Ax=bAx=b\mathsf{A}x=b 有解, 则 r=nr=nr=n 时, Ax=bAx=b\mathsf{A}x=b 有唯一解; r<nr<nr \lt n 时, Ax=bAx=b\mathsf{A}x=b 有无穷多解;

齐次线性方程组

构造线性方程组的解向量集合

S={x|Ax=0,x∈Rn}S={x|Ax=0,x∈Rn}

S=\{x|\mathsf{A}x=0, x \in R^n\}

因为 0∈S0∈S0 \in S, 所以 SSS 非空. 当 x∈S,y∈S,k∈Rn" role="presentation">x∈S,y∈S,k∈Rnx∈S,y∈S,k∈Rnx \in S, y \in S, k \in R^n 时, 由 A(x+y)=Ax+Ay=0A(x+y)=Ax+Ay=0\mathsf{A}(x+y)=\mathsf{A}x+\mathsf{A}y=0 及 A(kx)=k(Ax)=0A(kx)=k(Ax)=0\mathsf{A}(kx)=k(\mathsf{A}x)=0 知 x+y∈S,kx∈Sx+y∈S,kx∈Sx+y \in S, kx \in S. 因此, SSS 是向量空间, 称之为齐次线性方程组的解空间, S" role="presentation">SSS 的基称为齐次线性方程组的基础解系.

设 rankA=r<nA=r<n\mathsf{A}=r \lt n, 且不妨设齐次线性方程组的通解为

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪x1...xrxr+1xr+2...xn=−b1,r+1k1−b1,r+2k2−...−b1,nkn−r,=...=−br,r+1k1−br,r+2k2−...−br,nkn−r,=k1,=k2,=...=kn−r(7)(8)(9)(10)(11)(12)(13){(7)x1=−b1,r+1k1−b1,r+2k2−...−b1,nkn−r,(8)...=...(9)xr=−br,r+1k1−br,r+2k2−...−br,nkn−r,(10)xr+1=k1,(11)xr+2=k2,(12)...=...(13)xn=kn−r

\begin{cases}\begin{align} x_1&=-b_{1,{r+1}}k_1-b_{1,{r+2}}k_2-...-b_{1,n}k_{n-r}, \\ ...&=... \\ x_r&=-b_{r,{r+1}}k_1-b_{r,{r+2}}k_2-...-b_{r,n}k_{n-r}, \\ x_{r+1}&=k_1, \\ x_{r+2}&=k_2, \\ ...&=... \\ x_n&=k_{n-r} \\ \end{align}\end{cases}

其中 k1,k2,...,kn−rk1,k2,...,kn−rk_1,k_2,...,k_{n-r} 为任意实数, 依次取

⎡⎣⎢⎢⎢⎢k1k2⋮kn−r⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢10⋮0⎤⎦⎥⎥⎥⎥,⎡⎣⎢⎢⎢⎢01⋮0⎤⎦⎥⎥⎥⎥,⋯,⎡⎣⎢⎢⎢⎢00⋮1⎤⎦⎥⎥⎥⎥[k1k2⋮kn−r]=[10⋮0],[01⋮0],⋯,[00⋮1]

\begin{bmatrix}k_1\\k_2\\{\vdots}\\k_{n-r}\\\end{bmatrix}=\begin{bmatrix}1\\0\\{\vdots}\\0\\\end{bmatrix},\begin{bmatrix}0\\1\\{\vdots}\\0\\\end{bmatrix},\cdots,\begin{bmatrix}0\\0\\{\vdots}\\1\\\end{bmatrix}

可得齐次线性方程组的 n-r 个解向量

ξ1=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢−b1,r+1⋮−br,r+110⋮0⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥,ξ2=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢−b1,r+2⋮−br,r+201⋮0⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥,⋯,ξn−r=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢−b1n⋮−brn00⋮1⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥ξ1=[−b1,r+1⋮−br,r+110⋮0],ξ2=[−b1,r+2⋮−br,r+201⋮0],⋯,ξn−r=[−b1n⋮−brn00⋮1]

\xi_1=\begin{bmatrix}{-b_{1,{r+1}}}\\{\vdots}\\{-b_{r,{r+1}}}\\1\\0\\{\vdots}\\0\\\end{bmatrix}, \xi_2=\begin{bmatrix}{-b_{1,{r+2}}}\\{\vdots}\\{-b_{r,{r+2}}}\\0\\1\\{\vdots}\\0\\\end{bmatrix}, {\cdots}, \xi_{n-r}=\begin{bmatrix}{-b_{1n}}\\{\vdots}\\{-b_{rn}}\\0\\0\\{\vdots}\\1\\\end{bmatrix}

于是,通解又可写为

x=k1ξ1+k2ξ2+...,+kn−rξn−rx=k1ξ1+k2ξ2+...,+kn−rξn−r

x=k_1\xi_1+k_2\xi_2+...,+k_{n-r}\xi_{n-r}

上式表明, 方程组的任意解向量都可以由 ξ1,ξ2,..,ξn−rξ1,ξ2,..,ξn−r\xi_1,\xi_2,..,\xi_{n-r} 线性表示, 又向量组 ξ1,ξ2,..,ξn−rξ1,ξ2,..,ξn−r\xi_1,\xi_2,..,\xi_{n-r} 线性无关, 所以 ξ1,ξ2,..,ξn−rξ1,ξ2,..,ξn−r\xi_1,\xi_2,..,\xi_{n-r} 是解空间 SSS 的一个基, 也就是齐次线性方程组的一个基础解系. 于是解空间的维数 dimV=n−r" role="presentation" style="position: relative;">V=n−rV=n−rV=n-r, 即基础解系中所包含的解向量个数, 等于线性方程组中未知数的个数减去系数矩阵的秩.

非齐次线性方程组

当非齐次线性方程组 Ax=bAx=b\mathsf{A}x=b 有解时, 设 η∗η∗\eta^* 是它的一个解向量(称为特解), ηη\eta 是它的任一解, 由于

A(η−η∗)=Aη−Aη∗=b−b=0A(η−η∗)=Aη−Aη∗=b−b=0

\mathsf{A}(\eta-\eta^*)=\mathsf{A}\eta-\mathsf{A}\eta^*=b-b=0

所以 η−η∗η−η∗\eta-\eta^* 是对应的其次方程组 Ax=0Ax=0\mathsf{A}x=0 的解. 从而可由 Ax=0Ax=0\mathsf{A}x=0 的基础解系线性表示, 即

η−η∗=k1ξ1+k2ξ2+...,+kn−rξn−rη−η∗=k1ξ1+k2ξ2+...,+kn−rξn−r

\eta-\eta^*=k_1\xi_1+k_2\xi_2+...,+k_{n-r}\xi_{n-r}

也即

η=η∗+k1ξ1+k2ξ2+...,+kn−rξn−rη=η∗+k1ξ1+k2ξ2+...,+kn−rξn−r

\eta=\eta^*+k_1\xi_1+k_2\xi_2+...,+k_{n-r}\xi_{n-r}

其中 k1,k2,...,kn−rk1,k2,...,kn−rk_1,k_2,...,k_{n-r} 为任意实数, 另外易验证上式右端向量是 Ax=bAx=b\mathsf{A}x=b 的解向量, 故上式给出了 Ax=bAx=b\mathsf{A}x=b 的通解.

上式表明, 非齐次线性方程组 Ax=bAx=b\mathsf{A}x=b 的通解可以表示为它的一个特解与对应的齐次线性方程组 Ax=0Ax=0\mathsf{A}x=0 的通解之和.

到此为止, 我学习分享就结束了. 读完之后, 有任何看法见解, 欢迎与我分享. 谢谢!