1.1 矩阵与线性方程组-矩阵的基本运算

1 矩阵的基本运算

1.1 矩阵与向量

我们经常会遇到m×nm\times nm×n线性方程组：

{a11x1+a12x2+⋯+a1nxn=b1a21x1+a22x2+⋯+a2nxn=b2⋯am1x1+am2x2+⋯+amnxn=bm(1.1.1)\begin{cases}a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n=b_1\\a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n=b_2\\\cdots\\a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n=b_m\end{cases}\quad\quad\quad\quad\quad(1.1.1)⎩⎪⎪⎪⎨⎪⎪⎪⎧a11x1+a12x2+⋯+a1nxn=b1a21x1+a22x2+⋯+a2nxn=b2⋯am1x1+am2x2+⋯+amnxn=bm(1.1.1)

它使用m个方程描述n个未知量之间的线性关系。这一线性方程组可以使用如下的向量形式简记为：

Ax=b(1.1.2)Ax=b\quad\quad\quad\quad\quad(1.1.2)Ax=b(1.1.2)

式中：

A=[a11a12⋯a1na21a22⋯a2n⋮⋮⋮am1am2⋯amn](1.1.3)A=\begin{bmatrix}a_{11}&a_{12}&\cdots&a_{1n}\\a_{21}&a_{22}&\cdots&a_{2n}\\\vdots&\vdots&&\vdots\\a_{m1}&a_{m2}&\cdots&a_{mn}\end{bmatrix}\quad\quad\quad\quad\quad(1.1.3)A=⎣⎢⎢⎢⎡a11a21⋮am1a12a22⋮am2⋯⋯⋯a1na2n⋮amn⎦⎥⎥⎥⎤(1.1.3)

称为m×nm\times nm×n矩阵，是一个按照长方形阵列排列的复数或实数集合；而：

x=[x1x2⋮xm],b=[b1b2⋮bn](1.1.4)x=\begin{bmatrix}x_1\\x_2\\\vdots\\x_m\end{bmatrix},\quad b=\begin{bmatrix}b_1\\b_2\\\vdots\\b_n\end{bmatrix}\quad\quad\quad\quad(1.1.4)x=⎣⎢⎢⎢⎡x1x2⋮xm⎦⎥⎥⎥⎤,b=⎣⎢⎢⎢⎡b1b2⋮bn⎦⎥⎥⎥⎤(1.1.4)

分别为m×1m\times1m×1向量和n×1n\times1n×1向量，是按照列方式排列的复数或实数集合，统称列向量。类似地，按照行方式排列的复数或实数集合称为行向量，例如：

a=[a1,a2,⋯,an](1.1.5)a=[a_1,a_2,\cdots,a_n]\quad\quad\quad\quad\quad(1.1.5)a=[a1,a2,⋯,an](1.1.5)

是1×n1\times n1×n向量。

一个n×nn\times nn×n正方矩阵AAA的主对角线是指从左上角到右下角沿i=j,j=1,2,…,ni=j,j=1,2,\dots,ni=j,j=1,2,…,n相连接的线段。位于主对角线上的元素称为AAA的对角元素。平行于主对角线沿∣i−j∣|i-j|∣i−j∣=常数相连接的线段称为AAA的对角线。

矩阵AAA从右上角到左下角相连接的线段称为矩阵AAA的交叉对角线（也称次对角线），它垂直于主对角线。

主对角线以外元素全部为零的n×nn\times nn×n矩阵称为对角矩阵，记作：

D=diag(d11,d22,…,dnn)(1.1.8)D=diag(d_{11},d_{22},\dots,d_{nn})\quad\quad\quad\quad\quad(1.1.8)D=diag(d11,d22,…,dnn)(1.1.8)

若对角矩阵主对角线元素全部等于1，则称其为单位矩阵，用In×nI_{n\times n}In×n表示。所有元素为零的m×nm\times nm×n矩阵称为零矩阵，记为Om×nO_{m\times n}Om×n。

一个全部元素为零的向量称为零向量。当位数已经明了或者不紧要时，常省去单位矩阵、零矩阵和零向量表示维数的下表，将它们分别简记为I,O,0I,O,0I,O,0。

只有一个元素为1，其他元素皆等于0的列向量称为基本向量，即：

e1=[100⋮0],e2=[010⋮0],…,en=[000⋮1](1.1.9)e_1=\begin{bmatrix}1\\0\\0\\\vdots\\0\end{bmatrix},\quad e_2=\begin{bmatrix}0\\1\\0\\\vdots\\0\end{bmatrix},\quad\dots,\quad e_n=\begin{bmatrix}0\\0\\0\\\vdots\\1\end{bmatrix}\quad\quad\quad\quad\quad\quad(1.1.9)e1=⎣⎢⎢⎢⎢⎢⎡100⋮0⎦⎥⎥⎥⎥⎥⎤,e2=⎣⎢⎢⎢⎢⎢⎡010⋮0⎦⎥⎥⎥⎥⎥⎤,…,en=⎣⎢⎢⎢⎢⎢⎡000⋮1⎦⎥⎥⎥⎥⎥⎤(1.1.9)

显然，n×nn\times nn×n单位矩阵III可以用nnn个基本向量表示为I=[e1,e2,…,en]I=[e_1,e_2,\dots,e_n]I=[e1,e2,…,en]。

这里介绍后文将会使用的矩阵符号A(i1:ip,j1:jp)A(i_1:i_p,j_1:j_p)A(i1:ip,j1:jp)，它表示由AAA的第i1∼ipi_1\sim i_pi1∼ip行和第j1∼jqj_1\sim j_qj1∼jq列组成的一个子矩阵。例如：

A(3:6,2:4)=[a32a33a34a42a43a44a52a53a54a62a63a64]A(3:6,2:4)=\begin{bmatrix}a_{32}&&a_{33}&&a_{34}\\a_{42}&&a_{43}&&a_{44}\\a_{52}&&a_{53}&&a_{54}\\a_{62}&&a_{63}&&a_{64}\end{bmatrix}A(3:6,2:4)=⎣⎢⎢⎡a32a42a52a62a33a43a53a63a34a44a54a64⎦⎥⎥⎤

分块矩阵是一个以矩阵作元素的矩阵：

A=[Aij]=[A11A12…A1nA21A22…A2n⋮⋮⋮Am1Am2…Amn]A=[A_{ij}]=\begin{bmatrix}A_{11}&&A_{12}&&\dots&&A_{1n}\\A_{21}&&A_{22}&&\dots&&A_{2n}\\\vdots&&\vdots&& &&\vdots\\A_{m1}&&A_{m2}&&\dots&&A_{mn}\end{bmatrix}A=[Aij]=⎣⎢⎢⎢⎡A11A21⋮Am1A12A22⋮Am2………A1nA2n⋮Amn⎦⎥⎥⎥⎤

1.2 矩阵的基本运算

令RRR表示实数集合，CCC表示复数集合。一个复矩阵定义为按照长方阵列排列的复数集合，记作：

A∈Cm×n⟺A=[aij],aij∈C,i=1,2,…,m;j=1,2,…,n(1.1.10)A\in C^{m\times n}\iff A=[a_{ij}], a_{ij}\in C,\quad i=1,2,\dots,m;j=1,2,\dots,n\quad\quad\quad(1.1.10)A∈Cm×n⟺A=[aij],aij∈C,i=1,2,…,m;j=1,2,…,n(1.1.10)

类似地，一个实矩阵记作：

A∈Rm×n⟺A=[aij],aij∈R,i=1,2,…,m;j=1,2,…,n(1.1.11)A\in R^{m\times n}\iff A=[a_{ij}], a_{ij}\in R,\quad i=1,2,\dots,m;j=1,2,\dots,n\quad\quad\quad(1.1.11)A∈Rm×n⟺A=[aij],aij∈R,i=1,2,…,m;j=1,2,…,n(1.1.11)

定义1.1.1

若A=[aij]A=[a_{ij}]A=[aij]是一个m×nm\times nm×n矩阵，则AAA的转置记作ATA^TAT，是一个n×mn\times mn×m矩阵，定义为[AT]ij=aji[A^T]_{ij}=a_{ji}[AT]ij=aji；矩阵AAA的复数共轭（实部相同，虚部相反）A∗A^*A∗定义为[A∗]ij=aij∗[A^*]_{ij}=a_{ij}^*[A∗]ij=aij∗；复共轭转置记作AHA^HAH，定义为：

AH=[a11∗a21∗…am1∗a12∗a22∗…am2∗⋮⋮⋮a1n∗a2n∗…amn∗](1.1.12)A^H=\begin{bmatrix}a_{11}^*&&a_{21}^*&&\dots&&a_{m1}^*\\a_{12}^*&&a_{22}^*&&\dots&&a_{m2}^*\\\vdots&&\vdots&& &&\vdots\\a_{1n}^*&&a_{2n}^*&&\dots&&a_{mn}^*\end{bmatrix}\quad\quad\quad\quad\quad (1.1.12)AH=⎣⎢⎢⎢⎡a11∗a12∗⋮a1n∗a21∗a22∗⋮a2n∗………am1∗am2∗⋮amn∗⎦⎥⎥⎥⎤(1.1.12)

共轭转置又叫Hermitian伴随、Hermitian转置或Hermitian共轭。满足AH=AA^H=AAH=A的正方复矩阵称为Hermitian矩阵或共轭对称矩阵。

共轭转置与转置之间存在下列关系：

AH=(A∗)T=(AT)∗(1.1.13)A^H=(A^*)^T=(A^T)^*\quad\quad\quad\quad\quad\quad(1.1.13)AH=(A∗)T=(AT)∗(1.1.13)

一个m×nm\times nm×n分块矩阵AAA的共轭转置是一个由AAA的元素的共轭转置组成的n×mn\times mn×m分块矩阵：

矩阵加法与乘法

定义1.1.2（矩阵加法的定义）

两个 m×nm\times nm×n 矩阵 A=[aij]A=[a_{ij}]A=[aij] 和 B=[bij]B=[b_{ij}]B=[bij] 之和记作A+BA+BA+B，定义为[A+B]ij=aij+bij[A+B]_{ij}=a_{ij}+b_{ij}[A+B]ij=aij+bij

定义1.1.3

令A=[aij]A=[a_{ij}]A=[aij]是一个m×nm\times nm×n矩阵，且α\alphaα是一个标量。乘积αA\alpha AαA是一个m×nm\times nm×n矩阵，定义为[αA]ij=αaij[\alpha A]_{ij}=\alpha a_{ij}[αA]ij=αaij

定义1.1.3可以推广为矩阵与向量的乘积、矩阵与矩阵的乘积。

定义1.1.4

m×nm\times nm×n矩阵A=[aij]A=[a_{ij}]A=[aij]与r×1r\times1r×1向量x=[x1,x2,…,xr]Tx=[x_1,x_2,\dots,x_r]^Tx=[x1,x2,…,xr]T的乘积AxAxAx只有当n=rn=rn=r时才存在，它是一个m×1m\times1m×1向量，定义为：

[Ax]i=∑j=1naijxj,,i=1,2,…,m[Ax]_i=\sum\limits_{j=1}^na_{ij}x_j,\quad,i=1,2,\dots,m[Ax]i=j=1∑naijxj,,i=1,2,…,m

定义1.1.5（矩阵乘积的定义，重要）

m×nm\times nm×n矩阵A=[aij]A=[a_{ij}]A=[aij]与r×sr\times sr×s矩阵B=[bij]B=[b_{ij}]B=[bij]的乘积ABABAB只有当n=rn=rn=r时才存在，它是一个m×sm\times sm×s矩阵，定义为：

[AB]ij=∑k=1naikbkj,i=1,2,…,m;j=1,2,…,s[AB]_{ij}=\sum\limits_{k=1}^na_{ik}b_{kj},\quad i=1,2,\dots,m;\ j=1,2,\dots,s[AB]ij=k=1∑naikbkj,i=1,2,…,m; j=1,2,…,s

根据定义，容易验证矩阵的加法服从下面的运算规则：

加法交换律：A+B=B+AA+B=B+AA+B=B+A
加法结合律：(A+B)+C=A+(B+C)(A+B)+C=A+(B+C)(A+B)+C=A+(B+C)

定理1.1.1

矩阵的乘积服从下面的运算法则：

乘法结合律：若A∈Cm×n,B∈Cn×p,C∈Cp×qA\in C^{m\times n},B\in C^{n\times p},C\in C^{p\times q}A∈Cm×n,B∈Cn×p,C∈Cp×q，则A(BC)=(AB)CA(BC)=(AB)CA(BC)=(AB)C
乘法左分配律：若AAA和BBB是两个m×nm\times nm×n矩阵，且CCC是一个n×pn\times pn×p矩阵，则(A+B)C=AC+BC(A+B)C=AC+BC(A+B)C=AC+BC
乘法右分配律：若AAA是一个m×nm\times nm×n矩阵，且BBB和CCC是两个n×pn\times pn×p矩阵，则A(B+C)=AB+ACA(B+C)=AB+ACA(B+C)=AB+AC
若α\alphaα是一个标量，并且AAA和BBB是两个m×nm\times nm×n矩阵，则α(A+B)=αA+αB\alpha(A+B)=\alpha A+\alpha Bα(A+B)=αA+αB

一般来说，矩阵的乘法不满足交换律，即AB≠BAAB\ne BAAB=BA

矩阵的逆矩阵

令向量 x=[x1,x2,…,xn]Tx=[x_1,x_2,\dots,x_n]^Tx=[x1,x2,…,xn]T 和 y=[y1,y2,…,yn]Ty=[y_1,y_2,\dots,y_n]^Ty=[y1,y2,…,yn]T ，矩阵与向量的乘积 Ax=yAx=yAx=y 可视为向量 xxx 的线性变换结果。此时，n×nn\times nn×n 矩阵 AAA 称为线性变换矩阵。若向量 yyy 到 xxx 的线性变换 A−1A^{-1}A−1 存在，则：

x=A−1y(1.1.14)x=A^{-1}y\quad\quad\quad\quad\quad\quad(1.1.14)x=A−1y(1.1.14)

这一方程可视为在原线性变换Ax=yAx=yAx=y两边左乘A−1A^{-1}A−1之后得到的结果 A−1Ax=A−1yA^{-1}Ax=A^{-1}yA−1Ax=A−1y 。因此，线性逆变换 A−1A^{-1}A−1 应该满足 A−1A=IA^{-1}A=IA−1A=I 的关系。另一方面，x=A−1yx=A^{-1}yx=A−1y 也是可逆的，即两边左乘AAA后得到的Ax=AA−1yAx=AA^{-1}yAx=AA−1y应该与原线性变换Ax=yAx=yAx=y一致，故A−1A^{-1}A−1还应该满足AA−1=IAA^{-1}=IAA−1=I。

综合以上讨论，可以得到逆矩阵的定义如下：

定义1.1.6

令 AAA 是一个 n×nn\times nn×n 矩阵。如果可以找到一个 n×nn\times nn×n 矩阵 A−1A^{-1}A−1 满足 AA−1=A−1A=IAA^{-1}=A^{-1}A=IAA−1=A−1A=I，则称矩阵 AAA 可逆，并称 A−1A^{-1}A−1 是矩阵 AAA 的逆矩阵。

转置矩阵

下面是共轭、转置、共轭转置和逆矩阵的性质：

矩阵的共轭、转置和共轭转置满足分配律：
(A+B)∗=A∗+B∗(A+B)T=AT+BT(A+B)H=AH+BH(A+B)^*=A^*+B^*\\(A+B)^T=A^T+B^T\\(A+B)^H=A^H+B^H(A+B)∗=A∗+B∗(A+B)T=AT+BT(A+B)H=AH+BH
矩阵乘积的转置、共轭转置和逆矩阵满足关系式：
(AB)T=BTAT(AB)H+BHAH(AB)−1=B−1A−1（这里需要A，B为可逆的正方矩阵）(AB)^T=B^TA^T\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\\(AB)^H+B^HA^H\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\\(AB)^{-1}=B^{-1}A^{-1}（这里需要A，B为可逆的正方矩阵）(AB)T=BTAT(AB)H+BHAH(AB)−1=B−1A−1（这里需要A，B为可逆的正方矩阵）
共轭、转置和共轭转置等符号均可与求逆符号交换，即有：
(A∗)−1=(A−1),(AT)−1=(A−1)T,(AH)−1=(A−1)H(A^*)^{-1}=(A^{-1}),\quad (A^T)^{-1}=(A^{-1})^T,\quad (A^H)^{-1}=(A^{-1})^H(A∗)−1=(A−1),(AT)−1=(A−1)T,(AH)−1=(A−1)H
对于任意矩阵AAA，矩阵B=AHAB=A^HAB=AHA都是Hermitian矩阵。若AAA可逆，则对于Hermitian矩阵B=AHAB=A^HAB=AHA，有A−HBA−1=A−HAHAA−1=IA^{-H}BA^{-1}=A^{-H}A^HAA^{-1}=IA−HBA−1=A−HAHAA−1=I

在一些应用中，常常涉及一个n×nn\times nn×n矩阵AAA与它自身的乘积，从中可以引出两个重要的概念。

定义1.1.7

矩阵An×nA_{n\times n}An×n称为幂等矩阵 (idempotent matrix），若A2=AA=AA^2=AA=AA2=AA=A

定义1.1.8

矩阵An×nA_{n\times n}An×n称为对合矩阵（involuntory matrix），若A2=AA=IA^2=AA=IA2=AA=I

与矩阵乘积密切相关的运算是两个矩阵之间的内积。

令 A∈Cm×nA\in C^{m\times n}A∈Cm×n 和 B∈Cm×pB\in C^{m\times p}B∈Cm×p 为复矩阵。矩阵 AAA 和 BBB 的内积记作 ⟨A,B⟩\langle A,B\rangle⟨A,B⟩ ，定义为：

⟨A,B⟩=AHB(1.1.15)\langle A,B\rangle=A^HB\quad\quad\quad\quad\quad\quad\quad(1.1.15)⟨A,B⟩=AHB(1.1.15)

1.3 向量的线性无关与非奇异矩阵

考查式 (1.1.1) 描述的 m×nm\times nm×n 线性方程组，它可写成矩阵方程 Ax=bAx=bAx=b 。若记 A=[a1,a2,…,an]A=[a_1,a_2,\dots,a_n]A=[a1,a2,…,an] ，则式(1.1.1)的m个方程可以合并写成标量与向量乘积之和：

a1x1+a2x2+⋯+anxn=ba_1x_1+a_2x_2+\cdots+a_nx_n=ba1x1+a2x2+⋯+anxn=b

这称为列向量a1,a2,…,ana_1,a_2,\dots,a_na1,a2,…,an的线性组合（理解上面这个式子，比较重要）。

定义1.1.9

向量的线性无关可以准确地描述什么样的n×nn\times nn×n线性方程组Ax=bAx=bAx=b具有唯一的非零解xxx。

定义1.1.10

一个n×nn\times nn×n矩阵AAA是非奇异的，当且仅当矩阵方程Ax=0Ax=0Ax=0只有零解x=0x=0x=0。若AAA不是非奇异的，则称AAA奇异。

由于线性方程组Ax=0Ax=0Ax=0等价为：

a1x1+a2x2+⋯+anxn=0a_1x_1+a_2x_2+\dots+a_nx_n=0a1x1+a2x2+⋯+anxn=0

式中，A=[a1,a2,…,an]A=[a_1,a_2,\dots,a_n]A=[a1,a2,…,an]。由定义1.1.10立即可以得出结论：当且仅当矩阵AAA的列向量a1,a2,…,ana_1,a_2,\dots,a_na1,a2,…,an线性无关时，矩阵方程Ax=0Ax=0Ax=0只有零解x=0x=0x=0，即矩阵AAA是非奇异的。由于这一结果的重要性，现在用定理进行描述。

定理1.1.2

n×nn\times nn×n矩阵A=[a1,a2,…,an]A=[a_1,a_2,\dots,a_n]A=[a1,a2,…,an]是非奇异的，当且仅当它的nnn个列向量a1,a2,…,ana_1,a_2,\dots,a_na1,a2,…,an线性无关。

1.4 初等行变换与阶梯型矩阵

定义1.1.13[240]1.1.13^{[240]}1.1.13[240]

一个阶梯型矩阵称为简约阶梯型（reduced echelon form），若每一非零行的首项元素等于1（即为首一元素），并且没有给首一元素也是它所在列唯一的非零元素。

1.5 基于初等行变换的矩阵方程求解