前言：花了一个半月时间学习了 北大丘维声的《高等代数》、北理史荣昌的《矩阵分析》、清华张贤达的《矩阵分析与应用》；北大与哈工大的网课。

本质：（万物皆矩阵）矩阵论主要研究矩阵，对于图像、神经网络等可表示成矩阵形式，然后结果矩阵的处理方法，对其进行操作，例如分解，基本运算等。

一、矩阵（矩阵表示单个事物）

1.1矩阵的基本运算

基本运算：加法；数乘；矩阵乘法；转置；內积；外积

拓展运算：直和；Hadamard积（Schur积）；Kronecker积（直积）；Khatri-Rao积（对应列Kronecker积）

注：向量之间的外积可由Kronecker积表示；Khatri-Rao积由两个列数相同的矩阵 对应列Kronecker积构成

矩阵结构运算：向量化（列向量化vec（A），行向量化revec（A）），矩阵化（分行向量矩阵化与列向量矩阵化）

1.2矩阵的性能指标

（实对称矩阵或Hermite矩阵）二次型：

（方阵）行列式：刻画矩阵的奇异性；等于特征值之积

（方阵）特征值：1、刻画矩阵的奇异性（是否存在0特征值） 2、刻画矩阵的正定性 3、刻画对角元素之和

注：上，下三角矩阵的特征值等于主对角元素；实对称矩阵不同特征值对应的特征向量是正交的。

（方阵）迹：等于特征值之和

秩：刻画矩阵的奇异性，行秩等于列秩（对于张量不一定成立）

奇异值：

1.3矩阵的度量（内积与范数）

向量：（常采用典范內积

）

注：L2范数常称Euclidean范数或者Frobenius范数

矩阵：

矩阵內积：

矩阵范数:诱导范数、元素形式范数、Schatten范数

（1）诱导范数定义：

注：常用的诱导范数为p-范数

矩阵的谱范数）对应矩阵A的最大奇异值；诱导L

（2）“元素形式”范数：

注：当p=2时的范数称为L2范数，Euclidean范数，Frobenius范数

（3）Schatten范数（用矩阵奇异值定义的范数）

1.4 逆矩阵

（1）正方满秩矩阵的逆矩阵

（2）非正方满（行或列）秩的伪逆矩阵

左逆矩阵

右逆矩阵

注：左伪逆矩阵与超定方程的最小二乘解有关，右伪逆矩阵与欠定方程的最小二乘解有关

（3）非正方秩亏损的伪逆矩阵（Moore-Penrose逆矩阵，广义逆矩阵）

满足以下4个条件的矩阵，称为Moore-Penrose逆矩阵

1.5 特殊矩阵

（1）（方阵）实对称矩阵与复共轭对称矩阵(Hermite矩阵)

（2）（方阵）实正交矩阵与酉矩阵（复数域）

注：酉矩阵的列或者行向量皆为标准正交基；酉矩阵对应的酉变换保內积，保长度

（3）（方阵）正规矩阵

注：对称矩阵hermite矩阵，正交矩阵，酉矩阵皆为正规矩阵。

（4）置换矩阵：每一行每一列有且仅有一个非零元素1。（等于初等矩阵的乘积，左乘A表示行变换，右乘A表示列变换，）

注：置换矩阵的三种特殊情况：交换矩阵，互换矩阵，位移矩阵

（5）带型矩阵（三角矩阵为带型矩阵的特例）除主对角线上下几条斜线以外元素皆为0

（6）求和向量与中心化矩阵（数理统计中常用）

求和向量(元素全为1)：n个标量的求和可表示为求和向量与另一向量的內积

中心化矩阵：

注：

Cnx向量內积等于C的二次型，等于样本数据的协方差

（7）Vandermonde矩阵，Fourier矩阵，Hadmard矩阵（信号处理中常用）

1.6 常数、函数、随机矩阵

注：矩阵元素可为常数、函数、随机变量

函数矩阵的极限、导数、积分等于对应元素求极限、导数、积分；其余与常数矩阵类似

1.7 矩阵函数

（1）利用矩阵幂级数定义矩阵函数（北理数用解析定义）

（2）常见矩阵函数（类似利用一元多项式环的通用性质直接得到，与常见函数的泰勒展开式一致）

（3）矩阵函数值的计算

由该定理，我们可以实现降次的目的。

（4）矩阵函数微分（其中矩阵函数值根据f(X)中f的不同，最终结果可为标量、向量、矩阵）（梯度矩阵与Hessian矩阵最优化问题中常用）

1、以实矩阵为变元的实函数（梯度矩阵等于Jacobian矩阵的转置）

注1：Jacobian矩阵为按行向量形式定义的偏导矩阵，梯度矩阵（最优化问题中常见）为按列向量形式定义的偏导矩阵；Jacobian矩阵也有称协(同)梯度矩阵

注2：一阶实矩阵微分是辨识实矩阵函数的梯度矩阵、Jacobian矩阵的有效数学工具；（即可通过对矩阵函数求一阶微分的结果中直接得到梯度矩阵与Jacobian矩阵，具体表示式见张贤达书第三章）

注3：二阶实矩阵微分是辨识实矩阵函数的Hessian矩阵(二阶偏导矩阵)的有效数学工具；（即可通过对矩阵函数求二阶微分的结果中直接得到实函数的Hessian矩阵，具体表示式见张贤达书第三章）

2、以复矩阵为变元的实函数（梯度矩阵等于Jacobian矩阵的转置，会得到梯度&共轭梯度）注：一阶复矩阵微分可以标识梯度矩阵与共轭梯度矩阵，Jacobian矩阵与共轭Jacobian矩阵；二阶复矩阵微分可以标识复Hessian矩阵

二、代数系统（矩阵表示两系统之间的关系）

2.1 代数系统（线性空间、环、域）

线性空间：定义了加法与数乘，满足8条

环：定义了加法与乘法，满足6条，乘法需要满足结合律与左右分配律

注：乘法满足交换律的环称为交换环，乘法中含有单位元的环称为有单位元的环

举例：一元多项式环，n元多项式环，整数集

域：含有单位元的交换环，并且其中每个非零元都是可逆元

举例：数域

2.2 线性映射（描述两个线性空间的映射问题）

1、线性映射的矩阵表达式

线性变换矩阵：

线性映射矩阵：

注：已知向量a在

2、线性变换的Jordan标准型(方阵，矩阵相似的“最简形式”)

证明思路：基于不变子空间可将矩阵块三角化与块对角化，即P1与P2皆为方阵的不变子空间，则实现矩阵的块对角化。若引入一维不变子空间，即特征向量作为P的列向量，当存在n个线性无关的特征向量（表示满足P可逆），则实现矩阵的对角化。

最终得到最重要的Jordan标准性：

3、特殊的线性变换

注：一个方阵对应与一个线性变换，具有特殊性质的矩阵对应的线性变换，同样具有某些特性

(1)酉变换、正交变换（保内积，保长度），属于保距同构映射

注：酉矩阵一定酉相似于对角矩阵，其主对角元素为模为1的复数（因为酉矩阵特征值的模等于1）；正交变换正交相似于分块对角矩阵

(2)Hermite变换、对称变换

注：实对称矩阵一定能正交相似于对角矩阵，n级Hermite矩阵一定能酉相似于对角矩阵

(3)正交投影

注：若P即为幂等矩阵又为Hermite矩阵，即可作为一投影算子。I-P则为正交投影算子（往垂线方向投影）

2.3 具有度量的线性空间（內积空间、赋范空间、Hilbert空间）

內积空间：只要规定了一个內积(正定的对称双线性函数)的线性空间皆可称为內积空间

注1：有限维实內积空间称为欧几里得空间，简称欧式空间；有限维复內积空间称为酉空间，

注2：（正定性二者皆满足）复內积与实內积的区别：1、复內积满足共轭对称性，实內积满足对称性；2、实內积对两个变量都是线性的，复內积对于一个变量线性，对另一个共轭线性

赋范空间：定义了范数的空间，可度量向量长度、距离、领域

注：定义了L2范数的赋范空间称为Eculidean空间

完备赋范空间：（完备性）

1、Banach空间：每一个Cauchy序列极限都存在于空间中

2、Hibert空间：每一个Cauchy序列的范数的极限都存在于空间中

3、一个有限维的赋范空间一定是Banach空间，自动满足Cauchy序列极限收敛的条件