【数学基础】一份非常适合人工智能学习的线性代数基础材料中文版（国内教材精华）...

机器学习，需要一定的数学基础，需要掌握的数学基础知识特别多，如果从头到尾开始学，估计大部分人来不及，我建议先学习最基础的数学知识，基础知识可以分为高等数学、线性代数、概率论与数理统计三部分，我整理了相关数学基础资料：

源文件下载：

https://github.com/fengdu78/Data-Science-Notes/tree/master/0.math

内容简介

一、斯坦福大学CS229数学基础

这是斯坦福大学 CS 229 机器学习课程的基础材料，是斯坦福各大人工智能课程的数学基础，对人工智能课程做了优化，强烈推荐！！

我们对原始教程进行了翻译，翻译版本做成了在线阅读版本。

（点击查看：1.线性代数，2.概率论）

二、国内大学的数学基础教材精华

这个是我考研考博时候整理的中文教材的资料，分为高等数学、线性代数、概率论与数理统计三部分，我把和机器学习相关的数学知识进行了整理，进行公布。

本文是线性代数部分，建议收藏慢慢看。

行列式

1.行列式按行（列）展开定理

(1) 设

，则：

或即

其中：

(2) 设

为

阶方阵，则

，但

不一定成立。

(3)

为

阶方阵。

(4) 设

为

阶方阵，

（若

可逆），

(5) ，

为方阵，但

。

(6) 范德蒙行列式

设

是

阶方阵，

是

的

个特征值，则

矩阵

矩阵：

个数

排成

行

列的表格

称为矩阵，简记为

，或者

。若

，则称

是

阶矩阵或

阶方阵。

矩阵的线性运算

1.矩阵的加法

设

是两个

矩阵，则

矩阵

称为矩阵

与

的和，记为

。

2.矩阵的数乘

设

是

矩阵，

是一个常数，则

矩阵

称为数

与矩阵

的数乘，记为

。

3.矩阵的乘法

设

是

矩阵，

是

矩阵，那么

矩阵

，其中

称为

的乘积，记为

。

、

三者之间的关系

(1)

(2)

但

不一定成立。

(3)

，

但

不一定成立。

(4)

5.有关

的结论

(1)

(2)

(3) 若

可逆，则

(4) 若

为

阶方阵，则：

6.有关

的结论

可逆

可以表示为初等矩阵的乘积；

。

7.有关矩阵秩的结论

(1) 秩

=行秩=列秩；

(2)

(3)

；

(4)

(5) 初等变换不改变矩阵的秩

(6) 特别若

则：

(7) 若

存在

若

存在

若

。

(8)

只有零解

8.分块求逆公式

；

这里

，

均为可逆方阵。

向量

1.有关向量组的线性表示

(1)

线性相关

至少有一个向量可以用其余向量线性表示。

(2)

线性无关，

，

线性相关

可以由

唯一线性表示。

(3)

可以由

线性表示

。

2.有关向量组的线性相关性

(1)部分相关，整体相关；整体无关，部分无关.

(2) ①

个

维向量

线性无关

，

个

维向量

线性相关

。

②

个

维向量线性相关。

③ 若

线性无关，则添加分量后仍线性无关；或一组向量线性相关，去掉某些分量后仍线性相关。

3.有关向量组的线性表示

(1)

线性相关

至少有一个向量可以用其余向量线性表示。

(2)

线性无关，

，

线性相关

可以由

唯一线性表示。

(3)

可以由

线性表示

4.向量组的秩与矩阵的秩之间的关系

设

，则

的秩

与

的行列向量组的线性相关性关系为：

(1) 若

，则

的行向量组线性无关。

(2) 若

，则

的行向量组线性相关。

(3) 若

，则

的列向量组线性无关。

(4) 若

，则

的列向量组线性相关。

维向量空间的基变换公式及过渡矩阵

若

与

是向量空间

的两组基，则基变换公式为：

其中

是可逆矩阵，称为由基

到基

的过渡矩阵。

6.坐标变换公式

若向量

在基

与基

的坐标分别是

，

即：

，则向量坐标变换公式为

或

，其中

是从基

到基

的过渡矩阵。

7.向量的内积

8.Schmidt 正交化

若

线性无关，则可构造

使其两两正交，且

仅是

的线性组合

，再把

单位化，记

，则

是规范正交向量组。其中

，

............

9.正交基及规范正交基

向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量，就称其为规范正交基。

线性方程组

1．克莱姆法则

线性方程组，如果系数行列式

，则方程组有唯一解，

，其中

是把

中第

列元素换成方程组右端的常数列所得的行列式。

阶矩阵

可逆

只有零解。

总有唯一解，一般地，

只有零解。

3.非奇次线性方程组有解的充分必要条件，线性方程组解的性质和解的结构

(1) 设

为

矩阵，若

，则对

而言必有

，从而

有解。

(2) 设

为

的解，则

当

时仍为

的解；但当

时，则为

的解。特别

为

的解；

为

的解。

(3) 非齐次线性方程组

无解

不能由

的列向量

线性表示。

4.奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解

(1) 齐次方程组

恒有解(必有零解)。当有非零解时，由于解向量的任意线性组合仍是该齐次方程组的解向量，因此

的全体解向量构成一个向量空间，称为该方程组的解空间，解空间的维数是

，解空间的一组基称为齐次方程组的基础解系。

(2)

是

的基础解系，即：

是

的解；
线性无关；
的任一解都可以由

线性表出.

是

的通解，其中

是任意常数。

矩阵的特征值和特征向量

1.矩阵的特征值和特征向量的概念及性质

(1) 设

是

的一个特征值，则

有一个特征值分别为

且对应特征向量相同（

例外）。

(2)若

为

的

个特征值，则

,从而

没有特征值。

(3)设

为

的

个特征值，对应特征向量为

，

若:

则: 。

2.相似变换、相似矩阵的概念及性质

(1) 若

，则

，对

成立

3.矩阵可相似对角化的充分必要条件

(1)设

为

阶方阵，则

可对角化

对每个

重根特征值

，有

(2) 设

可对角化，则由

有

，从而

(3) 重要结论

若

，则

.
若

，则

，其中

为关于

阶方阵

的多项式。
若

为可对角化矩阵，则其非零特征值的个数(重根重复计算)＝秩(

)

4.实对称矩阵的特征值、特征向量及相似对角阵

(1)相似矩阵：设

为两个

阶方阵，如果存在一个可逆矩阵

，使得

成立，则称矩阵

与

相似，记为

。

(2)相似矩阵的性质：如果

则有：

（若

，

均可逆）
（

为正整数）
λ

λ

，从而

有相同的特征值
，从而

同时可逆或者不可逆
秩

秩

λ

λ

，

不一定相似

二次型

个变量

的二次齐次函数

，其中

，称为

元二次型，简称二次型. 若令

,这二次型

可改写成矩阵向量形式

。其中

称为二次型矩阵，因为

，所以二次型矩阵均为对称矩阵，且二次型与对称矩阵一一对应，并把矩阵

的秩称为二次型的秩。

2.惯性定理，二次型的标准形和规范形

(1) 惯性定理

对于任一二次型，不论选取怎样的合同变换使它化为仅含平方项的标准型，其正负惯性指数与所选变换无关，这就是所谓的惯性定理。

(2) 标准形

二次型

经过合同变换

化为

称为

的标准形。在一般的数域内，二次型的标准形不是唯一的，与所作的合同变换有关，但系数不为零的平方项的个数由

唯一确定。

(3) 规范形

任一实二次型

都可经过合同变换化为规范形

，其中

为

的秩，

为正惯性指数，

为负惯性指数，且规范型唯一。

3.用正交变换和配方法化二次型为标准形，二次型及其矩阵的正定性

设

正定

正定；

可逆；

，且

，

正定

正定，但

，

不一定正定

正定

的各阶顺序主子式全大于零

的所有特征值大于零

的正惯性指数为

存在可逆阵

使

存在正交矩阵

，使

其中

正定

正定；

可逆；

，且

。

本文首发于“机器学习初学者”公众号