机器学习笔记（3）：线性代数回顾

1）Matrices and vectors

2）Addition and scalar multiplication

3）Matrix-vector multiplication

4）Matrix-matrix multiplication

5）Matrix multiplication properties

6）Inverse and transpose

为了实现机器学习算法，我们需要掌握一些很基础的线性代数知识，真的是很基础的，这方便我们之后编写机器学习算法和处理大数据。

1）Matrices and vectors

矩阵的维数即行数x列数。下面是两个矩阵及其维数：4x2矩阵和2x3矩阵：

矩阵里的元素指第i行，j列的元素，如下图所示：

向量是一种特殊的矩阵，我们这里指的向量为列向量，只有一列。下面展示了索引从1开始和索引从0开始的向量，我们一般使用索引从1开始的向量。

2）Addition and scalar multiplication

矩阵加法：两个矩阵是同维（即行数列数一样）才可以相加，如下图：

矩阵乘以一个变量要求每个元素都要乘以这个标量：

3）Matrix-vector multiplication

首先来看矩阵乘向量的例子，这是3x2矩阵乘以向量得到3x1矩阵。

下面我们来看一下矩阵相乘的细节，最后输出的第i个元素（y(i)）等于矩阵A的第i行元素乘以向量x然后相加求和。

再看一个例子，大家可以检验一下之前的细节：

我们回顾上一章介绍的预测房价的例子，我们现在有了预测模型，有了房子尺寸，就可以预测房价了，如图所示：

4）Matrix-matrix multiplication

还是先来看个例子，可以把下面矩阵相乘的例子拆成矩阵乘以两个向量，再合并为一个矩阵

我们来看一下细节，mxn 矩阵乘以 nxo 矩阵得到 mxo 矩阵。其中矩阵C的第i列元素为矩阵A乘以矩阵B第i列元素得到。

我们来看另一个例子，验证我们的想法：

再来看看我们之前的房价例子，现在我们有三个预测模型，我们看看三个模型预测的结果：

5）Matrix multiplication properties

现在来介绍矩阵相乘的几个重要性质：矩阵相乘不满足交换律，但满足结合律，如下图所示：

单位矩阵，它是一个方阵（矩阵行数和列数相等），主对角线上元素为1，其余元素全为0，任何一个矩阵乘以单位矩阵还是它本身。

6）Inverse and transpose

矩阵的逆矩阵定义如下，存在一个矩阵和它本身相乘结果为单位阵，但并不是所有矩阵都有逆矩阵。

矩阵的转置直观上来看就是矩阵的行变为列，列变为行。

我们重点掌握的就是矩阵的基本性质及矩阵之间的乘法。