线性回归（一元、多元）

一元线性回归

在一元线性回归中，输入只有一个特征。现有输入特征为 x，需要预测的目标特征为y ，一元线性回归模型为

y=w1x+w0y=w_1x+w_0y=w1x+w0

其中w1,w0w1,w0w1,w0为参数，模型预测值为y^i=w1xi+w0\hat{y}_i = w_1x_i+w_0y^i=w1xi+w0。真实值与预测值的差称为残差，记为εi=yi−y^i\varepsilon_i = y_i - \hat{y}_iεi=yi−y^i。

如果我们拥有一个包含多个训练样本的训练集(x1,y1),...,(xn,yn)(x_1, y_1), ..., (x_n, y_n)(x1,y1),...,(xn,yn)，我们的目标是找到一条直线 y=w1x+w0y=w_1x+w_0y=w1x+w0使得所有样本点尽可能落在它的附近，即寻找最优的参数。

这个目标可以通过最小化残差平方和(Residual Sum of Squares，RSS) ε2\varepsilon^2ε2实现。即最优参数(w^1,w^0)=argminw0,w1∑i=1n(yi−w1xi−w0)2(\hat{w}_1, \hat{w}_0)=\underset{{w_0,w_1}}{{\rm argmin}} { \sum_{i=1}^{n}(y_i-w_1x_i-w_0)^2}(w^1,w^0)=w0,w1argmini=1∑n(yi−w1xi−w0)2以上关于的无约束二次优化问题，其解析解是容易得到的。目标函数分别对w0w0w0和 w1w1w1求导并令导数等于0，就可以得到最优解为:

w^1=∑i=1nxiyi−nxˉyˉ∑i=1nxi2−n(xˉ)2,w^0=yˉ−w^1xˉ\hat{w}_1 = \frac{\sum\limits_{i=1}^n x_i y_i - n \bar{x} \bar{y}}{\sum\limits_{i=1}^n x_i^2 - n (\bar{x})^2}, \quad \hat{w}_0 = \bar{y} - \hat{w}_1 \bar{x}w^1=i=1∑nxi2−n(xˉ)2i=1∑nxiyi−nxˉyˉ,w^0=yˉ−w^1xˉ

这个方法叫做普通最小二乘法(Ordinary Least Square, OLS)。直观上，这个算法给出了描述 x,y两个特征线性关系的最优近似。

多元线性回归

当输入特征的维度由一维增加到d维(d>1)，即被称为多元线性回归。
这时候的输入由一个一维向量变为一个n×dn\times dn×d的矩阵X\mathbf{X}X ，每一行是每一个样本所有特征的数值向量，而目标特征仍然为列向量y^=(y1,y2,…,yn)T\hat{\boldsymbol{y}}=(y_1,y_2,\ldots,y_n)^\text{T}y^=(y1,y2,…,yn)T。则多元线性模型为：
y^=Xw\hat{\boldsymbol{y}} = \mathbf{X}\boldsymbol{w}y^=Xw
其中的列向量w=(w1,w2,…,wd)T\boldsymbol{w} = (w_1, w_2, \ldots, w_d)^\text{T}w=(w1,w2,…,wd)T为模型参数。

再将截距考虑进去，则参数向量为w=(w1,w2,…,wd,w0)T\boldsymbol{w} = (w_1, w_2, \ldots, w_d,w_0)^\text{T}w=(w1,w2,…,wd,w0)T ，每一个样本特征的数值向量为x=(x1,x2,…,xd,1)\boldsymbol{x}=(x_1,x_2,\ldots,x_d,1)x=(x1,x2,…,xd,1) ，整个数据矩阵将变成n×(d+1)n\times (d+1)n×(d+1)维，且最后一列取值为1。则多元线性回归
的目标函数为残差平方和
RSS(w)=∥y−y^∥22=∥y−Xw∥22\text{RSS}(\boldsymbol{w}) = \Vert \boldsymbol{y} - \hat{\boldsymbol{y}} \Vert_2^2 = \Vert \boldsymbol{y} - \mathbf{X} \boldsymbol{w} \Vert_2^2RSS(w)=∥y−y^∥22=∥y−Xw∥22
通过目标函数对www求导并令导数等于零，我们可以得到最小化问题的解为
w^=(XTX)−1XTy\hat{\boldsymbol{w}} = (\mathbf{X}^{\text{T}} \mathbf{X})^{-1}\mathbf{X}^{\text{T}} \boldsymbol{y}w^=(XTX)−1XTy

这就是著名的法方程(Normal Equation)。

但是得到该解有一个非常强的条件，需要满足 (XTX)−1(\mathbf{X}^{\text{T}} \mathbf{X})^{-1}(XTX)−1存在，即(XTX)(\mathbf{X}^{\text{T}} \mathbf{X})(XTX)满秩或是正定矩阵。如果特征数大于样本数目n，则(XTX)(\mathbf{X}^{\text{T}} \mathbf{X})(XTX)显然不满秩，此时可以得到多个满足条件的解www，比如在图像处理时，特征数（图片中的每一个像素为一个特征）通常远大于图片数目，这时就需要用到后面提到的正则化方法或者降维方法。

要在程序中实现多元线性回归，我们需要借助Numpy中的矩阵方法和线性代数(linear algebra)库 linalg 。要判断矩阵是否有逆，我们可以首先调用 linalg.det() 计算其行列式，若行列式为零，则矩阵无法计算其逆矩阵，只有在行列式不为零时，我们才可以计算逆矩阵并得到最优参数值。

另外，在Numpy的线性代数库中还提供了一个函数 linalg.solve() 来求解未知矩阵。比如求解下列二元一次方程组：