用人话讲明白线性回归LinearRegression

文章目录

1.什么是回归
2.一元线性回归
3.损失函数
4.最小二乘估计
5.小结

1.什么是回归

当我们学习一门新课程、接触一个新专业时，总会对该领域的专有名词感到困惑，甚至看完解释仍难以理解其含义。在我们一起学习machine learning的过程中，我会尽量对相关名词用“人话”做一遍解释，以减少学习的“痛苦感”。

譬如今天要学的线性“回归”，这个回归（regression）和我们平时说的“回归祖国”的回归（return）是两个含义完全不同的词，它有“倒推”的含义在里面。我们学习的时候一定要抛开现有的认知，这样才能对新知识有更高的接受度。

那么，这个回归究竟是什么意思呢？其实回归算法是相对分类算法而言的，与我们想要预测的目标变量y的值类型有关。如果目标变量y是分类型变量，如预测用户的性别（男、女），预测月季花的颜色（红、白、黄……），预测是否患有肺癌（是、否），那我们就需要用分类算法去拟合训练数据并做出预测；如果y是连续型变量，如预测用户的收入（4千，2万，10万……），预测员工的通勤距离（500m，1km，2万里……），预测患肺癌的概率（1%，50%，99%……），我们则需要用回归模型。

聪明的你一定会发现，有时分类问题也可以转化为回归问题，例如刚刚举例的肺癌预测，我们可以用回归模型先预测出患肺癌的概率，然后再给定一个阈值，例如50%，概率值在50%以下的人划为没有肺癌，50%以上则认为患有肺癌。

这种分类型问题的回归算法预测，最常用的就是逻辑回归，后面我们会讲到。

2.一元线性回归

线性回归可以说是用法非常简单、用处非常广泛、含义也非常容易理解的一类算法，作为机器学习的入门算法非常合适。我们上中学的时候，都学过二元一次方程，我们将y作为因变量，x作为自变量，得到方程：
y=β0+β1xy=\beta_{0}+\beta_{1}x y=β0+β1x

当给定参数β0\beta_{0}β0和β1\beta_{1}β1的时候，画在坐标图内是一条直线（这就是“线性”的含义）。

当我们只用一个x来预测y，就是一元线性回归，也就是在找一个直线来拟合数据。比如，我有一组数据画出来的散点图，横坐标代表广告投入金额，纵坐标代表销售量，线性回归就是要找一条直线，并且让这条直线尽可能地拟合图中的数据点。

这里我们得到的拟合方程是y = 0.0512x + 7.1884，此时当我们获得一个新的广告投入金额后，我们就可以用这个方程预测出大概的销售量。

数学理论的世界是精确的，譬如你代入x=0就能得到唯一的y^\hat{y}y^ ，y^\hat{y}y^=7.1884（y上面加一个小帽子hat，表示这个y^\hat{y}y^不是我们真实观测到的，而是估计值）。但现实世界中的数据就像这个散点图，我们只能尽可能地在杂乱中寻找规律。用数学的模型去拟合现实的数据，这就是统计。统计不像数学那么精确，统计的世界不是非黑即白的，它有“灰色地带”，但是统计会将理论与实际间的差别表示出来，也就是“误差”。

因此，统计世界中的公式会有一个小尾巴μ\muμ，用来代表误差，即：
y=β0+β1x+μy=\beta_{0}+\beta_{1}x+\muy=β0+β1x+μ

3.损失函数

那既然是用直线拟合散点，为什么最终得到的直线是y = 0.0512x + 7.1884，而不是下图中的y = 0.0624x + 5呢？这两条线看起来都可以拟合这些数据啊？毕竟数据不是真的落在一条直线上，而是分布在直线周围，所以我们要找到一个评判标准，用于评价哪条直线才是最“合适”的。

我们先从残差说起。残差说白了就是真实值和预测值间的差值（也可以理解为差距、距离），用公式表示是：
e=y−y^e=y-\hat{y}e=y−y^

对于某个广告投入 xix_{i}xi ，我们有对应的实际销售量 yiy_{i}yi ，和预测出来的销售量 yi^\hat{y_{i}}yi^（通过将 xix_{i}xi 代入公式 y=β0+β1xy=\beta_{0}+\beta_{1}xy=β0+β1x 计算得到），计算 ei=yi−y^ie_{i}=y_{i}-\hat{y}_{i}ei=yi−y^i 的值，再将其平方（为了消除负号），对于我们数据中的每个点如此计算一遍，再将所有的 ei2e_{i}^{2}ei2 相加，就能量化出拟合的直线和实际之间的误差。

用公式表示就是：
Q=∑1n(yi−y^i)2=∑1n(yi−(β^0+β^1xi))2Q=\sum_{1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2}=\sum_{1}^{n}\left(y_{i}-\left(\hat{\beta}_{0}+\hat{\beta}_{1} x_{i}\right)\right)^{2}Q=1∑n(yi−y^i)2=1∑n(yi−(β^0+β^1xi))2

这个公式是残差平方和，即SSE（Sum of Squares for Error），在机器学习中它是回归问题中最常用的损失函数。

现在我们知道了损失函数是衡量回归模型误差的函数，也就是我们要的“直线”的评价标准。这个函数的值越小，说明直线越能拟合我们的数据。如果还是觉得难理解，我下面就举个具体的例子。

用文章开头的例子，假设我们有一组样本，建立了一个线性回归模型f(x)，其中一个样本A是这样的：公司投入了x=1000元做广告，销售量为y=60，f(x=1000)算出来是50，有-10的偏差。

样本B：x=2000，销售量为y=95，f(x=2000)=100，偏差为5。

样本C：x=3000，销售量为y=150，f(x=2000)=150，偏差为0哦，没有偏差~

要计算A、B、C的整体偏差，因为有正有负，所以做个平方，都弄成正的，然后再相加，得到总偏差，也就是平方损失，是125。

4.最小二乘估计

我们不禁会问，这个β0\beta_{0}β0和β1\beta_{1}β1的具体值究竟是怎么算出来的呢？

我们知道，两点确定一线，有两组x，y的值，就能算出来β0\beta_{0}β0和β1\beta_{1}β1。但是现在我们有很多点，且并不正好落在一条直线上，这么多点每两点都能确定一条直线，这到底要怎么确定选哪条直线呢？

当给出两条确定的线，如y = 0.0512x + 7.1884，y = 0.0624x + 5时，我们知道怎么评价这两个中哪一个更好，即用损失函数评价。那么我们试试倒推一下？

--------------------------------------我是头疼的分割线--------------------------------------

以下是我们最头疼的数据公式推导，我尽量对每个公式作解释说明。

给定一组样本观测值xix_{i}xi，yiy_{i}yi（i=1,2,…n），要求回归函数尽可能拟合这组值。普通最小二乘法给出的判断标准是：残差平方和的值达到最小。

我们再来看一下残差平方和的公式：

Q=∑1n(yi−y^i)2=∑1n(yi−(β^0+β^1xi))2Q=\sum_{1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2}=\sum_{1}^{n}\left(y_{i}-\left(\hat{\beta}_{0}+\hat{\beta}_{1} x_{i}\right)\right)^{2}Q=1∑n(yi−y^i)2=1∑n(yi−(β^0+β^1xi))2
这个公式是一个二次方程，我们知道一元二次方程差不多长下图这样：

上面公式中β^0\hat\beta_{0}β^0 和β^1\hat\beta_{1}β^1未知，有两个未知参数的二次方程，画出来是一个三维空间中的图像，类似下面：

这类函数在数学中叫做凸函数，关于什么凸函数的数学定义，可以看这篇：什么是凸函数

还记得微积分知识的话，就知道导数为0时，Q取最小值，因此我们分别对β^0\hat\beta_{0}β^0和β^1\hat\beta_{1}β^1求偏导并令其等于0：
∂Q∂β0=2∑1n(yi−β0^−β1^xi)=0\frac{\partial Q}{\partial \beta_{0}}=2\sum_{1}^{n}{(y_{i}-\hat{\beta_{0}}-\hat{\beta_{1}}x_{i})}=0∂β0∂Q=21∑n(yi−β0^−β1^xi)=0
∂Q∂β1=2∑1n(yi−β0^−β1^xi)xi=0\frac{\partial Q}{\partial \beta_{1}}=2\sum_{1}^{n}{(y_{i}-\hat{\beta_{0}}-\hat{\beta_{1}}x_{i})x_{i}}=0∂β1∂Q=21∑n(yi−β0^−β1^xi)xi=0
xix_{i}xi，yiy_{i}yi（i=1,2,…n）都是已知的，全部代入就可求得β^0\hat\beta_{0}β^0和β^1\hat\beta_{1}β^1的值啦。这就是最小二乘法，“二乘”是平方的意思。

5.小结

线性回归的定义，是利用最小二乘函数对一个或多个自变量之间关系进行建模的方法。现在我们看这个定义，是不是觉得不难理解了呢？

以上举的例子是一维的例子（x只有一个），如果有两个特征，就是二元线性回归，要拟合的就是二维空间中的一个平面。如果有多个特征，那就是多元线性回归：
y=β0+β1x1+β2x2+⋯+βpxpy={\beta}_{0}+{\beta}_{1} {x}_{\mathbf{1} }+{\beta}_{2} {x}_{2 }+\cdots+{\beta}_{p}{x}_{p}y=β0+β1x1+β2x2+⋯+βpxp

最后再提醒一点，做线性回归，不要忘了前提假设是y和x呈线性关系，如果两者不是线性关系，就要选用其他的模型啦。

本文首发于知乎：https://zhuanlan.zhihu.com/p/72513104