阅读本文需要的知识储备：

• 高等数学

• 概率论与数理统计

• Python基础

线性回归，其实生活中有很多这样的例子，比如：票价与行车距离、服务质量之间的关系，买房时房价与面积、地域等的关系。给我们一组这样的数据，我们想找出一个数学关系来描述这个问题，从而得到自己想要的结论。那么，怎么样才能使得你确定出的关系是一个好的线性关系呢。最著名的当数最小二乘法了，很多人都知道。

最小二乘法原理

众所周知，最小二乘法原理就是利用，拟合直线上面的因变量值与实际值的残差平方和最小作为优化目标。从而确定出我们需要找出的的系数。给定一组数据X = (X1,X2,...,Xn)，Y = (Y1,Y2,...,Yn)，一般方法通过画散点图观察我们发现，X、Y之间有可能存在很强的线性关系，当然也可能有其它关系(更高次也是有可能的)。我们的任务就是，通过线性拟合找到合适的线性系数，能最好反应X、Y之间的相关关系。

假设线性方程为：

这里的eps就是指的实际值与直线拟合值的残差，它们肯定会有差值的，一般而言。

目标函数就是因变量值与实际值的残差平方和，定义如下：

其中，红色Yi表示实际给定的数据，蓝色表达式表示根据拟合直线表达式计算的近似代替值，我们的目标是使其达到最小。

数学分析(工科会学高等数学)告诉我们：这是一个二元函数，我们需要找到其极小值点(alpha,beta)；可以对目标函数关于alpha,beta分别求偏导数，偏导数如果有零点，这个零点两边函数值为正负，必然存在一个驻点对应目标函数值先下降后增长)。那么，这个点就是我们要求的最优极小值点对应线性拟合系数alpha,beta。

求偏导函数如下：

求偏导数函数零点，理论上可以求出，alpha，beta的值。大家不喜欢公式，我也不喜欢编辑公式(编辑好麻烦)，虽然我比较喜欢公式。我觉得实际问题被抽象成数学模型去刻画才是最美的。

经过细心的计算，大家可以算出：

只要算出了beta，利用回归直线过点(x_bar,y_bar)，X，Y平均值点，算出alpha即可。

编程实现

Win10环境下用Python3.写的实现程序。

(1)、用的数据：由于暂时没有数据生成线性数据，然后加的噪声；

(2)、用到的函数：

向量内积(点乘)函数、平均值、协方差

(3)、代码如下：

 1#向量内积函数 2def dot(m,n): 3   return(sum(m_i*n_i for m_i,n_i in zip(m,n))) 4#平均值函数 5def mean(x): 6   return(sum(x)/len(x)) 7#计算协方差 8####-----要计算一个序列方差只需covariance(x,x)即可---#### 9def de_mean(x):10   x_bar = mean(x)11   return([x_i-x_bar for x_i in x])12def covariance(x,y):13   return(dot(de_mean(x),de_mean(y))/(len(x)-1))14#计算相关系数15import math16def correlation(x,y):17   s_x = math.sqrt(covariance(x,x))18   s_y = math.sqrt(covariance(y,y))19   return(covariance(x,y)/(s_x*s_y))20#-----------------【最小二乘法】线性回归系数求法--------------21def line_coef(x,y):22   s1 = covariance(x,x)*(len(x)-1)23   s2 = dot(y,de_mean(x))24   beta = s2/s125   alpha = mean(y)-beta*mean(x)26   return(alpha,beta)27#*********实验************28#由于暂时没有实验数据，这里生成【随机干扰】数据29import random as rdm30#from numpy import *31def ran(a1,a2,x):32   return([a1+a2*x_i+2.5*rdm.random() for x_i in x])33a1 = 1.534a2 = 2.535x = range(20)36y = ran(a1,a2,x)37#线性拟合38alpha,beta = line_coef(x,y)39print('*------------最小二乘法-------------*')40print('系数为：',alpha,beta)41#可视化42import matplotlib.pyplot as plt43#开一个【2x2】的图像窗口44#plt.subplot(221)45plt.figure(1)46plt.scatter(x,y,marker = '*',color = 'b')47plt.xlabel('x label')48plt.ylabel('y label')49plt.title('Linear Fit')50#拟合直线51plt.plot(x,[alpha+beta*x_i for x_i in x],color = 'orange')52#plt.subplot(222)53plt.show()54#误差分析55#-----主要考察:(1)误差平方和;(2)R方(越大拟合得越好)56def err(alpha,beta,x,y): #返回每个实际y值与拟合值差向量57   return([y_i-(alpha+beta*x_i) for x_i,y_i in zip(x,y)])58def error_total(alpha,beta,x,y):59   y1 = err(alpha,beta,x,y)60   return(dot(y1,y1))61print('误差为：',error_total(alpha,beta,x,y))62#计算R方6364def r_square(alpha,beta,x,y):65   return(1-error_total(alpha,beta,x,y)/covariance(y,y))66R_square = r_square(alpha,beta,x,y)67print('R方：',R_square)68if(R_square>0.95):69   print('在0.05置信水平下，该线性拟合不错!')70else:71   print('在0.05置信水平下，该线性拟合效果不佳!')

(4)、结果

*------最小二乘法---------*

系数为： 2.6786542252575067 2.538861110659364

误差为： 6.8591175428159215

R方： 0.9696451619135048

在0.05置信水平下，该线性拟合不错!

拟合图如下

结果分析

可以看出我定义的线性方程系数a1 = 1.5，a2 = 2.5，大约就是Y = 1.5+2.5X，最终结果是Y = 2.6786542252575067+2.538861110659364X，因为中间增加了2.5倍的噪声，使得alpha从1.5—>2.68。当然了，这只是我们的感觉，线性拟合效果怎么样，还得看官方标准。

这里用R方(值越大拟合得越好)。

R方： 0.9696451619135048

在0.05置信水平下，该线性拟合不错!

基于最小二乘法的——线性回归拟合就到这里，下一篇我会用梯度下降解决这个问题，然后会画图做比较，所以我把源码放在一起了，可以直接运行的。

欢迎留言，觉得不错，记得点赞分享哦！

猜你可能喜欢

R语言(绘图入门)

多元线性回归、逐步回归、逻辑回归的总结

K-Means算法、非负矩阵分解(NMF)与图像压缩

Python系列之——好用的Python开发工具