最小二乘法概述
线性回归示例
最小二乘法梯度下降

最小二乘法概述

对于一元线性回归模型, 假设从总体中获取了n组观察值(x1,y1)(x1,y1)(x_1,y_1),(x2,y2)(x2,y2)(x_2,y_2)，… ，(xn,yn)(xn,yn)(x_n,y_n)。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。有以下三个标准可以选择：
（1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。
（2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
（3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。

　最常用的是普通最小二乘法（ Ordinary Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。（Q为残差平方和）- 即采用平方损失函数。

　样本回归模型：
　

Yi=βˆ0+βˆ1Xi+eiYi=β^0+β^1Xi+ei

Y_i=\widehat{\beta}_0+\widehat{\beta}_1X_i+e_i

eieie_i是样本（Xi,Yi）（Xi,Yi）（X_i, Y_i）的误差。

平方损失函数：

Q=∑i=1ne2i=∑i=1n(Yi−Yˆi)2=∑i=1n(Yi−βˆ0−βˆ1Xi)2Q=∑i=1nei2=∑i=1n(Yi−Y^i)2=∑i=1n(Yi−β^0−β^1Xi)2

Q=\sum_{i=1}^{n}e_i^2=\sum_{i=1}^{n}{(Y_i-\widehat Y_i)}^2=\sum_{i=1}^{n}{(Y_i-\widehat{\beta}_0-\widehat{\beta}_1X_i)}^2 则通过Q最小确定这条直线，即确定 βˆ0,βˆ1β^0,β^1\widehat{\beta}_0 , \widehat{\beta}_1，以 βˆ0,βˆ1β^0,β^1\widehat{\beta}_0 , \widehat{\beta}_1为变量，把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求导数得到。求Q对两个待估参数的偏导数：

⎧⎩⎨⎪⎪∂Q∂βˆ0=2∑ni=1(Yi−βˆ0−βˆ1Xi)(−1)=0∂Q∂βˆ1=2∑ni=1(Yi−βˆ0−βˆ1Xi)(−Xi)=0{∂Q∂β^0=2∑i=1n(Yi−β^0−β^1Xi)(−1)=0∂Q∂β^1=2∑i=1n(Yi−β^0−β^1Xi)(−Xi)=0

\begin{cases} \frac{\partial Q}{\partial \widehat{\beta}_0}=2\sum_{i=1}^{n}{(Y_i-\widehat{\beta}_0-\widehat{\beta}_1X_i)}(-1)=0 \\ \frac{\partial Q}{\partial \widehat{\beta}_1}=2\sum_{i=1}^{n}{(Y_i-\widehat{\beta}_0-\widehat{\beta}_1X_i)}(-X_i)=0 \end{cases} 根据数学知识我们知道，函数的极值点为偏导为0的点。解得：

βˆ1=n∑XiYi−∑Xi∑Yin∑X2i−(∑Xi)2β^1=n∑XiYi−∑Xi∑Yin∑Xi2−(∑Xi)2

\widehat{\beta}_1 = \frac{n\sum X_iY_i-\sum X_i \sum Y_i}{n\sum X_i^2-(\sum X_i)^2}

βˆ0=n∑X2i∑Yi−∑Xi∑XiYin∑X2i−(∑Xi)2β^0=n∑Xi2∑Yi−∑Xi∑XiYin∑Xi2−(∑Xi)2

\widehat{\beta}_0 = \frac{n\sum X_i^2 \sum Y_i-\sum X_i \sum X_iY_i}{n\sum X_i^2-(\sum X_i)^2} 这就是最小二乘法的解法，就是求得平方损失函数的极值点。采用多元线性回归模型：

Y=β+0+β1X1+β2X2+...+βnXn+eY=β+0+β1X1+β2X2+...+βnXn+e

Y=\beta+0+\beta_1X_1+\beta_2X_2+...+\beta_nX_n+e

RSS=∑i=1n(Yi−Yiˆ)2RSS=∑i=1n(Yi−Yi^)2

RSS=\sum_{i=1}^n(Y_i-\widehat{Y_i})^2

βˆ=(XTX)−1XTyβ^=(XTX)−1XTy

\widehat{\beta}=(X^T X)^{-1} X^Ty

线性回归示例

在多元线性回归模型中，当Y值的影响因素不唯一时，采用多元线性回归模型。例商品的销售额可能与电视广告投入，收音机广告投入，报纸广告投入有关系，可以有

sales=β0+β1⋅TV+β2⋅radio+β3⋅newspapersales=β0+β1⋅TV+β2⋅radio+β3⋅newspaper

sales=\beta_0+\beta_1\cdot TV + \beta_2\cdot radio +\beta_3\cdot newspaper

pyton代码如下：

import numpy as np
import pandas as pd

#读取数据
data = pd.read_csv('http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv', index_col=0)
data.head()

.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

	TV	radio	newspaper	sales
1	230.1	37.8	69.2	22.1
2	44.5	39.3	45.1	10.4
3	17.2	45.9	69.3	9.3
4	151.5	41.3	58.5	18.5
5	180.8	10.8	58.4	12.9

#计算相关矩阵
data.corr()

.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

	TV	radio	newspaper	sales
TV	1.000000	0.054809	0.056648	0.782224
radio	0.054809	1.000000	0.354104	0.576223
newspaper	0.056648	0.354104	1.000000	0.228299
sales	0.782224	0.576223	0.228299	1.000000

#构建X，Y数据
X = data[['TV','radio','newspaper']]
Y = data['sales']
mat(Y)

matrix([[22.1, 10.4,  9.3, 18.5, 12.9,  7.2, 11.8, 13.2,  4.8, 10.6,8.6, 17.4,  9.2,  9.7, 19. , 22.4, 12.5, 24.4, 11.3, 14.6,18. , 12.5,  5.6, 15.5,  9.7, 12. , 15. , 15.9, 18.9, 10.5,21.4, 11.9,  9.6, 17.4,  9.5, 12.8, 25.4, 14.7, 10.1, 21.5,16.6, 17.1, 20.7, 12.9,  8.5, 14.9, 10.6, 23.2, 14.8,  9.7,11.4, 10.7, 22.6, 21.2, 20.2, 23.7,  5.5, 13.2, 23.8, 18.4,8.1, 24.2, 15.7, 14. , 18. ,  9.3,  9.5, 13.4, 18.9, 22.3,18.3, 12.4,  8.8, 11. , 17. ,  8.7,  6.9, 14.2,  5.3, 11. ,11.8, 12.3, 11.3, 13.6, 21.7, 15.2, 12. , 16. , 12.9, 16.7,11.2,  7.3, 19.4, 22.2, 11.5, 16.9, 11.7, 15.5, 25.4, 17.2,11.7, 23.8, 14.8, 14.7, 20.7, 19.2,  7.2,  8.7,  5.3, 19.8,13.4, 21.8, 14.1, 15.9, 14.6, 12.6, 12.2,  9.4, 15.9,  6.6,15.5,  7. , 11.6, 15.2, 19.7, 10.6,  6.6,  8.8, 24.7,  9.7,1.6, 12.7,  5.7, 19.6, 10.8, 11.6,  9.5, 20.8,  9.6, 20.7,10.9, 19.2, 20.1, 10.4, 11.4, 10.3, 13.2, 25.4, 10.9, 10.1,16.1, 11.6, 16.6, 19. , 15.6,  3.2, 15.3, 10.1,  7.3, 12.9,14.4, 13.3, 14.9, 18. , 11.9, 11.9,  8. , 12.2, 17.1, 15. ,8.4, 14.5,  7.6, 11.7, 11.5, 27. , 20.2, 11.7, 11.8, 12.6,10.5, 12.2,  8.7, 26.2, 17.6, 22.6, 10.3, 17.3, 15.9,  6.7,10.8,  9.9,  5.9, 19.6, 17.3,  7.6,  9.7, 12.8, 25.5, 13.4]])

##直接根据系数矩阵公式计算
def standRegres(xArr,yArr):xMat = mat(xArr); yMat = mat(yArr).TxTx = xMat.T*xMatif linalg.det(xTx) == 0.0:print("This matrix is singular, cannot do inverse")returnws = xTx.I * (xMat.T*yMat)return ws

#求解回归方程系数
X2=X
X2['intercept']=[1]*200
standRegres(X2,Y)

matrix([[ 4.57646455e-02],[ 1.88530017e-01],[-1.03749304e-03],[ 2.93888937e+00]])

##利用现有库求解
from sklearn.linear_model import LinearRegression
linreg = LinearRegression()linreg.fit(X, Y)
print(linreg.coef_)

[ 0.04576465  0.18853002 -0.00103749  0.        ]

##测试集和训练集的构建
from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, Y, random_state=1)
linreg.fit(X_train, y_train)
#结果
print(linreg.intercept_)
print(linreg.coef_)#预测
y_pred = linreg.predict(X_test)#误差评估
from sklearn import metrics# calculate MAE using scikit-learn
print("MAE:",metrics.mean_absolute_error(y_test,y_pred))# calculate MSE using scikit-learn
print("MSE:",metrics.mean_squared_error(y_test,y_pred)) # calculate RMSE using scikit-learn
print("RMSE:",np.sqrt(metrics.mean_squared_error(y_test,y_pred)))

2.8769666223179318
[0.04656457 0.17915812 0.00345046 0.        ]
MAE: 1.0668917082595208
MSE: 1.9730456202283368
RMSE: 1.404651423032895

##只取两个参数的模型
from sklearn.linear_model import LinearRegression
from sklearn.cross_validation import train_test_split
feature_cols = ['TV', 'radio']X = data[feature_cols]
y = data['sales']X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=1)linreg.fit(X_train, y_train)y_pred = linreg.predict(X_test)
#误差评估
from sklearn import metrics# calculate MAE using scikit-learn
print("MAE:",metrics.mean_absolute_error(y_test,y_pred))# calculate MSE using scikit-learn
print("MSE:",metrics.mean_squared_error(y_test,y_pred)) # calculate RMSE using scikit-learn
print("RMSE:",np.sqrt(metrics.mean_squared_error(y_test,y_pred)))

MAE: 1.04775904112126
MSE: 1.9262760418667424
RMSE: 1.3879034699382888

最小二乘法梯度下降

最小二乘法跟梯度下降法都是通过求导来求损失函数的最小值。

相同点：

　　1.本质相同：两种方法都是在给定已知数据（independent & dependent variables）的前提下对dependent variables算出出一个一般性的估值函数。然后对给定新数据的dependent variables进行估算。
　　2.目标相同：都是在已知数据的框架内，使得估算值与实际值的总平方差尽量更小（事实上未必一定要使用平方），估算值与实际值的总平方差的公式为：

Δ=12∑i=1m(fβ(xi¯)−yi)2Δ=12∑i=1m(fβ(xi¯)−yi)2

\Delta =\frac{1}{2} \sum_{i=1}^{m}{(f_{\beta }(\bar{x_{i}} )-y_{i})^{2} }

其中xi¯xi¯\bar{x_{i} }为第i组数据的independent variable，yiyiy_{i}为第i组数据的dependent variable，ββ\beta为系数向量。

不同点
　　1.实现方法和结果不同：最小二乘法是直接对ΔΔ\Delta求导找出全局最小，是非迭代法。而梯度下降法是一种迭代法，先给定一个ββ\beta，然后向ΔΔ\Delta下降最快的方向调整ββ\beta，在若干次迭代之后找到局部最小。梯度下降法的缺点是到最小点的时候收敛速度变慢，并且对初始点的选择极为敏感，其改进大多是在这两方面下功夫。

最小二乘法的目标：求误差的最小平方和，对应有两种：线性和非线性。线性最小二乘的解是closed-form即x=(ATA)−1ATbx=(ATA)−1ATbx=(A^T A)^{-1}A^Tb，而非线性最小二乘没有closed-form，通常用迭代法求解。如果把最小二乘看做是优化问题的话，那么梯度下降是求解方法的一种，x=(ATA)−1ATbx=(ATA)−1ATbx=(A^T A)^{-1}A^Tb是求解线性最小二乘的一种，高斯-牛顿法和Levenberg-Marquardt则能用于求解非线性最小二乘。

利用最小二乘法做线性回归相关推荐

matlab 最小二乘法拟合_实例分析，如何用最小二乘法做线性回归？
最小二乘法是一种通过数值对曲线函数拟合的一种统计学方法,这里的最小是拟合误差达到最小.我们可以根据拟合后的函数可以做一些预测或预报.它在数字信号处理.机器学习等领域广泛的应用.本文W君将和大家一起学习 ...
excel计算二元线性回归_实例分析，如何用最小二乘法做线性回归？
最小二乘法是一种通过数值对曲线函数拟合的一种统计学方法,这里的最小是拟合误差达到最小.我们可以根据拟合后的函数可以做一些预测或预报.它在数字信号处理.机器学习等领域广泛的应用.本文W君将和大家一起学习 ...
如何利用excel和jupyter 编程，对身高体重的数据做线性回归
文章目录前言一.用excel 做线性回归 (一)Excel 数据分析选项设置 (二)线性回归分析二.用jupyter编程实现 (一)借助skleran (二)不借助第三方库,用最小二乘法总结 ...
python做线性回归_利用 python 进行线性回归
利用python进行线性回归理解什么是线性回归线性回归也被称为最小二乘法回归(Linear Regression, also called Ordinary Least-Squares (OLS) ...
matlab最小二乘法_基于最小二乘法的线性回归拟合
阅读本文需要的知识储备: 高等数学概率论与数理统计 Python基础线性回归,其实生活中有很多这样的例子,比如:票价与行车距离.服务质量之间的关系,买房时房价与面积.地域等的关系.给我们一组这样的 ...
2021-04-24 Python 最小二乘法求解线性回归模型
Python 最小二乘法求解线性回归模型机器学习线性回归模型线性回归(linear regression)是一种线性模型,它假设输入变量 x 和单个输出变量 y 之间存在线性关系具体来说,利用线 ...
如何利用matlab做BP神经网络分析（包括利用matlab神经网络工具箱）
如何利用matlab做BP神经网络分析(包括利用matlab神经网络工具箱) 转载:https://blog.csdn.net/xgxyxs/article/details/53265318 最近一段 ...
c++椭圆最小二乘法原理_利用最小二乘法拟合椭圆方程的理论推导，附有matlab代码...
为了很好的进行椭圆方程拟合,本文先对椭圆基本知识进行复习,后进行非标准椭圆方程拟合公式推导,最后有matlab代码的实现. 1. 用最小二乘法做椭圆拟合 1.1. 椭圆标准方程对椭圆印象最深的就是高 ...
python 最小二乘法线性方程组_Python实现基于最小二乘法的线性回归
下面展示利用Python实现基于最小二乘法的线性回归模型,同时不需要引入其他科学计算以及机器学习的库. 利用Python代码表示如下: #首先引入数据集x,和y的值的大小利用Python的数据结构:列 ...

利用最小二乘法做线性回归

最小二乘法概述

线性回归示例

最小二乘法梯度下降

利用最小二乘法做线性回归相关推荐

最新文章

热门文章