LinearRegression拟合一个带有系数w=(w1,...,wp)w=(w_1,...,w_p)w=(w1,...,wp)的线性模型，使得数据集实际观测数据和预测数据之间的残差平方和最小，其数学表达式为：
minw∣∣Xw−y∣∣22min_w||Xw-y||^2_2minw∣∣Xw−y∣∣22

LinearRegression 会调用 fit 方法来拟合数组 X， y，并且将线性模型的系数 w 存储在其成员变量 coef_ 中:

>>> from sklearn.linear_model import LinearRegression
>>> ols = LinearRegression()
# 训练
>>> ols.fit([[0, 0], [1, 1], [2, 2]], [0, 1, 2])
# 线性模型的系数存储在coef_
>>> print(ols.coef_)
[0.5 0.5]
# 线性模型的截距项
>>> print(ols.intercept_)
2.220446049250313e-16

然而，对于普通最小二乘的系数估计问题，其依赖于模型各个特征的相互独立性。当各个特征是相关的，且设计矩阵XXX的各项近似线性相关，那么，设计矩阵会趋向于奇异矩阵，这种特性导致最小二乘估计对于随机误差非常敏感，可能产生很大的方差。例如，在没有实验设计的情况下收集到的数据，这种多重共线性的情况可能真的会出现。

线性回归示例

下面的示例只使用了糖尿病数据集diabetes的第一个特征，便于绘图。可以在图中看到线性回归如何试图绘制一条最小化残差平方和的直线。

import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets, linear_model
from sklearn.metrics import mean_squared_error, r2_score# 加载糖尿病数据
diabetes_x, diabetes_y = datasets.load_diabetes(return_X_y=True)
# 取糖尿病数据第三列为训练集
diabetes_x = diabetes_x[:, np.newaxis, 2]
# 划分训练集和测试集
diabetes_x_train, diabetes_x_test = diabetes_x[:-20], diabetes_x[-20:]
diabetes_y_train, diabetes_y_test = diabetes_y[:-20], diabetes_y[-20:]
# 创建线性模型对象
reg = linear_model.LinearRegression()
# 训练
reg.fit(diabetes_x_train, diabetes_y_train)
# 使用测试集预测
diabetes_y_pred = reg.predict(diabetes_x_test)
# 线性模型的系数
print("线性模型的系数：%s" % reg.coef_) # 线性模型的系数：[938.23786125]
# 均方误差
print("均方误差：%.2f" % mean_squared_error(diabetes_y_test, diabetes_y_pred)) # 均方误差：2548.07
# r2
print("R^2: %.2f" % r2_score(diabetes_y_test, diabetes_y_pred)) # R^2: 0.47# 绘图
plt.scatter(diabetes_x_test, diabetes_y_test, color='black')
plt.plot(diabetes_x_test, diabetes_y_pred, color='blue', linewidth=3)
plt.xticks(())
plt.yticks(())
plt.show()

Sklearn实现普通最小二乘法相关推荐

sklearn 回归算法最小二乘法
模型的一些通用方法: lg = LinearRegression() lg.fit(X,y) lg.coef_ lg.intercept_ lg.predict(X_new) get_params([ ...
自查自纠 | 线性回归，你真的掌握了嘛？
Datawhale 作者:尹晓丹,Datawhale优秀学习者寄语:本文对线性回归算法的原理及模型,学习策略.算法求解和sklearn参数做了详细的讲解.同时,用例子进行Python代码实践. 线性 ...
我感觉这是目前讲得最明白的线性回归的文章了
Datawhale 作者:尹晓丹,Datawhale优秀学习者寄语:本文对线性回归算法的原理及模型,学习策略.算法求解和sklearn参数做了详细的讲解.同时,用例子进行Python代码实践. 线性 ...
仿京东开放平台框架，开发自己的开放平台（包含需求，服务端代码，SDK代码）...
目录 1开放平台需求 1.1调用参数 1.2签名算法 2服务端代码,Java举例 2.1接口入口代码 2.2业务逻辑层 2.3基础工具类 3.SDK代码,Java举例 4.集成SDK,代码举例现在开 ...
线性回归算法之鸢尾花特征分类【机器学习】
文章目录一.前言 1.1 本文原理 1.1 本文目的二.实验过程 2.1使用scikit-learn机器学习包的算法,对鸢尾花进行分类 2.2 使用scikit-learn机器学习包的线性回归算法 ...
13_线性回归分析、线性模型、损失函数、最小二乘法之梯度下降、回归性能评估、sklearn回归评估API、线性回归正规方程，梯度下降API、梯度下降和正规方程对比
1.线性回归 1.1 线性模型试图学得一个通过属性的线性组合来进行预测的函数: 1.2 定义定义:线性回归通过一个或者多个自变量与因变量之间进行建模的回归分析.其中特点为一个或多个称为回归系数的模 ...
机器学习-02 基于sklearn 广义线性模型-普通最小二乘法
机器学习基于sklearn-02 从sklearn说起线性回归普通最小二乘法案例分析重要代码解释线性回归回归分析的主要工作,是根据统计获得的数据点来训练出一个函数表达式,根据这个函数表达 ...
线性回归最小二乘法计算步骤以及sklearn参数介绍
介绍线性回归是特征与标签之间建立一个关系来描绘特征和标签之间的关系. 预测函数的本质就是我们构建的模型,而构造的函数核心就是找出模型的参数向量w 最小二乘法(解析解)求解W 通过已知的MSE损失函数 ...
【sklearn】线性回归、最小二乘法、岭回归、Lasso回归
文章目录机器学习的sklearn库一.回归分析 <1.1>线性回归 1.1.1.Python实现线性回归 <1.2>最小二乘法 1.2.1.MATLAB实现最小二乘法 1. ...

Sklearn实现普通最小二乘法

线性回归示例

Sklearn实现普通最小二乘法相关推荐

最新文章

热门文章