SGDRegressor

scikit-learn的线性回归模型都是通过最小化成本函数来计算参数的，通过矩阵乘法和求逆运算来计算参数。当变量很多的时候计算量会非常大，因此我们改用梯度下降法，批量梯度下降法每次迭代都用所有样本，快速收敛但性能不高，随机梯度下降法每次用一个样本调整参数，逐渐逼近，效率高，本节我们来利用随机梯度下降法做拟合

梯度下降法

梯度下降就好比从一个凹凸不平的山顶快速下到山脚下，每一步都会根据当前的坡度来找一个能最快下来的方向。随机梯度下降英文是Stochastic gradient descend(SGD)，在scikit-learn中叫做SGDRegressor。

样本实验

依然用上一节的房价样本

X = [[50],[100],[150],[200],[250],[300]]

y = [[150],[200],[250],[280],[310],[330]]

import matplotlib.pyplot as plt
from sklearn.linear_model import SGDRegressor
from sklearn.preprocessing import StandardScaler
plt.figure()#实例化作图变量
plt.title("SGD")
plt.xlabel('x')
plt.ylabel('y')
plt.grid(True)
X_scaler = StandardScaler()
y_scaler = StandardScaler()
X = [[50],[100],[150],[200],[250],[300]]
y = [[150],[200],[250],[280],[310],[330]]
X = X_scaler.fit_transform(X)
y = y_scaler.fit_transform(y)
X_test = [[40],[400]]#用来做最终效果测试
X_test = X_scaler.transform(X_test)
plt.plot(X,y,'k.')
model = SGDRegressor()
model.fit(X,y.ravel())
y_result = model.predict(X_test)
plt.plot(X_test,y_result,'g-')
plt.show()

效果图如下：

这里需要用StandardScaler来对样本数据做正规化，同时对测试数据也要做正规化

我们发现拟合出的直线和样本之间还是有一定偏差的，这是因为随机梯度是随着样本数量的增加不断逼近最优解的，也就是样本数量越多就越准确

优化效果

既然样本数多拟合的好，那么我们把已有的样本重复多次试一下，修改成如下

import matplotlib.pyplot as plt
from sklearn.linear_model import SGDRegressor
from sklearn.preprocessing import StandardScaler
plt.figure()#实例化作图变量
plt.title("SGD")
plt.xlabel('x')
plt.ylabel('y')
plt.grid(True)
X_scaler = StandardScaler()
y_scaler = StandardScaler()
X = [[50],[100],[150],[200],[250],[300],[50],[100],[150],[200],
[250],[300],[50],[100],[150],[200],[250],[300],[50],[100],
[150],[200],[250],[300],[50],[100],[150],[200],[250],[300],
[50],[100],[150],[200],[250],[300],[50],[100],[150],[200],
[250],[300],[50],[100]]
y = [[150],[200],[250],[280],[310],[330],[150],[200],[250],[280],
[310],[330],[150],[200],[250],[280],[310],[330],[150],[200],
[250],[280],[310],[330],[150],[200],[250],[280],[310],[330],
[150],[200],[250],[280],[310],[330],[150],[200],[250],[280],
[310],[330],[150],[200]]
X = X_scaler.fit_transform(X)
y = y_scaler.fit_transform(y)
X_test = [[40],[400]]#用来做最终效果测试
X_test = X_scaler.transform(X_test)
plt.plot(X,y,'k.')
model = SGDRegressor()
model.fit(X,y.ravel())
y_result = model.predict(X_test)
plt.plot(X_test,y_result,'g-')
plt.show()

这回靠谱了许多，实事上，如果再继续重复样本，效果会更逼近

SGDRegressor相关推荐

梯度下降回归SGDRegressor、岭回归（Ridge）和套索（Lasso）回归、套索最小角回归、ElasticNet回归、正交匹配追踪回归
梯度下降回归SGDRegressor.岭回归(Ridge)和套索(Lasso)回归.套索最小角回归.ElasticNet回归.正交匹配追踪回归目录
机器学习（13）岭回归（线性回归的改进）
目录一.基础理论 API 二.岭回归:预测波士顿房价总代码一.基础理论岭回归:带有L2正则化的线性回归.(为了解决过拟合) 对病态数据的拟合要强于最小二乘法 API sklearn.linea ...
机器学习（11）线性回归（2）实战 -- 正规方程优化、梯度下降优化（波士顿房价预测）
目录一.波士顿房价预测(正规方程优化) API 1.获取数据集 2.划分数据集 3.标准化 4. 创建预估器,得到模型 5.模型评估(均方差评估) 代码二.波士顿房价预测(正规方程优化) API ...
残差平方和ssr的计算公式为_如何为你的回归问题选择最合适的机器学习方法？...
文章发布于公号[数智物语] (ID:decision_engine),关注公号不错过每一篇干货. 转自 | AI算法之心(公众号ID:AIHeartForYou) 作者 | 何从庆什么是回归呢?回归 ...
如何为回归问题选择最合适的机器学习方法？
作者 | 何从庆本文经授权转载自 AI算法之心(id:AIHeartForYou) 在目前的机器学习领域中,最常见的三种任务就是:回归分析.分类分析.聚类分析.在之前的文章中,我曾写过一篇<1 ...
Scikit-learn 发布 0.20版本！新增处理缺失值、合并Pandas等亮点功能
整理 | Jane 出品 | AI科技大本营之前一直预告 Scikit-learn 的新版本会在 9 月发布,在马上就要结束的 9 月,我们终于迎来了 Scikit-learn 0.20. 此版本 ...
基于LightGBM算法实现数据挖掘！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:黄雨龙,中国科学技术大学对于回归问题,Datawhale已经梳理 ...
线性回归的改进-岭回归
线性回归的改进-岭回归 1 API sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver="auto", ...
线性回归之案例：波士顿房价预测
线性回归之案例:波士顿房价预测数据介绍 [13个特征值,1个目标值] 给定的这些特征,是专家们得出的影响房价的结果属性.此阶段不需要自己去探究特征是否有用,只需要使用这些特征.到后面量化很多特征 ...

SGDRegressor

梯度下降法

样本实验

优化效果

SGDRegressor相关推荐

最新文章

热门文章