线性回归的改进-岭回归

1 API

sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver="auto", normalize=False) 【normalize：如果在特征工程处进行了标准化处理，此处就不需要再做处理】
- 具有l2正则化的线性回归
- alpha:正则化力度，也叫 λ 【alpha=1.0为默认】
  - λ取值：0~1 1~10
- solver:会根据数据自动选择优化方法【solver="auto" 为默认】
  - sag:如果数据集、特征都比较大，选择该随机梯度下降优化
- normalize:数据是否进行标准化
  - normalize=False:可以在fit之前调用preprocessing.StandardScaler标准化数据
- Ridge.coef_:回归权重
- Ridge.intercept_:回归偏置

Ridge方法相当于SGDRegressor(penalty='l2', loss="squared_loss"),只不过SGDRegressor实现了一个普通的随机梯度下降学习，推荐使用Ridge(实现了SAG)

sklearn.linear_model.RidgeCV(_BaseRidgeCV, RegressorMixin)
- 具有l2正则化的线性回归，可以进行交叉验证
- coef_:回归系数

class _BaseRidgeCV(LinearModel):def __init__(self, alphas=(0.1, 1.0, 10.0),fit_intercept=True, normalize=False,scoring=None,cv=None, gcv_mode=None,store_cv_values=False):

2 观察正则化程度的变化，对结果的影响？

正则化力度越大，权重系数会越小
正则化力度越小，权重系数会越大

3 波士顿房价预测

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error
from sklearn.linear_model import LinearRegression, SGDRegressor, Ridge, RidgeCVdef linear_model3():"""线性回归：岭回归:return:"""#  1.获取数据data = load_boston()#  2.数据集划分x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)#  3.特征工程-标准化transter = StandardScaler()x_train = transter.fit_transform(x_train)x_test = transter.fit_transform(x_test)#  4.机器学习-线性回归（岭回归）estimator = Ridge(alpha=1)# estimator = RidgeCV(alphas=(0.1, 1, 10))estimator.fit(x_train, y_train)#  5.模型评估#  5.1获取系数等值y_predict = estimator.predict(x_test)print("预测值为：\n", y_predict)print("模型中的系数为:\n", estimator.coef_)print("模型中的偏执为：\n", estimator.intercept_)#  5.2评价#  均方误差error = mean_squared_error(y_test, y_predict)print("误差为：\n", error)linear_model3()

运行结果：

线性回归的改进-岭回归相关推荐

机器学习之线性回归的改进-岭回归
1. 带有L2正则化的线性回归-岭回归岭回归,其实也是一种线性回归.只不过在算法建立回归方程时候,加上正则化的限制,从而达到解决过拟合的效果 1.1 API sklearn.linear_model ...
十二、案例：加利福尼亚房屋价值数据集（多元线性回归） Lasso 岭回归分箱处理非线性问题多项式回归
案例:加利福尼亚房屋价值数据集(线性回归)& Lasso & 岭回归 & 分箱处理非线性问题点击标题即可获取文章源代码和笔记 1. 导入需要的模块和库 from sklear ...
常用的三种线性模型算法--线性回归模型、岭回归模型、套索回归模型
常用的三种线性模型算法–线性回归模型.岭回归模型.套索回归模型线性模型基本概念线性模型的一般预测模型是下面这个样子的,一般有多个变量,也可以称为多个特征x1.x2.x3 - 最简单的线性模型就是一 ...
“机器学习实战”刻意练习——回归问题：线性回归(最小二乘、岭回归、逐步回归)
参考: Python3<机器学习实战>学习笔记(十一):线性回归基础篇之预测鲍鱼年龄 - Jack-Cui Python3<机器学习实战>学习笔记(十二):线性回归提高篇之乐高 ...
基于回归分析的广告投入销售额预测——K邻近，决策树，随机森林，线性回归，岭回归
基于回归分析的广告投入销售额预测--K邻近,决策树,随机森林,线性回归,岭回归文章目录基于回归分析的广告投入销售额预测--K邻近,决策树,随机森林,线性回归,岭回归 1. 项目背景 2. 项目简介 ...
多元线性回归-岭回归
目录 1.精确相关关系 2.高度相关关系 3.多重共线性与相关性 4.岭回归 5.linear_model.Ridge 5.1.案例1:加利福尼亚房屋价值数据 5.2.案例2:波士顿房价数据集 6.选 ...
岭回归——减少过拟合问题
什么是过拟合? 在训练假设函数模型h时,为了让假设函数总能很好的拟合样本特征对应的真实值y,从而使得我们所训练的假设函数缺乏泛化到新数据样本能力. 怎样解决过拟合过拟合会在变量过多同时过少的训练时发 ...
sklearn机器学习：岭回归Ridge
在sklearn中,岭回归由线性模型库中的Ridge类来调用: Ridge类的格式 sklearn.linear_model.Ridge (alpha=1.0, fit_intercept=True, ...
基于Python的岭回归与LASSO回归模型介绍及实践
基于Python的岭回归与LASSO回归模型介绍及实践这是一篇学习的总结笔记参考自<从零开始学数据分析与挖掘> [中]刘顺祥著完整代码及实践所用数据集等资料放置于:Github 岭 ...

线性回归的改进-岭回归

线性回归的改进-岭回归

1 API

2 观察正则化程度的变化，对结果的影响？

3 波士顿房价预测

线性回归的改进-岭回归相关推荐

最新文章

热门文章