十岭回归

岭回归是线性回归的改进，有时候迫不得已我们的参数确实不能少，这时候过拟合的现象就可能发生。为了避免过拟合现象的发生，既然不能从减少参数上面下手，那我们转而在线性回归的最后面添加一个罚项，罚项有时也被称为正则化项，其主要用于控制模型的平滑度，当模型参数越多，模型越复杂，那么罚项惩罚值就越大。

罚项可以是L1范数也可以是L2范数，对于使用L1范数的回归我们一般叫做Lasso线性回归。而对于使用L2范数的回归我们一般叫做岭回归。在这一讲中，我们主要讲述岭回归。

10.1 岭回归的接口

Ridge回归通过对系数的大小施加惩罚来解决普通线性模型使用最小二乘法带来的一些问题。

sklearn.linear_model.Ridge(alpha = 1.0,fit_intercept = True,solver = “auto”,normalize = False)

具有L2正则化的线性回归

alpha：正则化力度，也叫λλλ

λ取值为0~1或 1~10

solver:会根据数据自动选择优化方法

SAG：如果数据集、特征都比较大，那么建议选择sag作为优化策略

normalize：数据是否进行标准化

normalize = False:可以在fit之前调用preprocessing.StandardScaler标准化数据

Ridge.coef_：回归权重

Ridge.intercept_：回归偏置

从图上来看，当alpha数值越高，则惩罚力度越大，权重系数越小，曲线越平滑。

10.2 岭回归处理房价预测

让我们用岭回归来预测波士顿房价吧。

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.linear_model import Ridge
from sklearn.metrics import mean_squared_errordef load_data():"""加载数据集"""boston_data = load_boston()x_train, x_test, y_train, y_test = train_test_split(boston_data.data, boston_data.target, random_state=22)return x_train, x_test, y_train, y_testdef ridge_linear_model():"""用岭回归做预测"""x_train, x_test, y_train, y_test = load_data()# 预估器estimator = Ridge(normalize=True)estimator.fit(x_train, y_train)# 得出模型print("权重系数为：\n", estimator.coef_)print("偏置为：\n", estimator.intercept_)# 模型评估y_predict = estimator.predict(x_test)print("预测房价：\n", y_predict)error = mean_squared_error(y_test, y_predict)print("岭回归——均方误差为：\n", error)ridge_linear_model()

机器学习的练功方式（十）——岭回归相关推荐

机器学习的练功方式（四）——KNN算法
文章目录致谢致歉 4 KNN算法 4.1 sklearn转换器和估计器 4.1.1 转换器 4.1.2 估计器 4.2 KNN算法 4.2.1 概述 4.2.2 电影类型分析 4.2.3 算法实现 ...
【机器学习基础】数学推导+纯Python实现机器学习算法14：Ridge岭回归
Python机器学习算法实现 Author:louwill 上一节我们讲到预防过拟合方法的Lasso回归模型,也就是基于L1正则化的线性回归.本讲我们继续来看基于L2正则化的线性回归模型. L2正则化 ...
【机器学习】正则化的线性回归 —— 岭回归与Lasso回归
python风控评分卡建模和风控常识(博客主亲自录制视频教程) https://study.163.com/course/introduction.htm?courseId=1005214003&am ...
数学推导+纯Python实现机器学习算法14：Ridge岭回归
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达上一节我们讲到预防过拟合方法的Lasso回归模型,也就是基于L1正 ...
机器学习之局部加权、岭回归和前向逐步回归
都说万事开头难,可一旦开头,就是全新的状态,就有可能收获自己未曾预料到的成果.记录是为了更好的监督.理解和推进,学习过程中用到的数据集和代码都将上传到github 回归是对一个或多个自变量和因变量之间 ...
机器学习之线性回归的改进-岭回归
1. 带有L2正则化的线性回归-岭回归岭回归,其实也是一种线性回归.只不过在算法建立回归方程时候,加上正则化的限制,从而达到解决过拟合的效果 1.1 API sklearn.linear_model ...
机器学习的练功方式（六）——朴素贝叶斯
文章目录致谢 6 朴素贝叶斯 6.1 概述 6.2 概率论 6.2.1 大数定律 6.2.2 基本概念 6.2.3 极大似然估计 6.2.4 多项式分布 6.2.4.1 伯努利分布 6.2.4.2 ...
机器学习的练功方式（五）——模型选择及调优
文章目录 5 模型选择及调优 5.1 数据增强 5.2 过拟合 5.3 交叉验证 5.4 超参数搜索--网格搜索 5 模型选择及调优 5.1 数据增强有时候,你和你的老板说你数据不够,它是不会理你的 ...
机器学习的练功方式（八）——随机森林
文章目录致谢 8 随机森林 8.1 引入 8.2 决策森林 8.2.1 集成学习方法 8.2.2 什么是随机森林 8.2.3 无偏估计 8.2.4 决策森林原理过程 8.2.5 决策森林算法实现 8 ...

机器学习的练功方式（十）——岭回归

文章目录

十岭回归

10.1 岭回归的接口

10.2 岭回归处理房价预测

机器学习的练功方式（十）——岭回归相关推荐

最新文章

热门文章

机器学习的练功方式（十）——岭回归

文章目录

十 岭回归

10.1 岭回归的接口

10.2 岭回归处理房价预测

机器学习的练功方式（十）——岭回归相关推荐

最新文章

热门文章

十岭回归