l2正则化python_机器学习入门之机器学习之路: python线性回归 过拟合 L1与L2正则化...
本文主要向大家介绍了机器学习入门之机器学习之路: python线性回归 过拟合 L1与L2正则化,通过具体的内容向大家展现,希望对大家学习机器学习入门有所帮助。
正则化: 提高模型在未知数据上的泛化能力 避免参数过拟合正则化常用的方法: 在目标函数上增加对参数的惩罚项 削减某一参数对结果的影响力度L1正则化:lasso 在线性回归的目标函数后面加上L1范数向量惩罚项。 f = w * x^n + b + k * ||w||1 x为输入的样本特征 w为学习到的每个特征的参数 n为次数 b为偏置、截距 ||w||1 为 特征参数的L1范数,作为惩罚向量 k 为惩罚的力度L2范数正则化:ridge 在线性回归的目标函数后面加上L2范数向量惩罚项。 f = w * x^n + b + k * ||w||2 x为输入的样本特征 w为学习到的每个特征的参数 n为次数 b为偏置、截距 ||w||2 为 特征参数的L2范数,作为惩罚向量 k 为惩罚的力度 下面模拟 根据蛋糕的直径大小 预测蛋糕价格采用了4次线性模型,是一个过拟合的模型分别使用两个正则化方法 进行学习和预测
1 from sklearn.linear_model import LinearRegression, Lasso, Ridge
2 # 导入多项式特征生成器
3 from sklearn.preprocessing import PolynomialFeatures
4
5
6 ‘‘‘
7 正则化:
8 提高模型在未知数据上的泛化能力
9 避免参数过拟合
10 正则化常用的方法:
11 在目标函数上增加对参数的惩罚项
12 削减某一参数对结果的影响力度
13
14 L1正则化:lasso
15 在线性回归的目标函数后面加上L1范数向量惩罚项。
16
17 f = w * x^n + b + k * ||w||1
18
19 x为输入的样本特征
20 w为学习到的每个特征的参数
21 n为次数
22 b为偏置、截距
23 ||w||1 为 特征参数的L1范数,作为惩罚向量
24 k 为惩罚的力度
25
26 L2范数正则化:ridge
27 在线性回归的目标函数后面加上L2范数向量惩罚项。
28
29 f = w * x^n + b + k * ||w||2
30
31 x为输入的样本特征
32 w为学习到的每个特征的参数
33 n为次数
34 b为偏置、截距
35 ||w||2 为 特征参数的L2范数,作为惩罚向量
36 k 为惩罚的力度
37
38
39 下面模拟 根据蛋糕的直径大小 预测蛋糕价格
40 采用了4次线性模型,是一个过拟合的模型
41 分别使用两个正则化方法 进行学习和预测
42
43 ‘‘‘
44
45 # 样本的训练数据,特征和目标值
46 x_train = [[6], [8], [10], [14], [18]]
47 y_train = [[7], [9], [13], [17.5], [18]]
48 # 准备测试数据
49 x_test = [[6], [8], [11], [16]]
50 y_test = [[8], [12], [15], [18]]
51 # 进行四次线性回归模型拟合
52 poly4 = PolynomialFeatures(degree=4) # 4次多项式特征生成器
53 x_train_poly4 = poly4.fit_transform(x_train)
54 # 建立模型预测
55 regressor_poly4 = LinearRegression()
56 regressor_poly4.fit(x_train_poly4, y_train)
57 x_test_poly4 = poly4.transform(x_test)
58 print("四次线性模型预测得分:", regressor_poly4.score(x_test_poly4, y_test)) # 0.8095880795746723
59
60 # 采用L1范数正则化线性模型进行学习和预测
61 lasso_poly4 = Lasso()
62 lasso_poly4.fit(x_train_poly4, y_train)
63 print("L1正则化的预测得分为:", lasso_poly4.score(x_test_poly4, y_test)) # 0.8388926873604382
64
65 # 采用L2范数正则化线性模型进行学习和预测
66 ridge_poly4 = Ridge()
67 ridge_poly4.fit(x_train_poly4, y_train)
68 print("L2正则化的预测得分为:", ridge_poly4.score(x_test_poly4, y_test)) # 0.8374201759366456
本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注职坐标人工智能机器学习频道!
l2正则化python_机器学习入门之机器学习之路: python线性回归 过拟合 L1与L2正则化...相关推荐
- python 非线性回归_机器学习入门之菜鸟之路——机器学习之非线性回归个人理解及python实现...
本文主要向大家介绍了机器学习入门之菜鸟之路--机器学习之非线性回归个人理解及python实现,通过具体的内容向大家展现,希望对大家学习机器学习入门有所帮助. 梯度下降:就是让数据顺着梯度最大的方向,也 ...
- matlab 职坐标,机器学习入门之机器学习实战ByMatlab(四)二分K-means算法
本文主要向大家介绍了机器学习入门之机器学习实战ByMatlab(四)二分K-means算法,通过具体的内容向大家展现,希望对大家学习机器学习入门有所帮助.前面我们在是实现K-means算法的时候,提到 ...
- python3中多项式创建_机器学习入门之机器学习之路:python 多项式特征生成PolynomialFeatures 欠拟合与过拟合...
本文主要向大家介绍了机器学习入门之机器学习之路:python 多项式特征生成PolynomialFeatures 欠拟合与过拟合,通过具体的内容向大家展现,希望对大家学习机器学习入门有所帮助. 分享 ...
- 机器学习入门 01 —— 机器学习概述
文章目录 系列文章 机器学习概述 1.1.人工智能概述 1 人工智能应用场景 2 人工智能小案例 3 人工智能发展必备三要素 4 人工智能.机器学习和深度学习 5 小结 1.2.人工智能发展历程 1. ...
- matlab 职坐标,机器学习入门之机器学习实战ByMatlab(三)K-means算法
本文主要向大家介绍了机器学习入门之机器学习实战ByMatlab(三)K-means算法,通过具体的内容向大家展现,希望对大家学习机器学习入门有所帮助.K-means算法属于无监督学习聚类算法,其计算步 ...
- python svr回归_机器学习入门之机器学习之路:python支持向量机回归SVR 预测波士顿地区房价...
本文主要向大家介绍了机器学习入门之机器学习之路:python支持向量机回归SVR 预测波士顿地区房价,通过具体的内容向大家展现,希望对大家学习机器学习入门有所帮助. 支持向量机的两种核函数模型进行预 ...
- (C语言)已知顺序表L1,L2中数据由小到大有序,请用尽可能快的方法将L1与L2中的数据合并到L3中,使数据在L3中按升序排列。
(C语言)已知顺序表L1,L2中数据由小到大有序,请用尽可能快的方法将L1与L2中的数据合并到L3中,使数据在L3中按升序排列. 输入样例: 5 2 4 9 10 11 6 1 2 4 6 7 8 输 ...
- ☀️机器学习入门☀️(一) 机器学习简介 | 附加小练习
目录 1. 机器学习是什么 2. 机器学习.深度学习和人工智能的区别与联系 3. 机器学习的应用 4. 机器学习分类 4.1 监督学习 4.2 无监督学习 4.3 半监督学习 4.4 强化学习 5. ...
- 线性回归中的L1与L2正则化
在这篇文章中,我将介绍一个与回归相关的常见技术面试问题,我自己也经常会提到这个问题: 描述回归建模中的L1和L2正则化方法. 在处理复杂数据时,我们往往会创建复杂的模型.太复杂并不总是好的.过于复杂的 ...
最新文章
- 完美解决ArcGIS10.x栅格空间插值报错无法进行和导出插值栅格结果出错的问题
- Qt 模态对话框不模态的问题
- 2008年十大IT图书评选第一周幸运读者获奖名单(每周更新)
- android main system log,android日志缓冲区,system,radio,main,events是什么意思啊?
- java4选择结构 二
- VBOX下安装RHEL5.4增强工具失败的解决办法
- java连oracle报17002,帮忙给看一个java访问oracle的异常
- 超市仓库管理系统python+tkinter
- Linux与windows常用软件大比拼
- 深入总部调研苏宁易购研发
- 从事嵌入式软件开发的好处是什么
- 织梦如何与mysql连接_织梦dedecms,网站怎么搬家并成功连接数据库
- Linux 创建一个简单的私有CA、发证、吊销证书
- 图灵出版社最近7年的畅销书
- 脸上不同位置长痘痘的原因,华仁堂贾主任祛痘为你提示
- 英语语法总结--名词
- 论文笔记 | 深度学习图像数据增广方法研究
- GAMES104-游戏引擎的动画基础
- 组态王或SCADA与西门子200Smart通讯配置流程
- 中国天气网天气API参数详细解释说明
热门文章
- 网易云信今年发布的WE-CAN有哪些亮点?
- LiveVideoStack音视频技术2018年度评奖揭晓
- 基于QoE的实时视频编码优化:低功耗,低延时,高质量
- LiveVideoStack冬季招聘(高级策划编辑,市场BD主管)
- Uber的一键式聊天智能回复系统
- 分布式计算框架Gearman原理详解
- dlopen dlsym dlclose加载动态链接库
- 当 高并发系统下 Redis 发生高延迟时,其内部到底发生了什么
- HOL中的四种排序,Order By、Sort By、Distribute By、Cluster By
- leetcode 1293. Shortest Path in a Grid with Obstacles Elimination | 1293. 网格中的最短路径(BFS)