岭回归和lasso回归_正则化(2):与岭回归相似的 Lasso 回归
1 lasso回归 与 ridge 回归的相同点
1.1 lasso回归 与 ridge 回归主要思想相同
在岭回归中,我们通过残差平方和与惩罚项总和最小,以确定岭回归模型。岭回归的惩罚项是λ x (斜率的平方)。岭回归模型通过在训练模型中引入少量偏差,从而减少该模型在多个数据集中的方差。
Lasso回归同样是通过残差平方和与惩罚项总和确定lasso回归模型,但lasso回归的惩罚项为λ x (斜率的绝对值)。其λ值的取值范围为[0,+∞),由交叉验证得出最佳λ值。
- Lasso回归的原理与岭回归的原理一致,均是通过在模型中引入少量偏差,进而减少模型在多个数据集中的方差。
1.2 lasso回归与岭回归的运用场景一致
Lasso回归与岭回归的使用场景一致,如在连续变量的线性模型、分类变量的线性模型、logistic回归,以及复杂的模型,详见岭回归。
尽管lasso回归和岭回归减少模型中参数的权重,但每个参数缩减的权重大小不一致。如在以下案例中,随着λ增大,lasso回归和岭回归对饮食差异参数的约束大于对斜率的约束。
2 lasso回归与岭回归的差异
在仅含有两个样本的训练数据集中,lasso回归模型满足(残差平方和 + λ x 斜率绝对值)之和最小。lasso回归可减少创建模型中的参数(如减少无关变量的参数个数)。
- 当λ=0时,lasso回归与最小二乘法直线回归一致。
- 当λ>0时,随着λ的增大,lasso回归中直线的斜率逐渐减小,直至为0。
在岭回归中,随着λ逐渐增大,岭回归中的直线斜率逐渐趋近于0,但是不等于0。岭回归不能减少模型中的参数,只能缩小模型中某些参数的数值(如降低无关变量参数的系数值)。
这是两种正则化回归最主要的区别。
2.1 lasso回归与岭回归的比较
分别将lasso回归和岭回归运用于复杂的线性模型中,如下所示。
岭回归中的惩罚项如下:
- 随着λ值的逐渐增大,其中一些相关的参数缩减较少(如 slope, diet different),而一些无关的变量参数会缩减很多,如astrological offset和airspeed scalar等不相干的参数将趋近于0,但永远不会消失。
lasso回归中的惩罚项如下:
- 随着λ值的逐渐增大,其中一些相关参数缩减较小(如slope,diet different),而一些无关变量的参数将会缩减很多,直至消失(如astrological offset,airspeed scalar)。排除掉完全无关的变量后,仅剩下最主要的变量,使得拟合模型更加容易解读,如下:
结合以上讨论,我们可以总结出:
如果模型中含有较多的无关变量时,因lasso回归可以将无关变量排除,故lasso回归比岭回归模型更优,其在不同数据集中的方差更小。
相反,如果模型中大多数变量为相关变量时,因岭回归不会误删一些变量,故岭回归比lasso回归模型更优,其在不同数据集中的方差更小。
那我们应该如何在两种回归中做出更优的抉择呢?接下来我们学习弹性网络回归(Elastic Net Regression),将解答这一问题。
3 总结
Lasso回归与岭回归非常相似,原理大致相同,运用场景相同。但是岭回归仅能最大限度的缩减无关变量,而lasso回归可将无关变量缩减至0,使得拟合的模型更加便于解读。因为两者具有这样的差异,使得二者在不同的场景中发挥不一样的作用。
参考视频:https://www.youtube.com/watch?v=NGf0voTMlcs&list=PLblh5JKOoLUICTaGLRoHQDuF_7q2GfuJF&index=20
编辑:吕琼
校审:罗鹏
岭回归和lasso回归_正则化(2):与岭回归相似的 Lasso 回归相关推荐
- r语言中残差与回归值的残差图_独家 | 手把手教你用R语言做回归后的残差分析(附代码)-阿里云开发者社区...
作者:Abhijit Telang 翻译:张睿毅 校对:丁楠雅 文章来源:微信公众号 数据派THU 本文介绍了做残差分析的方法及其重要性,以及利用R语言实现残差分析. 在这篇文章中,我们通过探索残差分 ...
- 【机器学习】正则化的线性回归 —— 岭回归与Lasso回归
python风控评分卡建模和风控常识(博客主亲自录制视频教程) https://study.163.com/course/introduction.htm?courseId=1005214003&am ...
- 机器学习之数学基础(四)~Lasso Regression回归, L1、L2 Regularization正则化, 回归问题中的损失函数
目录 1. Lasso回归 1.1 概念 1.2 正则化 1.3 Lasso回归模型 1.4 为什么Lasso Regression可以做降维? 1.5 参数求解 (1)坐标轴下降法 (2)最小角回归 ...
- R语言中的岭回归、套索回归、主成分回归:线性模型选择和正则化
概述和定义 在本文中,我们将考虑一些线性模型的替代拟合方法,除了通常的 普通最小二乘法.这些替代方法有时可以提供更好的预测准确性和模型可解释性.最近我们被客户要求撰写关于模型选择的研究报告,包括一些 ...
- R构建lasso回归模型并获得最佳正则化系数
R构建lasso回归模型并获得最佳正则化系数 目录 R构建lasso回归模型并获得最佳正则化系数 数据加载 拟合LASSO回归模型
- ML之4PolyR:利用四次多项式回归4PolyR模型+两种正则化(Lasso/Ridge)在披萨数据集上拟合(train)、价格回归预测(test)
ML之4PolyR:利用四次多项式回归4PolyR模型+两种正则化(Lasso/Ridge)在披萨数据集上拟合(train).价格回归预测(test) 目录 输出结果 设计思路 核心代码 输出结果 设 ...
- logistic回归 如何_第七章:利用Python实现Logistic回归分类模型
免责声明:本文是通过网络收集并结合自身学习等途径合法获取,仅作为学习交流使用,其版权归出版社或者原创作者所有,并不对涉及的版权问题负责.若原创作者或者出版社认为侵权,请联系及时联系,我将立即删除文章, ...
- 分类任务如何用逻辑回归实现_【机器学习面试总结】—— LR(逻辑回归)
逻辑回归是一个非常经典的算法,其中也包含了非常多的细节,曾看到一句话:如果面试官问你熟悉哪个机器学习模型,可以说 SVM,但千万别说 LR,因为细节真的太多了. 1. 模型介绍 Logistic Re ...
- sklearn逻辑回归 极大似然 损失_收藏!攻克目标检测难点秘籍二,非极大值抑制与回归损失优化之路...
点击上方"AI算法修炼营",选择加星标或"置顶" 标题以下,全是干货 前面的话 在前面的秘籍一中,我们主要关注了模型加速之轻量化网络,对目标检测模型的实时性难点 ...
最新文章
- BCH的压力测试其实已经开始了
- Android 单元测试
- 记一次用pip安装docker-compose报错及解决方法
- Java 基础【12】 日期类型
- [蓝桥杯][2014年第五届真题]地宫取宝(记忆化搜索)
- linux input子系统分析--子系统核心.事件处理层.事件传递过程
- 米斯特白帽培训讲义 实战篇 WordPress
- ManyToManyField的注意事项和如何建立索引
- 攀枝花a货翡翠,晋城a货翡翠
- android gdb gdbserver
- 【代码笔记】Web-CSS-CSS盒子模型
- cada0图纸框_CAD图框尺寸大全
- android 4g wifi热点,全网通吃!中兴MF910S 4G无线热点上手体验
- python花瓣飘零_【动态网页】python3爬取花瓣网图片
- 第一章 MapReduce概述
- 《人机交互技术》结课作业:界面调研报告交互界面设计快速原型设计(华科软院)
- java ps old gen_PSYoungGen /PSOldGen/PSPermGen区别
- C语言100道经典例题
- 为什么电子邮件发送失败?电子邮件发送失败的原因及解决方法
- HTML制作色带,色带用尼龙带及色带的制作方法
热门文章
- 什么样 信号_深圳停止商务公寓用地审批释放着什么样的信号,会引起房价下跌吗...
- 【Paper】2019_带有不匹配干扰的多智能体系统有限时间积分滑模控制
- 【控制】《多智能体系统一致性与复杂网络同步控制》郭凌老师-第5章-具有一般耦合结构的时滞复杂网络同步
- LTE 有关HARQ
- 如何应对“中年危机”
- 利用SIMULINK搭建一个16QAM调制解调收发系统
- void *变量用法
- caffe修改hdf5的datalayer
- openstack 网络
- SQL Server 问题之 排序规则(collation)冲突