机器学习——LASSO算法
LASSO算法的简单介绍
LASSO算法和岭回归算法在应用目的上其实都是相似的，这两种算法的本质就是两种不同的正则化方法。
下面来看看这两种方法的对比：
岭回归是L1正则化，LASSO是L2正则化。两个回归系数的值都可以用来限制t，取值有相同的地方。这是一张表示系数和代价函数值关系的图：
红色的圈圈表示的是代价函数值等高线，中间的黑点表示最小值。蓝色区域是系数的选取范围，可以看到，当选取范围和等高线交界的地方是最合适的取值点，这时即符合选取范围，代价函数的值也越接近中心的最小值。
python实现——sklearnLASSO算法
来看看实验用到的数据：
代码实现：
lasson算法的模型也是用到交叉验证法，但和岭回归相比，不用传入参数，因为这个方法本身就有很多参数，直接用它内部的参数计算即可。
然后打印结果看看效果如何：
14.13是求得的lasson系数，第二行是相关系数，可以理解为特征，后面的3个0表示这3个特征量可能是线性重复，对lasson的计算没有太大帮助和影响，而前面3个特征则是有影响的。从这里我们看到lasson的解释性是很强的，最后得到的预测结果115.7和真实结果一样。
弹性网
岭回归和lasson用的其实都是一个算法公式，不同的参数取值会得到岭回归和lasson或者其他一些算法。
当q是1时就是lasson，q是2时就是岭回归，其他类型的一般很少用，效果不如这两种好。弹性网则结合了lasson和岭回归两种算法，吸取了两种算法的特点，这是一种相对来说比较新的算法。
当α取0.2时得到类似lasson的图形，但是边是弯曲的，所以被称为弹性网，这时岭回归前面的系数是0.2，lasson前面的系数是0.8，说明lasson的比重比较大，这就是和 lasson的图形类似的原因。
python实现——弹性网
数据和上面的lasson用到的数据是一样的，代码开始部分都一样。
这里和lasson一样也是不用传入参数的，只不过调用的方法不同。结果也和lasson一样可以得到相关系数和本身的弹性系数。
可以看到结果形式和lasson差不多，理论上说，因为弹性网结合了岭回归和lasson的特点，所以得到的预测值应该比这两种算法都要好。
机器学习——LASSO算法相关推荐
- 机器学习算法笔记——P22 sklearn—LASSO算法
机器学习算法笔记--P22 sklearn-LASSO算法 #!/usr/bin/env python # coding: utf-8# In[1]:import numpy as np from n ...
- 机器学习--线性回归3（使用LAR算法进行求解Lasso算法）
上一节我们详细的介绍了岭回归算法和lasso算法的来历和使用,不过还没有详解lasso的计算方式,本节将进行全面的详解,在详解之前,希望大家都理解了岭回归和lasso 的来历,他们的区别以及使用的范围 ...
- 机器学习--线性回归2（共线性问题、岭回归、lasso算法）
上一节我们讲了线性回归的一元线性回归和多元线性回归,其中多元线性回归在求解的过程中又分为满秩和非满秩的情况,进而引出了的最大释然估计进行处理,后面详细的对回归误差进行了分析,最后误差来源于平方偏置.方 ...
- 【机器学习】LASSO算法弹性网络
1.在上一次我们说了Rigde回归.在那之间我们说了对于代价函数有两种正则化的方式:L1正则化和L2正则化.这两种正则化的目的有一个很重要的共同点就是抵抗多重共线性,在岭回归中我们使用的是L2正则化, ...
- 机器学习与算法（10）--Lasso算法(least absolute shrinkage and selection operator)
Lasso算法 Lasso算法(least absolute shrinkage and selection operator,又译最小绝对值收敛和选择算子.套索算法)是一种同时进行特征选择和正则化( ...
- 人工智能之机器学习常见算法
https://blog.csdn.net/BaiHuaXiu123/article/details/51475384 摘要 之前一直对机器学习很感兴趣,一直没时间去研究,今天刚好是周末,有时间去各大 ...
- 机器学习常见算法汇总
原文地址:http://www.ctocio.com/hotnews/15919.html 偶然看到的一篇文章,这篇文章写的很清晰,所以转载一下,补充自己的知识库,以下为正文 机器学习无疑是当前数据分 ...
- 机器学习线性回归算法实验报告_从零实现机器学习算法（九）线性回归
1. 回归简介 在客观世界中普遍存在着变量与变量之间的关系.变量之间的关系一般可以分为确定关系和不确定关系.确定关系是指变量之间的关系可以通过函数关系来表达.非确定关系即所谓的相关关系.而回归分析是研 ...
- 机器学习——常用算法的总结
机器学习常用算法总结 机器学习--常用算法的总结 学习方式 一.监督式学习: 1.分类 2.回归 补充--线性回归与逻辑回归 二.非监督式学习: 三.半监督式学习: 四.强化学习: 算法类似性 一.回 ...
- 算法的优缺点_一文总结机器学习各算法优缺点
关注上方"数据挖掘工程师",选择星标, 关键时间,第一时间送达! 转自Datawhale本期主题是详细总结一下机器学习各大常用算法的优缺点,十分值得收藏目录 正则化算法(Regul ...
最新文章
- 【图像处理】——改变图像的大小（降采样重采样）下采样和上采样
- Iphone屏幕旋转
- codefores 204E. Little Elephant and Strings(后缀数组，RMQ求lcp，二分，主席树)
- redhat6安装git出现的问题
- linux 系统内存占用高,linux free 命令以及系统内存占用过高的处理方法
- 计算机代数与数论pdf,计算机代数及数论(maple).pdf
- 运算放大器虚短和虚断
- 单片机基础实验六则（汇编）
- UMTS与WCDMA
- 获取多边形的最大最小坐标
- 几款常见开源php博客体验
- qcustomplot时间坐标轴画直线_QCustomplot使用分享(六) 坐标轴和网格线
- 如何减少万兆以太网线外部串扰
- QImage和QPixmap相互转换
- BackTrack5安装Vmware Tools
- ajax传递数组参数
- 如何利用链接诱饵来为网站获取强大的流量？
- 商汤绝影再下一城，赋能本田中国首款纯电系列新车发布
- 北斗三号短报文终端在大坝安全监测方案的应用
- Elsevier期刊Latex模板修改Fig.1: 为Fig.1.