机器学习 最小角回归法 LARS
在介绍最小角回归算法前,我们需要了解两个相关算法,一个是前向选择算法(Foward Selection),一个是前向梯度算法(Forward Statgewise)。
1.前向选择算法(Foward Selection)
假设有Y=Xθ,X为m*n的矩阵,Y为m*1的矩阵,我们要找到一个θ,最大程度的拟合输入和输出。
这里把X看成n个m*1的的向量Xi。
第一步:选择和目标Y最为接近的Xi(余弦相似度),记为Xk。
过Y向Xk向量做投影,投影的长度便作为Xk对应的系数,记为θk。
第二步:定义(残差)Y'=Y-Xk*θK
若Y‘把所有的自变量都投影完毕,或者Y' 为0,结束算法。
否则投影后的Y' 被设为新的目标Y,重复第一步。
图示引荐如下:
上图为Y在X1,X2上的分解,对应的θ即为要求解的系数。
2.前向梯度算法(Forward Stagewise)
同前向选择方法不同的一点是,θk的取值是人为设定的,每次θk会有一个初始值设为w,
计算残差Y‘=Y-Xk*w,再根据Y’去找相似度最大的向量Xi。
引图如下:
如上图Y沿着x1方向,行走εx1时,就会停下来计算残差,再判断究竟与x1的相似度还是与x2的相似度大,然后继续走下去。
3.最小角回归(Least Angle Regression, LARS)算法
首先,还是找到与因变量Y最接近或者相关度最高的自变量Xk,使用类似于前向梯度算法中的残差计算方法,得到新的目标Y',此时不用和前向梯度算法一样小步小步的走。而是直接向前走直到出现一个Xt,使得Xt和Y'的相关度和Xk与Yyes的相关度是一样的,此时残差Y'就在Xt和Xk的角平分线方向上,此时我们开始沿着这个残差角平分线走,直到出现第三个特征Xp和Yyes的相关度足够大的时候,即Xp到当前残差Yyes的相关度和θt,θk与Yyes的一样。将其也叫入到Y的逼近特征集合中,并用Y的逼近特征集合的共同角分线,作为新的逼近方向。以此循环,直到Yyes足够的小,或者说所有的变量都已经取完了,算法停止。此时对应的系数θ即为最终结果。
引图如下:
转自:https://www.cnblogs.com/mystudyblog/p/7532850.html
机器学习 最小角回归法 LARS相关推荐
- 机器学习与算法(12)--最小角回归(LARS)
最小角回归(LARS) 最小角回归(LARS)是对高维数据的回归算法, 由 Bradley Efron, Trevor Hastie, Iain Johnstone 和 Robert Tibshira ...
- Lasso回归算法: 坐标轴下降法与最小角回归法小结
前面的文章对线性回归做了一个小结,文章在这: 线性回归原理小结.里面对线程回归的正则化也做了一个初步的介绍.提到了线程回归的L2正则化-Ridge回归,以及线程回归的L1正则化-Lasso回归.但是对 ...
- Skleran-线性模型-最小角回归(LARS)
最小角回归 sklearn.linear_model.Lars sklearn.linear_model.LassoLars 最小角回归 sklearn.linear_model.Lars class ...
- 机器学习 最小角回归 LARS
推荐阅读:http://mlnotes.com/2013/08/21/lars.html
- 【Python机器学习预测分析算法实战五】最小角回归LARS
通过前面的介绍,我们了解到求解惩罚性回归模型等价于求解一个优化问题,有大量的通用算法可以求解.这次介绍一个非常快速敏捷的算法--最小角回归(LARS)算法.LARS算法可以理解为一种改进的前向逐步 ...
- ESL3.4 学习笔记(奇异值分解与拉格朗日乘子法下的岭回归,Lasso回归,最小角回归及三者对比分析)
3.4 收缩的方法 这是一篇有关<统计学习基础>,原书名The Elements of Statistical Learning的学习笔记,该书学习难度较高,有很棒的学者将其翻译成中文并放 ...
- 1.1.7. Least Angle Regression(最小角回归)和 1.1.8. LARS Lasso
1.1.7. Least Angle Regression 简介 求极值的算法有很多,有基于梯度的,例如: 常规梯度下降.坐标梯度下降.最速梯度下降.共轭梯度下降 也有基于样本和角度的,例如: 前向选 ...
- 机器学习方法:回归(三):最小角回归Least Angle Regression(LARS),forward stagewise selection
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 希望与志同道合的朋友一起交流,我刚刚设立了了一个技术交流QQ群:433250724,欢迎对算法.技术.应用感 ...
- 6.最小角回归(Least Angle Regression)
最小角回归是针对高维数据的回归算法. least angle regression 的优势如下: 当p>>n时计算是非常高效的.(比如当维数远大于点数) 它和前向选择计算速度差不多,并且和 ...
最新文章
- POJ2299 Ultra-QuickSort
- 【Android 热修复】热修复原理 ( 合并两个 Element[] dexElements | 自定义 Application 加载 Dex 设置 | 源码资源 )
- bzoj 2007 海拔 —— 最短路
- Shell配置_配置IP
- 这是我最喜欢的使用React Native创建生产级应用程序的技巧
- 基于Linux的USB主/从设备之间的三种通信方式-转
- hpasmcli查看HP服务器内存状态
- 神箭手云爬虫-爬取携程【国际】航班/机票信息-利用python解析返回的json文件将信息存储进Mysql数据库
- java 内置中介模式_详解Java设计模式编程中的中介者模式
- lua的坑(持续更新,每日更新两篇,9/15),更新到17个
- php 深度验证18位身份证是否正确,并获取地址,出生日期(时间戳),性别。
- springMVC 解决 “because it is included into a circular dependency(循环导入依赖)” 的问题
- linux开源炫酷命令行工具,Linux上超酷的命令行扩展工具Oh My Zsh
- 区块链共享数据架构设计
- printf输出bool值 | printf转换符
- 计算机局域网切换,怎么进入别人电脑--局域网【详解】
- Linux GCC简明教程(使用GCC编译C语言程序)
- 系统的软中断CPU使用率升高,我该怎么办?
- vant toast loading 倒计时_法考倒计时3天 | 民法典新旧对照表(四)合同部分(一)...
- linux常用工具awk,linux中awk工具
热门文章
- mysql using where_mysql 优化问题 Using where; Using filesort
- Unity Editor Window Zooming
- MySQL系列教程(五)
- 神经网络从产生到现在的发展历史--科普
- 如何深入理解PhalApi框架三层结构Api+Domain+Model模式
- java 上传图片 / 文件添加水印(png/jpg/pdf)
- 吴恩达机器学习笔记(五)正则化Regularization
- win10-SW2016工程图关联零件属性链接操作
- SOLIDWORKS如何简单高效地自动生成模型视图和标注
- 人力资源数据分析师前景_数据分析师的前途在哪?