1.1.7. Least Angle Regression

简介

求极值的算法有很多，有基于梯度的，例如：
常规梯度下降、坐标梯度下降、最速梯度下降、共轭梯度下降

也有基于样本和角度的，例如：
前向选择，前向梯度，最小角回归

其中，最小角回归是前向选择和前向梯度的优化。

为了寻找最小值，每种算法采取了不同的方式，下面是初始点到极值（最值）点间的路径：

纯粹梯度下降的路径是不规则的折线，每个折线的方向是梯度负方向
最速下降走折线，且前后两条折线必正交，因为方向可重复
坐标梯度下降也走正交折线（方向必延坐标轴方向），方向可重复
共轭梯度下降走折线，其全局正交（走的是多维空间的“边”）
前向选择基于样本固定了路径的方向（基于样本，每个样本都是一种特征的线性组合），用残差选择方向，有投影逼近目标
前向梯度基于样本方向和长度，逐步逼近
最小角回归在前向梯度的基础上，对样本（初始线性组合）再做组合，每次组合合并一个样本，最后在样本数次步骤内解决问题

优点

因为它的迭代是基于样本的，所以在样本数远少于特征数时，它的效率会很高
它与前向选择是同样的时间复杂度（样本数）
它会生成一个完整的分段线性解路径，这在交叉验证或类似的模型优化尝试中非常有用。
如果两个特征与目标几乎相等相关，则它们的系数应以大致相同的速率增加。因此，该算法的行为与直觉所期望的一样，并且也更稳定。（可以很好的解决多重共线性）
可用于其它模型：比如lasso

缺点

基于残差（样本）：对噪声很敏感

1.1.8. LARS Lasso

LassoLars是使用LARS算法实现的套索模型，与基于坐标下降的实现不同，这产生了精确的解，该解作为其系数范数的函数是分段线性的

Lars 算法几乎免费提供沿正则化参数的系数的完整路径，因此常见的操作是使用lars_path或lars_path_gram的函数之一检索路径。

该算法类似于前向逐步回归，但不是在每个步骤中包括特征，而是在一个方向上增加，该方向与每个系数与残差的相关性相等。

LARS 解不是给出向量结果，而是由一条曲线组成，该曲线表示
参数向量的l1l_1l1范数。完整系数路径存储在形状coef_path_数组中（n_features，max_features + 1）。第一列始终为零。

1.1.7. Least Angle Regression（最小角回归）和 1.1.8. LARS Lasso相关推荐

6.最小角回归（Least Angle Regression）
最小角回归是针对高维数据的回归算法. least angle regression 的优势如下: 当p>>n时计算是非常高效的.(比如当维数远大于点数) 它和前向选择计算速度差不多,并且和 ...
机器学习方法：回归（三）：最小角回归Least Angle Regression（LARS），forward stagewise selection
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 希望与志同道合的朋友一起交流,我刚刚设立了了一个技术交流QQ群:433250724,欢迎对算法.技术.应用感 ...
最小角回归（Least Angle Regression）
最小角回归和其他方法的比较逐步选择(forward selection)算法(例如forward stepwise regression)在进行子集选择的时候可能会显得太具有"侵略性&qu ...
Lasso回归算法：坐标轴下降法与最小角回归法小结
前面的文章对线性回归做了一个小结,文章在这: 线性回归原理小结.里面对线程回归的正则化也做了一个初步的介绍.提到了线程回归的L2正则化-Ridge回归,以及线程回归的L1正则化-Lasso回归.但是对 ...
机器学习最小角回归法 LARS
在介绍最小角回归算法前,我们需要了解两个相关算法,一个是前向选择算法(Foward Selection),一个是前向梯度算法(Forward Statgewise). 1.前向选择算法(Foward ...
ESL3.4 学习笔记（奇异值分解与拉格朗日乘子法下的岭回归，Lasso回归，最小角回归及三者对比分析）
3.4 收缩的方法这是一篇有关<统计学习基础>,原书名The Elements of Statistical Learning的学习笔记,该书学习难度较高,有很棒的学者将其翻译成中文并放 ...
ESL第三章回归的线性方法系数近似置信集/高斯-马尔可夫定理/正交化、最优子集/向前向后逐步选择/向前分段回归、参数有效数量/最小角回归、主成分/偏最小二乘、多输出收缩、其他L1和路径相关算法
(ESL把线性回归讲的非常丰富,真的开阔视野) 目录 3.2 线性回归模型的最小二乘法 3.2.2 高斯-马尔可夫定理 3.2.3 从简单单变量回归到多重回归 3.2.4 多输出 3.3 子集选择 3 ...
梯度下降回归SGDRegressor、岭回归（Ridge）和套索（Lasso）回归、套索最小角回归、ElasticNet回归、正交匹配追踪回归
梯度下降回归SGDRegressor.岭回归(Ridge)和套索(Lasso)回归.套索最小角回归.ElasticNet回归.正交匹配追踪回归目录
机器学习与算法（12）--最小角回归（LARS）
最小角回归(LARS) 最小角回归(LARS)是对高维数据的回归算法, 由 Bradley Efron, Trevor Hastie, Iain Johnstone 和 Robert Tibshira ...

1.1.7. Least Angle Regression（最小角回归）和 1.1.8. LARS Lasso

1.1.7. Least Angle Regression

简介

优点

缺点

1.1.8. LARS Lasso

1.1.7. Least Angle Regression（最小角回归）和 1.1.8. LARS Lasso相关推荐

最新文章

热门文章