机器学习与算法（12）--最小角回归（LARS）

最小角回归（LARS）

最小角回归(LARS)是对高维数据的回归算法，由 Bradley Efron, Trevor Hastie, Iain Johnstone 和 Robert Tibshirani 开发完成。 LARS 和逐步回归很像。在每一步，它寻找与响应最有关联的预测。当有很多预测有相同的关联时，它没有继续利用相同的预测，而是在这些预测中找出应该等角的方向。

示例应用

import numpy as np
import matplotlib.pyplot as pltfrom sklearn import linear_model
from sklearn import datasetsdiabetes = datasets.load_diabetes()
X = diabetes.data
y = diabetes.targetprint("Computing regularization path using the LARS ...")
alphas, _, coefs = linear_model.lars_path(X, y, method='lasso', verbose=True)xx = np.sum(np.abs(coefs.T), axis=1)
xx /= xx[-1]plt.plot(xx, coefs.T)
ymin, ymax = plt.ylim()
plt.vlines(xx, ymin, ymax, linestyle='dashed')
plt.xlabel('|coef| / max|coef|')
plt.ylabel('Coefficients')
plt.title('LASSO Path')
plt.axis('tight')
plt.show()

优点和缺点

优点：

当 p >> n，该算法数值运算上非常有效。(例如当维度的数目远超点的个数)
它在计算上和前向选择一样快，和普通最小二乘法有相同的运算复杂度。
它产生了一个完整的分段线性的解决路径，在交叉验证或者其他相似的微调模型的方法上非常有用。
如果两个变量对响应几乎有相等的联系，则它们的系数应该有相似的增长率。因此这个算法和我们直觉上的判断一样，而且还更加稳定。
它很容易修改并为其他估算器生成解，比如Least Absolute Shrinkage and Selection Operator。

缺点：

因为 LARS 是建立在循环拟合剩余变量上的，所以它对噪声非常敏感。

机器学习与算法（12）--最小角回归（LARS）相关推荐

【Python机器学习预测分析算法实战五】最小角回归LARS
通过前面的介绍,我们了解到求解惩罚性回归模型等价于求解一个优化问题,有大量的通用算法可以求解.这次介绍一个非常快速敏捷的算法--最小角回归(LARS)算法.LARS算法可以理解为一种改进的前向逐步 ...
最小角回归 LARS算法包的用法以及模型参数的选择（R语言）
Lasso回归模型,是常用线性回归的模型,当模型维度较高时,Lasso算法通过求解稀疏解对模型进行变量选择.Lars算法则提供了一种快速求解该模型的方法.Lars算法的基本原理有许多其他文章可以参考, ...
机器学习最小角回归 LARS
推荐阅读:http://mlnotes.com/2013/08/21/lars.html
机器学习最小角回归法 LARS
在介绍最小角回归算法前,我们需要了解两个相关算法,一个是前向选择算法(Foward Selection),一个是前向梯度算法(Forward Statgewise). 1.前向选择算法(Foward ...
Lasso回归算法：坐标轴下降法与最小角回归法小结
前面的文章对线性回归做了一个小结,文章在这: 线性回归原理小结.里面对线程回归的正则化也做了一个初步的介绍.提到了线程回归的L2正则化-Ridge回归,以及线程回归的L1正则化-Lasso回归.但是对 ...
机器学习方法：回归（三）：最小角回归Least Angle Regression（LARS），forward stagewise selection
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 希望与志同道合的朋友一起交流,我刚刚设立了了一个技术交流QQ群:433250724,欢迎对算法.技术.应用感 ...
1.1.7. Least Angle Regression（最小角回归）和 1.1.8. LARS Lasso
1.1.7. Least Angle Regression 简介求极值的算法有很多,有基于梯度的,例如: 常规梯度下降.坐标梯度下降.最速梯度下降.共轭梯度下降也有基于样本和角度的,例如: 前向选 ...
ESL第三章回归的线性方法系数近似置信集/高斯-马尔可夫定理/正交化、最优子集/向前向后逐步选择/向前分段回归、参数有效数量/最小角回归、主成分/偏最小二乘、多输出收缩、其他L1和路径相关算法
(ESL把线性回归讲的非常丰富,真的开阔视野) 目录 3.2 线性回归模型的最小二乘法 3.2.2 高斯-马尔可夫定理 3.2.3 从简单单变量回归到多重回归 3.2.4 多输出 3.3 子集选择 3 ...
Skleran-线性模型-最小角回归（LARS）
最小角回归 sklearn.linear_model.Lars sklearn.linear_model.LassoLars 最小角回归 sklearn.linear_model.Lars class ...

机器学习与算法（12）--最小角回归（LARS）

最小角回归（LARS）

机器学习与算法（12）--最小角回归（LARS）相关推荐

最新文章

热门文章