http://blog.csdn.net/pipisorry/article/details/52974495

回归可能存在的问题

多重共线性（Multicollinearity）是指线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系而使模型估计失真或难以估计准确。

皮皮blog

岭回归 Ridge Regression

{也可以称作山脊回归}

当我们所使用的样本数据存在多重共线性问题时，岭回归是一种可行的回归方案。当多重共线性问题存在时，就连最基本的最小二乘估计都是有偏的，线性模型估计系数的方差将会很大，这表示分析结果可能远远偏离真实的水平。通过在模型中加入对偏误的度量，岭回归实现了减少模型标准误的效果。

还记得在上文中我们所提到的线性回归吧，它的模型结果通常被表示为y=a+ b*x的形式，同时这个式子中还包含了一个随机误差项，完整的模型方程表示如下：

y=a+b*x+e (随机误差项), [误差项用于解释模型估计值与实际观测值之间的预测误差]

=> y=a+y= a+ b1x1+ b2x2+....+e, for multiple independent variables.

在线性方程中，预测误差可以被分为两个部分，第一部分来自于偏误而第二部分来自于方差，二者中的任意一个都能致使预测产生误差。在此，我们将着重分析来自于方差的那一部分误差。

为了解决多重共线性问题，岭回归通过将调整参数λ引入模型，公式如下：

可以发现，在该式中共有两个组成部分，前者为基础的最小二乘项，而后者则为调整参数λ与系数β平方总和的乘积。对目标函数这样的补充主要用于收缩模型系数，从而起到减小模型方差的作用。

使用要点：

（1）除了正则性假设以外，这种回归在模型假设方面与最小二乘法回归完全一致；

（2）该模型收缩了估计系数的值，但是不会使它们接近于0，也就是说它并不具备变量选择的功能；

（3）该模型可以用为一种正则化方法，并且属于L2惩罚。

皮皮blog

Lasso回归 Lasso Regression

Lasso（Least Absolute Shrinkage and Selection Operator）方法也对回归系数的绝对规模采取了惩罚的形式。同时，它还能减少变异性并提高模型的精度。

目标函数如下所示：

由上式可见，Lasso回归与岭回归的不同之处在于其在惩罚函数中使用了绝对值而非平方和的形式，这将导致在模型的参数估计过程中有些系数会因为惩罚项的存在从而直接减少到0。随着惩罚力度的增强，越来越多的系数将会缩小并最终归结为0，这意味着在模型构建的同时我们也对原本给定的多个变量进行了变量选择。

使用要点：

（1）这种回归在模型假设方面与岭回归完全一致；

（2）模型可将某些变量对应的系数直接收缩至0，这有助于变量的筛选；

（3）该模型属于L1惩罚；

（4）如果存在某组预测因子高度相关的情况，Lasso方法仅会选取它们中的一个，并把所对应的系数收缩至0。

[数据分析员不得不知的7种回归技术]

最小角回归

分组最小角回归算法（Group LARS）

from: http://blog.csdn.net/pipisorry/article/details/52974495

ref:

回归的正则化模型：岭回归和Lasso回归（套索回归）相关推荐

1.1.3. Lasso（套索回归）
1.1.3. Lasso 一.简介首先,Lasso同样是线性回归的一种变体.而文档中指出,它是一种能让参数 ω \omega ω稀疏的模型(作用).它是压缩感知领域的基础(地位),在特定情况下,它可 ...
（六十一）线性模型：线性回归、岭回归和套索回归
线性回归(OLS) OLS的原理是,找到当训练集中y的预测值和真实值之差(残差)的平方和最小时,对应的参数(斜率.截距)值.需要使用的模块有: LinearRegression:线性回归模型: mak ...
L1正则化的线性模型——套索回归
1.套索回归的原理: 和岭回归一样,套索回归也会将系数限制在非常接近0的范围内,但是它限制的方式稍微有些不同,我们称之为L1正则化.与L2正则化不同的是,L1正则化会导致在使用套索回归的时候,有一部分 ...
岭回归和lasso回归_正则化(2)：与岭回归相似的 Lasso 回归
Lasso回归与ridge回归有很多相似之处,但是二者之间有一些显著的区别.如果你不太清楚岭回归,请参考前一章节推文:通俗易懂的岭回归. 1 lasso回归与 ridge 回归的相同点 1.1 la ...
正则化，岭回归Shrinkage，lasso稀疏性推导和论文总结
参考原文https://github.com/Catherine08/AI-paper-reading/blob/master/Regression%20shrinkage%20and%20selec ...
机器学习——线性回归衍生(过拟合、正则化、岭回归和LASSO回归)
过拟合.正则化.岭回归.LASSO回归为什么会出现线性回归的衍生方法--正规方程法的局限过拟合模型复杂度过拟合的概念防止过拟合的办法正则化岭回归(Ridge Regression) 1. ...
R语言中的岭回归、套索回归、主成分回归：线性模型选择和正则化
概述和定义在本文中,我们将考虑一些线性模型的替代拟合方法,除了通常的普通最小二乘法.这些替代方法有时可以提供更好的预测准确性和模型可解释性.最近我们被客户要求撰写关于模型选择的研究报告,包括一些 ...
正则化的岭回归、套索回归以及弹性网络
文章目录一.简介二.岭回归 2.1 简介 2.2 岭回归成本函数 2.3 模型训练方法三.Lasso回归 3.1 简介 3.2 Lasso回归成本函数 3.2 Lasso回归次梯度向量 3.3 ...
【机器学习入门】(8) 线性回归算法：正则化、岭回归、实例应用(房价预测)附python完整代码和数据集
各位同学好,今天我和大家分享一下python机器学习中线性回归算法的实例应用,并介绍正则化.岭回归方法.在上一篇文章中我介绍了线性回归算法的原理及推导过程:[机器学习](7) 线性回归算法:原理.公式 ...
线性模型系数解读中的那些坑，以套索回归（LASSO）和岭回归（Ridege）为例
线性模型系数解读中的那些坑,以套索回归(LASSO)和岭回归(Ridege)为例在线性回归类模型的训练过程中,模型通过数据拟合了目标变量y与特征变量X的关心,通过特征变量的线性组合来表征目标变量y; ...

回归的正则化模型：岭回归和Lasso回归（套索回归）

回归可能存在的问题

岭回归 Ridge Regression

Lasso回归 Lasso Regression

回归的正则化模型：岭回归和Lasso回归（套索回归）相关推荐

最新文章

热门文章