机器学习基础（三十一）—— 岭回归（Ridge Regression）到 LASSO

如果数据集的特征比样本点还多（XN×d,d>NX_{N\times d},d> NXN×d,d>N）怎么办？是否还可以使用线性回归来做预测？答案是否定的，因为在计算 (XTX)−1(X^TX)^{-1}(XTX)−1 的时候会出错。

为了解决这个问题，统计学家引入了岭回归（ridge regression）的概念。简单说来，岭回归就是在矩阵 XTXX^TXXTX 上加一个 λI\lambda IλI 使得矩阵非奇异，进而能对 XX+λIX^X+\lambda IXX+λI 求逆。在这种情况下，回归系数的计算公式变为：

w=(XTX+λI)−1XTyw=(X^TX+\lambda I)^{-1}X^Ty w=(XTX+λI)−1XTy

岭回归最先用来处理特征数多于样本数的情况，现在也用于在估计中加入偏差，从而得到更好的估计。这里通过引入 $\lambda $ 限制了所有 www 之和，通过引入该惩罚项，能够减少不重要的参数。这个技术在统计学上也叫作缩减（shrinkage）。

不难证明，在增加如下约束时，普通的最小二乘法回归会得到与岭回归一样的公式：
∥w∥2=∑i=1dwi2≤λ\|w\|^2=\sum_{i=1}^dw_i^2\leq \lambda ∥w∥2=i=1∑dwi2≤λ

上式限定了所有回归系数的平方和（二范数的平方）不能大于 λ\lambdaλ，使用普通的最小二乘法回归（线性回归）在当两个或更多的特征相关时，可能会得出一个很大的正系数和一个很大的负系数（回归系数）。正是因为上述限制的存在，使用岭回归可以避免这个问题。

与岭回归类似，另一个缩减（Shrinkage）LASSO 也对回归系数做了限定，对应的约束条件如下：
∥w∥1=∑i=1d∣wi∣≤λ\|w\|_1=\sum_{i=1}^d|w_i|\leq \lambda ∥w∥1=i=1∑d∣wi∣≤λ

唯一的不同点在于，这个约束条件使用绝对值取代了平方和。虽然约束形式只是稍作变化，结果却大相径庭：当 $\lambda $ 足够小的时候，一些系数会因此缩减到 0.

1. 正则化的眼光

过度拟合与参数正则：
- 大的系数可以将输入 X 的微小变动放大，进一步通过多个正负项的叠加尽量把每一个点都拟合上（包括那些离群点）
- 换句话说，如果系数大得离谱，且有正有负，多半是因为过拟合了；
- 对系数进行约束，也即对模型进行正则，便可以有效地解决过拟合问题；
Ridge Regression ⇒ ℓ2\ell_2ℓ2 正则，会约束最终的参数值很小，在0的左右摆动，但不会为0
Lasso Regression ⇒ ℓ1\ell_1ℓ1 正则，会使得很多参数值为 0，参数稀疏化，实现参数选择；

机器学习基础（三十一）—— 岭回归（Ridge Regression）到 LASSO相关推荐

多元线性回归算法: 线性回归Linear Regression、岭回归Ridge regression、Lasso回归、主成分回归PCR、偏最小二乘PLS
0. 问题描述输入数据:X=(x1,x2,....,xm)\mathbf{X} = (x_1, x_2,...., x_m)X=(x1,x2,....,xm), 相应标签 Y=(y1,y2,. ...
岭回归(Ridge Regression)和Lasso回归
1.岭回归(Ridge Regression) 标准线性回归(简单线性回归)中: 如果想用这个式子得到回归系数,就要保证(X^TX)是一个可逆矩阵. 下面的情景:如果特征的数据比样本点还要多,数据特征 ...
从最小二乘到岭回归(Ridge Regression)的深刻理解
岭回归是带二范数惩罚的最小二乘回归. ols方法中, &lt;img src="https://pic1.zhimg.com/716fd592b5b8cb384bd68771 ...
Basics Algorithms| 岭回归(Ridge regression)
Ridge Regression is a linear regression with L2 regularization. 1. 线性回归(Linear Regression, LR) LR就是用 ...
岭回归(Ridge Regression)
岭回归出现的原因: 为了求得参数w,也可以不用迭代的方法(比如梯度下降法对同一批数据一直迭代,可以采用标准方程法一次性就算出了w = (XTX)-1XTy ,但是如果数据的特征比样本点还多,则计算(X ...
机器学习第三回——逻辑回归 (Logistic Regression)
分类问题属于监督学习的一种,要预测的变量
Coursera公开课笔记: 斯坦福大学机器学习第六课“逻辑回归(Logistic Regression)”
Coursera公开课笔记: 斯坦福大学机器学习第六课"逻辑回归(Logistic Regression)" 斯坦福大学机器学习第六课"逻辑回归"学习笔记,本次 ...
斯坦福大学机器学习第四课“逻辑回归(Logistic Regression)”
斯坦福大学机器学习第四课"逻辑回归(Logistic Regression)" 本次课程主要包括7部分: 1) Classification(分类) 2) Hypothesis R ...
【机器学习】2. 线性模型 - 岭回归
上一篇:[普通最小二乘法] 文章目录岭回归增大alpha 减小alpha alpha与模型复杂度的对应关系完整代码岭回归 Ridge 回归通过对系数的大小施加惩罚来解决普通最小二乘法的一些 ...
ridge regression and lasso analysis-reproduced from csdn
岭回归.Lasso及其分析 2017年08月30日 15:06:27 阅读数:5381 基本概念前段我们讨论了线性回归模型的原理策略,假定可以表示为 f(xi)=∑k=1nwkxik+w0=wxif ...

机器学习基础（三十一）—— 岭回归（Ridge Regression）到 LASSO

1. 正则化的眼光

机器学习基础（三十一）—— 岭回归（Ridge Regression）到 LASSO相关推荐

最新文章

热门文章