1 岭回归（ridge regression）介绍

L2正则化的目的就是要让权重衰减到更小的值，在一定程度上减少过拟合的问题。

L2正则化可以使参数趋近于0，函数更加平滑

2 L2正则化的求解过程

半正定矩阵 $X^TX$ 加上对角矩阵λI一定是可逆的，可以解决 $X^TX$ 可能不可逆带来的问题。

3 从贝叶斯的角度看岭回归

和机器学习笔记：线性回归_UQI-LIUWJ的博客-CSDN博客中一样，我们仍然认为实际值和估计值之间的差距是高斯噪声，即y和f(w)满足：

另外，我们假设参数ω的分组服从以下先验分布（这里补充说明一下为什么线性回归里面不用假设ω的分布，但是岭回归里面需要：因为我们岭回归【L2正则化】的作用是限制参数ω的范围，也就是将他压缩到0附近的一个区间内，所以要限制他满足 $N(0,\sigma_0 ^2)$ 的范围内）

3.1 用最大后验法求解参数ω

找概率最大的w

可以看到正则化的最小二乘法与噪声为高斯噪声且参数先验也是高斯分布时的最大后验估计法是等价的。

4 总结

最小二乘法（线性回归）<——>噪声是高斯分布的最大先验估计

正则化最小二乘法（带正则项的线性回归）<——>噪声是高斯分布，且参数先验也是高斯分布的最大先验估计

机器学习笔记：岭回归（L2正则化）相关推荐

机器学习笔记——岭回归（Ridge Regression）
本内容整理自coursera,欢迎转载交流. (https://www.coursera.org/specializations/machine-learning) 1.一般回归遇到的问题一般的回归 ...
[机器学习-5]岭回归及python实现（Ridge Regression）
[机器学习-5]岭回归[L2正则化]及python实现(Ridge Regression)[L2] 前言题目岭回归(Ridge Regression) k-fold validation skle ...
机器学习笔记——模型选择与正则化
机器学习笔记--模型选择与正则化一.模型选择 1.方差与偏差 2.过拟合与欠拟合 3.模型选择的平衡 4.欠.过拟合解决方法二.正则化 1.正则化线性回归 2.正则化对数回归 3.训练集规模对误差 ...
【人工智能】机器学习：岭回归与LASSO回归(Ridge/LASSO Regression)
机器学习:岭回归与LASSO回归 (Ridge / LASSO Regression) 文章目录机器学习:岭回归与LASSO回归 (Ridge / LASSO Regression) 1. Ridg ...
李弘毅机器学习笔记：回归演示
李弘毅机器学习笔记:回归演示现在假设有10个x_data和y_data,x和y之间的关系是y_data=b+w*x_data.b,w都是参数,是需要学习出来的.现在我们来练习用梯度下降找到b和w. ...
python实现岭回归_python机器学习：岭回归介绍
接着上节讨论,岭回归也是一种用于回归的线性模型,因此它的预测公式与普通的最小二乘法相同.但在岭回归中,对系数(w)的选择不仅要在训练数据上得到好的预测结果,而且要拟合附加约束.同时我们还希望系数尽量小 ...
【机器学习】岭回归（L2正则在干嘛！）
在之前我们有介绍过贝叶斯线性回归,贝叶斯线性回归利用了最大后验估计(MAP)加上权重的高斯分布先验推导出带有L2正则项的线性回归. 其实这就是岭回归,即岭回归=MAP+高斯先验. 推导就参见 ...
【机器学习】岭回归和LASSO回归详解以及相关计算实例-加利福尼亚的房价数据集、红酒数据集
文章目录一,岭回归和LASSO回归 1.1 多重共线性 1.2 岭回归接手 1.3 线性回归的漏洞(线性系数的矛盾解释) 1.4 Ridge Regression 1.5 岭回归实例(加利福尼亚的房 ...
机器学习实战——岭回归、缩减法
一.基本知识 1.岭回归:从公式看,加入正则化项(2范数). 回归系数的计算公式为: 问题引入:若给定数据集X,如果XTX的逆存在,可以使用常规的线性回归方法.但是, (1)数据样本数比特征数少的情况 ...
sklearn机器学习：岭回归Ridge
在sklearn中,岭回归由线性模型库中的Ridge类来调用: Ridge类的格式 sklearn.linear_model.Ridge (alpha=1.0, fit_intercept=True, ...

机器学习笔记：岭回归（L2正则化）