【机器学习笔记】Regularization : Ridge Regression(岭回归)
要点总览
- 线性回归,即最小二乘法,它的目的是最小化残差平方的总和。
- 而岭回归需要在此基础上增加 lambda x 所有参数的平方之和(如斜率等,除y轴截距外),这部分被称为岭回归补偿(Ridge Regression Penalty)。
- lambda值(也叫调整参数,tuning parameter)可以由0到正无穷,随着lambda值的增大,我们预测的Size随着Weight的变化会越来越小。
- 我们可以通过交叉验证,尤其是十折交叉验证(10-fold Cross Validation)来决定哪一个lambda值可以得到最小的方差(Variance)。
- 在上述例子中,横轴和竖轴都是连续变量,但除此之外,岭回归还可以对离散变量起作用。
- 岭回归还可被用于两个参数以上的复杂模型。
- 岭回归最酷的事情来了!
知识补充一:https://blog.csdn.net/Ha1f_Awake/article/details/102895232
比起简单的线性回归,岭回归会寻找一条不完全匹配训练模型的直线,也就是存在一定的偏差(Bias),但对于测试模型来说,数据集的方差(Variance)会大幅下降。
换言之,岭回归通过在开始时减少一定的匹配程度,以达到更好的预测效果。
网上找到的解释是:岭回归是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法。
线性回归,即最小二乘法,它的目的是最小化残差平方的总和。
而岭回归需要在此基础上增加 lambda x 所有参数的平方之和(如斜率等,除y轴截距外),这部分被称为岭回归补偿(Ridge Regression Penalty)。
知识补充二:https://blog.csdn.net/Ha1f_Awake/article/details/102900491
lambda值(也叫调整参数,tuning parameter)可以由0到正无穷,随着lambda值的增大,我们预测的Size随着Weight的变化会越来越小。
那么我们如何确定lambda的取值?
我们可以通过交叉验证,尤其是十折交叉验证(10-fold Cross Validation)来决定哪一个lambda值可以得到最小的方差(Variance)。
在上述例子中,横轴和竖轴都是连续变量,但除此之外,岭回归还可以对离散变量起作用。
对于线性回归来说,在下面的等式中,y轴截距的数值等于Normal Diet对应的Size的平均值;斜率的数值等于High Fat Diet对应的Size的平均值与Normal Diet的对应平均值之差(之后将这个差值称为offset)。
当用岭回归来决定y轴截距和斜率的数值时,岭回归补偿值等于 lambda x offset²。
当lambda=0时,会得到与线性回归相同的方程;
当lambda值增大时,只有一种方法可以最小化岭回归补偿值,那就是减少offset的值。换言之,当lambda值增大时,我们对High Fat Diet 的Size值的预测与offset的相关性会越来越小。
岭回归还可被用于两个参数以上的复杂模型。
与此同时,岭回归补偿值也会发生变化,它会包含除y轴截距以外的所有参数的平方之和。
岭回归最酷的事情来了!
二维坐标中有两个变量,根据两点确定一直线,我们至少需要两个点来得出最小二乘法的解决方案;在三维坐标中有三个变量,根据三点确定一个面,我们至少需要三个点来得出最小二乘法的解决方案;四维、五维...如此类推
但如果我们的测试数据少于,甚至远少于参数的个数,如何得到一个解决方案?
—— 这时候岭回归带着交叉验证站了出来。
(未完待续)
【机器学习笔记】Regularization : Ridge Regression(岭回归)相关推荐
- scikit-learn学习笔记(四)Ridge Regression ( 岭回归 )
岭回归通过对系数的大小施加惩罚来解决 普通最小二乘 的一些问题. ridge coefficients ( 岭系数 )最小化了惩罚的残差平方和, 这里, 是控制收缩量的复杂度参数: 值越大,收缩量 ...
- 脊回归(Ridge Regression) 岭回归
岭回归(英文名:ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的 ...
- 2.Ridge Regression 岭回归
Ridge 岭回归通过对回归稀疏增加罚项来解决 普通最小二乘法 的一些问题.岭回归系数通过最小化带罚项的残差平方和 上述公式中, 是控制模型复杂度的因子(可看做收缩率的大小) : 越大,收缩率 ...
- 机器学习笔记1:基于Logistic回归进行数据预测
机器学习笔记1:基于Logistic回归进行数据预测 一.背景 近期项目的一个核心部分就是实现对数据的预测,因为没有实际的数据样本,所以我准备近期学习Machine Learning的几种方式,从简单 ...
- 机器学习学习笔记(13)----岭回归(Ridge回归)
在<机器学习学习笔记(4)----线性回归的数学解析>,我们通过计算线性模型的损失函数的梯度,得到使得损失函数为最小值的的解析解,被称之为普通最小二乘法: (1) 公式(1)能够求得 ...
- 【原】Coursera—Andrew Ng机器学习—课程笔记 Lecture 6_Logistic Regression 逻辑回归
Lecture6 Logistic Regression 逻辑回归 6.1 分类问题 Classification 6.2 假设表示 Hypothesis Representation 6.3 决策边 ...
- 【机器学习】正则化的线性回归 —— 岭回归与Lasso回归
python风控评分卡建模和风控常识(博客主亲自录制视频教程) https://study.163.com/course/introduction.htm?courseId=1005214003&am ...
- 机器学习笔记(十一)——逻辑回归
一.引言 虽然说是逻辑回归,其实既可以用它做回归,也可以用它做分类.一般我们从最简单的二分类问题开始了解他,当然也可以做多分类. 二.Logistic Regression 的一般步骤 找一个合适的假 ...
- 机器学习之局部加权、岭回归和前向逐步回归
都说万事开头难,可一旦开头,就是全新的状态,就有可能收获自己未曾预料到的成果.记录是为了更好的监督.理解和推进,学习过程中用到的数据集和代码都将上传到github 回归是对一个或多个自变量和因变量之间 ...
最新文章
- deepin tim(wine)无法安装_利用HyperV虚拟机,如何在Win10上安装Deepin国产操作系统?深度好文!...
- hdu 5280(最大子串和变形,dp)
- 机器学习怎么入门?一份速成指南拿好!
- CentOS7下Spark集群的安装
- 酒泉于洋计算机学校,于洋
- html5 websocket与c,打通B/S与C/S !让HTML5 WebSocket与.NET Socket公用同一个服务端!
- GB28181-2016过检通过
- angulrar知识点整理
- 20200708每日一句
- matlab有shapely包吗,[哈工大]Modelarts NPU 安装shapely包失败
- shell 小米system锁adb_小米/红米系列手机解system分区锁方法详解
- 面试题笔试-带答案-1
- 学习Python你必须了解的lenna小姐姐
- 从客户需求开始你的供应链管理战略
- python 学习分享之简单的播放音乐1(playsound)
- vs2017无法安装 install Microsoft.VisualStudio.MinShell.Msi.Resources的问题
- 某数4代cookie生成-2
- jupyter notebooks打开的是百度网盘
- 算法导论_第三版PDF
- C#实现工厂模式简介--实现访问不同的数据库
热门文章
- 微信小程序直播商品与直播房间管理时提示:api unauthorized hints: [mhcddo3Me-lLeTBA!]/r/napi 功能未授权
- /lib/arm64, /system/lib64, /product/lib64]]] couldn't find
- 让马云说说,我们为什么留不住员工
- 一封来自资深嵌入式工程师的深情感谢信
- 申请美国访问学者邀请函,具体有哪些要求?
- 基于神经网络给图识物
- Premiere使用教程(四)关键帧与替换素材/嵌套序列
- Opencv读取图像时候的路径问题
- Signal Desktop for Mac(专业加密通讯软件)
- python的turtle库画一只小狐狸