week 4 ridge regression

coursera 上的华盛顿大学 machine learning： regression 第四周笔记

通常，过拟合的一个表现是拟合模型的参数很大。

为了防止过拟合

Total cost = measure of fit + measure of magnitude of coefficients

前者描述训练集拟合程度，后者评估回归模型系数大小，小则不会过拟合。

评估训练集拟合程度（ measure of fit ）：

　　RSS(w) 越小，拟合程度越好。

评估回归模型系数（measure of magnitude of coefficients）：

（1）系数绝对值之和 |w|， L1范数

（2）系数平方和 ||w||²，L2范数

岭回归：计算回归系数时使（ RSS(w)+λ||w||² ）最小

　　　　其中λ为平衡训练集拟合程度和拟合系数大小的调整参数。

在λ的选择上体现了 bias-variance tradeoff:

对于大的λ：high bias, low variance

对于小的λ：low bias, high variance

如何确定 λ 大小？

　　理想条件下（数据集足够大）：

　　training set: 训练集用于拟合回归模型

　　validation set: 检测系数大小，用于确定λ

　　test set: 测试集，计算泛化误差（generalization error)

　　实际情况下，数据集有限，常用方法有：

　　　　　K - fold cross validation

　　　　步骤：

　　　　对于每一个需要评估的 λ:

　　　　　　将数据集分为training set 和 test set；

　　　　　　将其中training set 打乱顺序（随机排序），分成 k 等分。

　　　　　　k 次循环，每次将k等份中其中一份作为 validation set, 剩下部分作为 training set

　　　　　　每次根据validation set 计算 error (λ), 结果为k次计算的平均值。

　　　　　　average （error (λ)）最小的为最合适的λ

梯度下降法求回归系数：

total cost = RSS(w)+λ||w||²

Cost(w)= SUM[ (prediction - output)^2 ]+ l2_penalty*(w[0]^2 + w[1]^2 + ... + w[k]^2).

求导：

derivative = 2*SUM[ error*[feature_i] ] + 2*l2_penalty*w[i].

（其中没有2*l2_penalty*w[0]这一项）

每次迭代：

 predictions = predict_output(feature_matrix, weights)errors = predictions - outputfor i in xrange(len(weights)): feature = feature_matrix[:, i]derivative = compute_derivative_ridge(errors, feature, weights[i], l2_penalty)weights[i] = weights[i] - step_size * derivative

转载于:https://www.cnblogs.com/smartweed/p/8486059.html

week 4 ridge regression相关推荐

R语言使用caret包构建岭回归模型（Ridge Regression ）构建回归模型、通过method参数指定算法名称、通过trainControl函数控制训练过程
R语言使用caret包构建岭回归模型(Ridge Regression )构建回归模型.通过method参数指定算法名称.通过trainControl函数控制训练过程目录
R语言glmnet拟合岭回归模型实战：岭回归模型的模型系数（ridge regression coefficients）及可视化、岭回归模型分类评估计算（混淆矩阵、accuracy、Deviance)
R语言glmnet拟合岭回归模型(ridge regression)实战:岭回归模型的模型系数(ridge regression coefficients)及可视化.岭回归模型分类评估计算(混淆矩阵. ...
R构建岭回归模型（Ridge Regression）实战
R构建岭回归模型(Ridge Regression)实战目录 R构建岭回归模型(Ridge Regression) 岭回归模型选择最优λ值交叉验证
脊回归(Ridge Regression) 岭回归
岭回归(英文名:ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的 ...
线性回归——lasso回归和岭回归（ridge regression）
目录线性回归--最小二乘 Lasso回归和岭回归为什么 lasso 更容易使部分权重变为 0 而 ridge 不行? References 线性回归很简单,用线性函数拟合数据,用 mean squ ...
机器学习基础（三十一）—— 岭回归（Ridge Regression）到 LASSO
如果数据集的特征比样本点还多(XN×d,d>NX_{N\times d},d> NXN×d,d>N)怎么办?是否还可以使用线性回归来做预测?答案是否定的,因为在计算 (XTX)−1 ...
ridge regression and lasso analysis-reproduced from csdn
岭回归.Lasso及其分析 2017年08月30日 15:06:27 阅读数:5381 基本概念前段我们讨论了线性回归模型的原理策略,假定可以表示为 f(xi)=∑k=1nwkxik+w0=wxif ...
Basics Algorithms| 岭回归(Ridge regression)
Ridge Regression is a linear regression with L2 regularization. 1. 线性回归(Linear Regression, LR) LR就是用 ...
Python 实现Ridge Regression教程
一般多重线性回归,使用p个预测变量和一个响应变量拟合模型,形式如下: Y = β 0 + β 1 X 1 + β 2 X 2 + - + β p X p + ε {β_0 + β_1X_1 + β_2 ...
Ridge Regression and Kernel Ridge Regression
http://blog.sina.com.cn/s/blog_eb23a2510102xe4o.html ridge regression可以用来处理下面两类问题:一是数据点少于变量个数:二是变量间存 ...

week 4 ridge regression

week 4 ridge regression相关推荐

最新文章

热门文章