Regularization

数学中的Regularization是为了解决overfitting问题而引入的一种方法。所谓overfitting就是在一些数学模型中由于过于复杂，有太多的观测参数，以至于一点点微小的误差都回产生巨大的影响，任何微小的数据扰动都会带来巨大的改变。在一些训练模型中用来fitting的data也会因为结构问题而Overfitting。

一般来说有两种克服Overfitting的方法：一是补偿模型的某些部分（如Regularization）；二是根据潜在的问题提供而外的数据来训练。

下面介绍Tikhonov Regularization作为例子。

在如下方程中：

Ax = b

要求解x的标准方法是最小二乘法：

Min || Ax – b ||^2

求解这个方程除了overfitting外，还有overdetermined (underdetermined)的问题。所谓overdetermined (underdetermined)，是指方程组中未知数的个数与方程数不不一致。如果把一个未知数看成一个自由度的话，每个单独的方程可以看成一个对应的constraint，当constraint的数目比未知数还多时，有可能找不到符合方程组的解；当方程的数目少于未知数时，可能有无穷多组解。显然当A不是方阵的时候肯定overdetermined(underdetermined)的。

A可能是奇异阵，这也是一个问题。

为了获得在某种条件下的解，加入regularization项如下：

|| Ax – b ||^2 + || Rx ||^2

其中，||.||是Euclidean norm，即平方和的根。

在很多情况下，R可以直接取单位阵。加入R之后可解如下：

x = (A^TA + RTR)^(-1)A^Tb

一些另外的取法。令R = a*L,L是对称Laplace-Beltrami算子。

L = V^(-1/2) * C * V^(-1/2)

V是一个voronoi area对角阵，C是一个系数对称cotangentweight矩阵。（cot(Betai,j） + cot(Betai,j)^-）/2, Beta是相邻三角形的角度。

可以把L作特征值分解，L = QBQ^T，Q为正交矩阵。因为正交矩阵不改变Frobenius norm，所以：

|| RU || = || aLU || = a|| QBQ^TU || = a|| BQ^TU||

Regularization相关推荐

深度学习3：手动实现L2正则化（L2 Regularization）
在神经网络中,正则化的作用是防止过拟合,本文将结合一个实例来讲解神经网络中的L2正则化,并手动(不使用框架)实现出来. 先来看代码运行结果: 增加L2正则化之前增加L2正则化之后: L2正则化为:λ ...
正则化方法：L1和L2 regularization、数据集扩增、dropout
https://www.toutiao.com/a6704868049352131080/ 为什么要使用正则化我们先回顾一下房价预测的例子.以下是使用多项式回归来拟合房价预测的数据: 正则化方法:防 ...
machine learning(15) --Regularization:Regularized logistic regression
Regularization:Regularized logistic regression without regularization 当features很多时会出现overfitting现象,图 ...
处理过拟合问题-Regularization
数学中的Regularization是为了解决overfitting问题而引入的一种方法.所谓overfitting就是在一些数学模型中由于过于复杂,有太多的观测参数,以至于一点点微小的误差都回产生巨 ...
Paper Review: Bayesian Regularization and Prediction
Paper Review: Bayesian Regularization and Prediction One-group Answers to Two-group questions Two-gr ...
机器学习之数学基础(四)～Lasso Regression回归, L1、L2 Regularization正则化, 回归问题中的损失函数
目录 1. Lasso回归 1.1 概念 1.2 正则化 1.3 Lasso回归模型 1.4 为什么Lasso Regression可以做降维? 1.5 参数求解 (1)坐标轴下降法 (2)最小角回归 ...
Coursera公开课笔记: 斯坦福大学机器学习第七课“正则化(Regularization)”
Coursera公开课笔记: 斯坦福大学机器学习第七课"正则化(Regularization)" +13投票斯坦福大学机器学习第七课"正则化"学习笔记, ...
第三讲-------Logistic Regression Regularization
第三讲-------Logistic Regression & Regularization 本讲内容: Logistic Regression ==================== ...
正则化方法/防止过拟合提高泛化能力的方法：L1和L2 regularization、数据集扩增、dropout
转载自:http://blog.csdn.net/u012162613/article/details/44261657 本文是<Neural networks and deep learnin ...
稀疏性和L1正则化基础 Sparsity and Some Basics of L1 Regularization
Sparsity 是当今机器学习领域中的一个重要话题.John Lafferty 和 Larry Wasserman 在 2006 年的一篇评论中提到: Some current challenges ...

Regularization

Regularization相关推荐

最新文章

热门文章