前言

一、权重衰减（L2正则化）的作用

作用：权重衰减（L2正则化）可以避免模型过拟合问题。
思考： L2正则化项有让w变小的效果，但是为什么w变小可以防止过拟合呢？
原理：（1）从模型的复杂度上解释：更小的权值w，从某种意义上说，表示网络的复杂度更低，对数据的拟合更好（这个法则也叫做奥卡姆剃刀），而在实际应用中，也验证了这一点，L2正则化的效果往往好于未经正则化的效果。（2）从数学方面的解释：过拟合的时候，拟合函数的系数往往非常大，为什么？如下图所示，过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以只有系数足够大，才能保证导数值很大。而正则化是通过约束参数的范数使其不要太大，所以可以在一定程度上减少过拟合情况。

注意只对W进行惩罚，b不惩罚；

w更新过程:

如果不惩罚，W的前面系数为1；

因为η、λ、n都是正的，所以1-ηλ/n小于1，它的效果是减小w，这也就是权重衰减（weight decay）的由来。当然考虑到后面的导数项，w最终的值可能增大也可能减小。lambd越大，对于模型的拟合抑制得越厉害。

**总结：**就整体而言，对比加入正则化和未加入正则化的模型，训练输出的loss和Accuracy信息，我们可以发现，加入正则化后，loss下降的速度会变慢，准确率Accuracy的上升速度会变慢，并且未加入正则化模型的loss和Accuracy的浮动比较大（或者方差比较大），而加入正则化的模型训练loss和Accuracy，表现的比较平滑。并且随着正则化的权重lambda越大，表现的更加平滑。这其实就是正则化的对模型的惩罚作用，通过正则化可以使得模型表现的更加平滑，即通过正则化可以有效解决模型过拟合的问题。

权重衰减（L2正则化）的作用相关推荐

动态正则化权重系数_权重衰减防止过拟合（L2正则化）
1..权重衰减(weight decay) L2正则化的目的就是为了让权重衰减到更小的值,在一定程度上减少模型过拟合的问题,所以权重衰减也叫L2正则化. L2正则化就是在代价函数后面再加上一个正则化项 ...
深度学习的权重衰减是什么_权重衰减和L2正则化是一个意思吗？它们只是在某些条件下等价...
权重衰减== L2正则化? 神经网络是很好的函数逼近器和特征提取器,但有时它们的权值过于专门化而导致过度拟合.这就是正则化概念出现的地方,我们将讨论这一概念,以及被错误地认为相同的两种主要权重正则化技 ...
Pytorch 正则化方法（权重衰减和Dropout）
正则化方法(权重衰退和Dropout) 正则化方法和以前学过的正则表达式没有任何关系! 花书 p141 说到: 能显式地减少测试误差(可能会以增大训练误差为代价)的方法都被称为正则化. 0. 环境介绍 ...
深度学习的权重衰减是什么_【深度学习理论】一文搞透Dropout、L1L2正则化/权重衰减...
前言本文主要内容--一文搞透深度学习中的正则化概念,常用正则化方法介绍,重点介绍Dropout的概念和代码实现.L1-norm/L2-norm的概念.L1/L2正则化的概念和代码实现- 要是文章看完 ...
正则化的作用以及L1和L2正则化的区别
0 正则化的作用正则化的主要作用是防止过拟合,对模型添加正则化项可以限制模型的复杂度,使得模型在复杂度和性能达到平衡. 常用的正则化方法有L1正则化和L2正则化.L1正则化和L2正则化可以看做是损失 ...
深度学习：权重衰减（weight decay）与学习率衰减（learning rate decay）
正则化方法:防止过拟合,提高泛化能力避免过拟合的方法有很多:early stopping.数据集扩增(Data augmentation).正则化(Regularization)包括L1.L2(L2 ...
权重衰减/权重衰退——weight_decay
目录权重衰减/权重衰退--weight_decay 一.什么是权重衰减/权重衰退--weight_decay? 二.weight decay 的作用三.设置weight decay的值为多少? 权 ...
欧氏距离,l2范数,l2-loss,l2正则化
欧式距离,l2范数,l2-loss,l2正则化 1.欧氏距离 2.L2范数范数计算公式 L1范数L2范数在机器学习方面的区别为什么L2范数可以防止过拟合? 3.L2-Loss 4.L2正则化正则 ...
详解L1和L2正则化
大纲: L1和L2的区别以及范数相关知识对参数进行L1和L2正则化的作用与区别 pytorch实现L1与L2正则化对特征进行L2正则化的作用 L1和L2的区别以及范数使用机器学习方法解决实际 ...
看图就懂:为什么L1正则化比L2正则化更容易得到稀疏解？为什么L2正则化可以用于防止过拟合？
相信大部分人都见到过,下面的这两张对比图,用来解释为什么L1正则化比L2正则化更容易得到稀疏解,然而很多人会纠结于"怎么证明相切点是在角点上?",呃,不必就纠结于此,请注意结论中的 ...

权重衰减（L2正则化）的作用

文章目录

前言

一、权重衰减（L2正则化）的作用

权重衰减（L2正则化）的作用相关推荐

最新文章

热门文章