1. 优化角度分析

1）、L2正则化的优化角度分析

在限定的区域，找到使

最小的值。

图形表示为：

上图所示，红色实线是正则项区域的边界，蓝色实线是

的等高线，越靠里的等高圆，

越小，梯度的反方向是

减小最大的方向，用

表示，正则项边界的法向量用实黑色箭头表示。

正则项边界在点P1的切向量有

负梯度方向的分量，所以该点会有往相邻的等高虚线圆运动的趋势；当P1点移动到P2点，正则项边界在点P2的切向量与

梯度方向的向量垂直，即该点没有往负梯度方向运动的趋势；所以P2点是

最小的点。

结论：L2正则化项使值最小时对应的参数变小。

2）、L1正则化的优化角度分析

在限定的区域，找到使

最小的值。

结论：如上图，因为切向量始终指向w2轴，所以L1正则化容易使参数为0，即特征稀疏化。

2. 梯度角度分析

1）、L1正则化

L1正则化的损失函数为：

上式可知，当w大于0时，更新的参数w变小；当w小于0时，更新的参数w变大；所以，L1正则化容易使参数变为0，即特征稀疏化。

2）、L2正则化

L2正则化的损失函数为：

由上式可知，正则化的更新参数相比于未含正则项的更新参数多了

项，当w趋向于0时，参数减小的非常缓慢，因此L2正则化使参数减小到很小的范围，但不为0。

3. 先验概率角度分析

文章《深入理解线性回归算法（二）：正则项的详细分析》提到，当先验分布是拉普拉斯分布时，正则化项为L1范数；当先验分布是高斯分布时，正则化项为L2范数。本节通过先验分布来推断L1正则化和L2正则化的性质。

画高斯分布和拉普拉斯分布图（来自知乎某网友）：

由上图可知，拉普拉斯分布在参数w=0点的概率最高，因此L1正则化相比于L2正则化更容易使参数为0；高斯分布在零附近的概率较大，因此L2正则化相比于L1正则化更容易使参数分布在一个很小的范围内。

4. 知乎点赞最多的图形角度分析

函数极值的判断定理：

（1）当该点导数存在，且该导数等于零时，则该点为极值点；

（2）当该点导数不存在，左导数和右导数的符号相异时，则该点为极值点。

如下面两图：

左图对应第一种情况的极值，右图对应第二种情况的极值。本节的思想就是用了第二种极值的思想，只要证明参数w在0附近的左导数和右导数符合相异，等价于参数w在0取得了极值。

图形角度分析

损失函数L如下：

黑色点为极值点x1，由极值定义：L'(x1)=0；

含L2正则化的损失函数:

由结论可定性的画含L2正则化的图：

极值点为黄色点，即正则化L2模型的参数变小了。

含L1正则化的损失函数:

因此，只要C满足推论的条件，则损失函数在0点取极值(粉红色曲线），即L1正则化模型参数个数减少了。

5. 限制条件法

结论：含L1正则化的损失函数在0点取得极值的条件比相应的L2正则化要宽松的多，所以，L1正则化更容易得到稀疏解（w=0）。

6. PRML的图形角度分析

因为L1正则化在零点附近具有很明显的棱角，L2正则化则在零附近比较平缓。所以L1正则化更容易使参数为零，L2正则化则减小参数值，如下图。

（1）L1正则化使参数为零（2）L2正则化使参数减小

--------------------------

转载自比较全面的L1和L2正则化的解释

L1,L2正则化分析相关推荐

手推公式带你轻松理解L1/L2正则化
文章目录前言 L1/L2正则化原理从数学的角度理解L1/L2正则化从几何的角度理解L1/L2正则化 L1/L2正则化使用情形前言 L1/L2正则化的目的是为了解决过拟合,因此我们先要明白什么是 ...
L0,L1,L2正则化浅析
在机器学习的概念中,我们经常听到L0,L1,L2正则化,本文对这几种正则化做简单总结. 1.概念 L0正则化的值是模型参数中非零参数的个数. L1正则化表示各个参数绝对值之和. L2正则化标识各个参数 ...
L1 L2正则化和优化器的weight_decay参数
L1正则和L2正则的效果有什么差异?为什么? 角度一:解空间形状通常认为L1 正则化可以产生稀疏权值矩阵,即产生一个参数稀疏的模型. 而L2 正则化可以让模型的参数取绝对值较小的数. 考虑两种正则化 ...
L1 L2 正则化区别
文章一文章二机器学习中,如果参数过多,模型过于复杂,容易造成过拟合(overfit).即模型在训练样本数据上表现的很好,但在实际测试样本上表现的较差,不具备良好的泛化能力.为了避免过拟合,最常用的 ...
L1,L2正则化理解－奥卡姆剃刀(Occam's razor)原理
L0.L1与L2范数转自:zouxy09@qq.com http://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化.我们先简单的来理解下常用的 ...
正则项的原理、梯度公式、L1正则化和L2正则化的区别、应用场景
先对"L1正则化和L2正则化的区别.应用场景"给出结论,具体见后面的原理解释: L1正则化会产生更稀疏的解,因此基于L1正则化的学习方法相当于嵌入式的特征选择方法. L2正则化计算 ...
L1正则化 L2正则化的Python 实现
上一篇文档 https://blog.csdn.net/xingzhe2001/article/details/86316712 介绍了L1 L2正则化本文介绍L1, L2 正则化的实现 L1正则化 ...
l1、l2正则化在pytorch框架下的实现方式
转载PyTorch训练模型添加L1/L2正则化的两种实现方式_hlld__的博客-CSDN博客_pytorch添加正则化在使用PyTorch训练模型时,可使用三种方式添加L1/L2正则化:一种是添加 ...
l2正则化python_L1、L2正则化的区别
简单读了一些文章,总结一下L1和L2正则化的区别吧,似乎是非常容易被问到的一个问题. L1,L2正则化机器学习中, 损失函数后面一般会加上一个额外项,常用的是l1-norm和l2-norm,即l1范 ...

L1,L2正则化分析