看图就懂:为什么L1正则化比L2正则化更容易得到稀疏解？为什么L2正则化可以用于防止过拟合？
相信大部分人都见到过，下面的这两张对比图，用来解释为什么L1正则化比L2正则化更容易得到稀疏解，然而很多人会纠结于"怎么证明相切点是在角点上？"，呃，不必就纠结于此，请注意结论中的"容易"二字，配图只是为了说明"容易"而已。
假设x仅有两个属性，即w只有两个分量w1,w2，稀疏解->w1=0或w2=0，即w的等值线与平方误差等值线的切点位于坐标轴。其中L2正则项等值线为圆型，L1正则项等值线为方形，代价函数等值线即平方误差等值线这里假设为圆形。
L1和L2为正则化项，即约束象限，用来限制参数范围，为什么要加正则化向呢？在线性的情况下，使用测量数据直接计算得到的解有两部分：一部分是准确解的信息，另一部分则是噪声信息，加入正则化项(也称惩罚项)，可以平衡/过滤掉噪声特征信息，从而保留最具有训练价值的特征。
如上图所示，相比圆，方形的顶点更容易与抛物面相交，顶点就意味着对应的很多系数为0，而L2正则项中的圆上的任意一点都很容易平方误差等值线相交很难得到正好等于0的系数，而L1正则项中的方形则相对容易得到等于0的系数。
事实上L1与L2均可以实现与平方误差等值线的切点位于坐标轴上，只不过L2需平方误差等值线的"中心点"位于坐标轴上才可能实现L2与平方误差等值线的切点位于坐标轴，即w1=0或w2=0，从而获得稀疏解。而L1就不需要这样的硬性条件，所以L1相对L2比较容易获得稀疏解。如下所示
L2正则化：切点(稀疏解)可能位置
如下图示例，蓝色线为平方误差等值线，共有4种圆心处于不同位置的等值线，红色线为L2正则化等值线，蓝色线和红色线的切点为黄色点。切点(稀疏解)位于坐标轴上有4种方式。
L1正则化：切点(稀疏解)可能位置
如下图示例，蓝色线为平方误差等值线，共有n(n≥4)种圆心处于不同位置的等值线，红色线为L1正则化等值线，蓝色线和红色线的切点为黄色点。切点(稀疏解)位于坐标轴上可有n种方式。
L1更容易得到稀疏解，只是在在容易程度上比较，并不是说L2就不能得到稀疏解，只是L2的稀疏性不强。
因此
L1正则化常用于生成稀疏矩阵，用于特征选择(部分特征对应的参数w=0)
简单来讲，越好的特征包含的数据分布信息越多，差的特征也包含一定的数据分布信息，但同时还会包含大量的噪声，特征选择旨在于选择出好的特征去学习，而不是为了一点点的模型训练提升去引入学习更多的噪声
而L2正则化常用于防止过拟合，那么问题来了
为什么L2正则化可以防止过拟合？L2正则化和过拟合的关系
首先图释什么是过拟合/欠拟合，简单说就是一种拟合程度，直线(曲线)经过点(特征点+噪声点)的数量，如下图所示，
什么是过拟合？模型训练时候的误差很小，但在测试的时候误差很大，也就是我们的模型复杂到可以拟合到我们的所有训练样本了，但在实际预测新的样本的时候，糟糕的一塌糊涂。通俗的讲就是应试能力很强，实际应用能力很差。
拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型(c=0,d=0,...)。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』。
怎样解决过拟合？
一是减少特征的数量，二是正则化。
而L2正则化可以得到值很小(参数都接近于0)的参数，所以L2正则化又称权重衰减
L2的作用就是让所有的参数都接近于0，个人理解，L2的优越性并不主要体现在让参数变小上，关键是在于让所有的参数比较均衡。也就是说所有的特征的表达能力都差不多。这样就不至于让模型对某个特征特别敏感，也就是说在测试集上运行的时候，即使某个特征上有噪声异常突出，但对于整体模型的输出而言，并不会被这个噪声带偏特别多。
如下图所示，
L2正则化使得尖锐点更平滑，
那么为什么L2正则化可以得到值很小(参数都接近于0)的参数？
L2正则化就是在代价函数后面再加上一个正则化项，目标函数如下所示
其中，J0为代价函数，其余为正则化项(惩罚项)。λ为正则化系数，用来平衡J0于正则化项。
对参数w求导:
令导数为0得到：
可以得到有无正则化项时，参数w的取值情况如下，
观察易得到，相对于无L2正则化项的代价函数，有L2正则化项的代价函数得到的参数w最优解绝对值更小即更接近0。而当正则化项为L1正则化时，对J(w)求导结果(有无正则化项)相对L1没有明显变化，如下所示
综上所述，
L1正则化：生成稀疏参数，用于特征选择
L2正则化：平衡化各个参数，使每个参数均接近0，用于防止过拟合。
此外，L1正则化也可以防止一定程度的过拟合，即过滤噪声特征，使噪声特征对应的参数为0，即减少特征数量，从而达到抑制过拟合的效果。
看图就懂:为什么L1正则化比L2正则化更容易得到稀疏解？为什么L2正则化可以用于防止过拟合？相关推荐
- 为什么L1惩罚L2惩罚更容易得到稀疏解
在优化问题中,为什么L1惩罚L2惩罚更容易得到稀疏解 L 1 _1 1惩罚与L 2 _2 2惩罚是什么 下面从3个角度解释为什么L1惩罚L2惩罚更容易得到稀疏解 最优化问题的角度 梯度的角度 L ...
- 看图搞懂三极管的三个工作状态/三极管工作原理新讲解
这篇文章最大的特点是详细分析了使三极管达到饱和导通的条件和方法,以及注意事项,对实际使用中问题的分析和参数的选择还是很有帮助的. 大家都知道三极管是电流控制型元件,三极管工作在放大状态下存在Ic=βI ...
- 【笔记】范数：L1范数充当正则项，让模型获得稀疏解，解决过拟合问题
注: 注: 注: 注: 正文: Suppose you are the king of a kingdom that has a large population and an OK over ...
- 聚类中心坐标公式如何使用_如何使用CAD看图软件来测量坐标？
当我们在拿到图纸的时候,经常会需要使用测量工具,再次测量dwg图纸上的数据.浩辰CAD看图王软件,不仅可以看图,也可以编辑图纸,测量功能更是很方便,当我们在测量的时候,如何测量图纸上点的坐标呢? 浩辰 ...
- CAD快速看图怎么转换成PDF格式？这一款软件就足够
CAD快速看图怎么转换成PDF格式?CAD文件是一种比较专业的文件,一般用于设计.绘图等,这种文件需要特殊的软件才可以打开,不过对于大多数人来说,都很少会安装这种软件,因为下载和安装软件需要很多时间, ...
- 哪款app看计算机书籍好,实测六款主流看图软件，看看哪一款更轻小、便捷、实用？...
实测六款主流看图软件,看看哪一款更轻小.便捷.实用? 2020-08-18 19:47:38 46点赞 127收藏 63评论 创作立场声明:本文通过空间.界面.内存.格式这4个方面对Picasa.Ho ...
- L1正则能够得到稀疏解
在复习到过拟合的解决方法的时候L1正则化和L2正则化都可以用于降低过拟合的风险,但是L1正则化还会带来一个额外的好处:它比L2正则化更容易获得稀疏解,也就是说它求得的w权重向量具有更少的非零分量.主要 ...
- 高铁、动车到底啥区别？看完彻底懂了(组图)
摘自:网易新闻 (原标题:高铁.动车到底啥区别?看完彻底懂了(组图)) 高铁与动车的区别到底在哪里?磁悬浮列车又是什么鬼?今天给你讲讲清楚! 高铁.动车到底啥区别?看完彻底懂了 一.普通列车与高铁钢轨 ...
- Neurons字幕组 | 2分钟带你看懂李飞飞论文：神经网络是怎样给一幅图增加文字描述，实现“看图说话”的？（附论文下载）
Neurons字幕组出品 翻译|智博校对|龙牧雪 时间轴|虫2后期| Halo 项目管理|大力 Neurons字幕组 第四期作品震撼来袭! Neurons字幕组源自英文单词Neuron,一个个独立的神 ...
最新文章
- Linux System Programming --Chapter Nine
- python手机端秒杀_python实现淘宝秒杀脚本
- 无线运维——J2ME和WAP运维方式的优缺点
- linux下编辑文件实验,Linux上最常用的文本编辑器vi/vim使用教程
- 服务器上怎么强制删除文件夹,Windows10系统强制删除文件的方法
- php如何让浏览器切换到极速模式,如何识别并切换到浏览器极速模式？
- 五禽戏 （中国传统健身方法）
- 【Java】根据生日计算年龄
- 四川跃恒云启网络科技有限公司：拼多多推广花费高怎么调整
- 在线APP设计平台，APP在线开发工具有哪些？
- C4.5(决策树预测)算法
- Win8系统mscomctl.ocx缺失的解决方法 run-time error 339
- Android Studio 关于TextToSpeech Speak失败
- C\C++中计时、延时函数
- 通用课程表教师表php,利用Access实现学校课程表的科学管理
- 重磅推荐 ｜ SkyWalking未来初探（文末有福利哦）
- UI组件之AdapterView及其子类（一）三种Adapter适配器填充ListView
- Windows语音朗读
- 二少爷的Review第一集UIApplication相关
- 运维之道 | Git分布式版本控制常用命令解析