比较全面的L1和L2正则化的解释
点击上方“小白学视觉”,选择加"星标"或“置顶”
重磅干货,第一时间送达本文转自|机器学习算法那些事
前言
前段时间写了一篇文章《深入理解线性回归算法(二):正则项的详细分析》,文章提到L1是通过稀疏参数(减少参数的数量)来降低复杂度,L2是通过减小参数值的大小来降低复杂度。网上关于L1和L2正则化降低复杂度的解释五花八门,易让人混淆,看完各种版本的解释后过几天又全部忘记了。因此,文章的内容总结了网上各种版本的解释,并加上了自己的理解,希望对大家有所帮助。
目录
1、优化角度分析
2、梯度角度分析
3、先验概率角度分析
4、知乎点赞最多的图形角度分析
5、限制条件角度分析
6.、PRML的图形角度分析
7、总结
1、优化角度分析
1、L2正则化的优化角度分析
在限定的区域,找到使最小的值。
图形表示为:
上图所示,红色实线是正则项区域的边界,蓝色实线是的等高线,越靠里的等高圆,越小,梯度的反方向是减小最大的方向,用表示,正则项边界的法向量用实黑色箭头表示。
正则项边界在点P1的切向量有负梯度方向的分量,所以该点会有往相邻的等高虚线圆运动的趋势;当P1点移动到P2点,正则项边界在点P2的切向量与梯度方向的向量垂直,即该点没有往负梯度方向运动的趋势;所以P2点是最小的点。
结论:L2正则化项使值最小时对应的参数变小。
2、L1正则化的优化角度分析
在限定的区域,找到使最小的值。
结论:如上图,因为切向量始终指向w2轴,所以L1正则化容易使参数为0,即特征稀疏化。
2、梯度角度分析
1、L1正则化
L1正则化的损失函数为:
上式可知,当w大于0时,更新的参数w变小;当w小于0时,更新的参数w变大;所以,L1正则化容易使参数变为0,即特征稀疏化。
2、L2正则化
L2正则化的损失函数为:
由上式可知,正则化的更新参数相比于未含正则项的更新参数多了项,当w趋向于0时,参数减小的非常缓慢,因此L2正则化使参数减小到很小的范围,但不为0。
3、先验概率角度分析
文章《深入理解线性回归算法(二):正则项的详细分析》提到,当先验分布是拉普拉斯分布时,正则化项为L1范数;当先验分布是高斯分布时,正则化项为L2范数。本节通过先验分布来推断L1正则化和L2正则化的性质。
画高斯分布和拉普拉斯分布图(来自知乎某网友):
由上图可知,拉普拉斯分布在参数w=0点的概率最高,因此L1正则化相比于L2正则化更容易使参数为0;高斯分布在零附近的概率较大,因此L2正则化相比于L1正则化更容易使参数分布在一个很小的范围内。
4、知乎点赞最多的图形角度分析
函数极值的判断定理:
(1)当该点导数存在,且该导数等于零时,则该点为极值点;
(2)当该点导数不存在,左导数和右导数的符号相异时,则该点为极值点。
如下面两图:
左图对应第一种情况的极值,右图对应第二种情况的极值。本节的思想就是用了第二种极值的思想,只要证明参数w在0附近的左导数和右导数符合相异,等价于参数w在0取得了极值。
图形角度分析
损失函数L如下:
黑色点为极值点x1,由极值定义:L'(x1)=0;
含L2正则化的损失函数:
由结论可定性的画含L2正则化的图:
极值点为黄色点,即正则化L2模型的参数变小了。
含L1正则化的损失函数:
因此,只要C满足推论的条件,则损失函数在0点取极值(粉红色曲线),即L1正则化模型参数个数减少了。
5、限制条件法
这种思想还是来自知乎的,觉得很有趣,所以就记录在这篇文章了,思想用到了凸函数的性质。我就直接粘贴这种推导了,若有不懂的地方请微信我。
结论:含L1正则化的损失函数在0点取得极值的条件比相应的L2正则化要宽松的多,所以,L1正则化更容易得到稀疏解(w=0)。
6、PRML的图形角度分析
因为L1正则化在零点附近具有很明显的棱角,L2正则化则在零附近比较平缓。所以L1正则化更容易使参数为零,L2正则化则减小参数值,如下图。
(1)L1正则化使参数为零 (2)L2正则化使参数减小
7、总结
本文总结了自己在网上看到的各种角度分析L1正则化和L2正则化降低复杂度的问题,希望这篇文章能够给大家平时在检索相关问题时带来一点帮助。若有更好的想法,期待您的精彩回复,文章若有不足之处,欢迎更正指出。
参考:
https://www.zhihu.com/question/37096933
林轩田老师 《机器学习基石》
好消息,小白学视觉团队的知识星球开通啦,为了感谢大家的支持与厚爱,团队决定将价值149元的知识星球现时免费加入。各位小伙伴们要抓住机会哦!
下载1:OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2:Python视觉实战项目52讲
在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。
下载3:OpenCV实战项目20讲
在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~
比较全面的L1和L2正则化的解释相关推荐
- 梯度下降、牛顿法凸优化、L1、L2正则化、softmax、Batchnorm、droupout、Targeted Dropout详解
一.梯度下降 问题提出:虽然给定一个假设函数,我们能够根据cost function知道这个假设函数拟合的好不好,但是毕竟函数有这么多,总不可能一个一个试吧?因此我们引出了梯度下降:能够找出cost ...
- 深入理解L1、L2正则化
过节福利,我们来深入理解下L1与L2正则化. 1 正则化的概念 正则化(Regularization) 是机器学习中对原始损失函数引入额外信息,以便防止过拟合和提高模型泛化性能的一类方法的统称.也就是 ...
- L1、L2 正则化的一些原理
L1/L2 正则化与高斯先验/对数先验的 MAP 贝叶斯推断的关系 1. MAP 贝叶斯推断 贝叶斯推断和极大似然的用处一样,都是求生成训练数据的参数 θ\thetaθ ,但是极大似然估计是基于频率派 ...
- 正则化的作用以及L1和L2正则化的区别
0 正则化的作用 正则化的主要作用是防止过拟合,对模型添加正则化项可以限制模型的复杂度,使得模型在复杂度和性能达到平衡. 常用的正则化方法有L1正则化和L2正则化.L1正则化和L2正则化可以看做是损失 ...
- 拉格朗日乘法和L1、L2正则化
拉格朗日乘法和L1.L2正则化 本篇博客是作为学习正则化的时候的笔记,难免可能存在一些错误,欢迎各位指出不对的地方. 拉格朗日乘法 在介绍L1.L2正则化之前,必须先介绍的是拉格朗日乘法.拉格朗日乘法 ...
- 机器学习中的L1与L2正则化图解!
今日锦囊 特征锦囊:今天一起搞懂机器学习里的L1与L2正则化 今天我们来讲讲一个理论知识,也是老生常谈的内容,在模型开发相关岗位中出场率较高的,那就是L1与L2正则化了,这个看似简单却十分重要的概念, ...
- R语言构建xgboost模型:使用xgboost构建广义线性模型(GLM):使用gblinear算法拟合线性模型并配置L1和L2正则化
R语言构建xgboost模型:使用xgboost构建广义线性模型(GLM):使用gblinear算法拟合线性模型并配置L1和L2正则化 目录
- L1、L2正则化详解
正则化是一种回归的形式,它将系数估计(coefficient estimate)朝零的方向进行约束.调整或缩小.也就是说,正则化可以在学习过程中降低模型复杂度和不稳定程度,从而避免过拟合的危险. 一. ...
- 【机器学习基础】一文搞懂机器学习里的L1与L2正则化
文章来源于SAMshare,作者flora 特征锦囊:今天一起搞懂机器学习里的L1与L2正则化 今天我们来讲讲一个理论知识,也是老生常谈的内容,在模型开发相关岗位中出场率较高的,那就是L1与L2正则化 ...
最新文章
- html 5 video audio
- CF1155D Beautiful Array 贪心,dp
- [单反八]人像三平原则
- qt linux 国际化,多语言,配置CLion管理Qt项目国际化支持
- 阿里云推出全球云网络人才赋能计划,打造云网络认证体系
- VS2012 VS2010 VTK引入设置
- IntelliJ IDEA 2021.1.2 x64版的 IDEA 创建 jsp项目
- 【Kotlin -- 知识点】学习资料
- 2021爱分析·数据智能平台厂商全景报告
- SE 例题recap
- 记一次feign调用报错:feign.codec.DecodeException: Error while extracting response for type [java...
- python做一副54扑克牌发牌技巧_最强大脑!杭四中高一男生邹全50秒轻松记住一副扑克牌...
- 小福利,运用python里面的talib模块和cufflinks模块实现stock可视化分析
- nginx 域名重定向跳转至另一个域名
- ShardingSphere分库分表核心原理精讲第十二节 数据安全和脱敏详解
- MATLAB中的常用命令
- 博途SCL边沿触发(上升沿/下降沿)有输入无输出
- PBOC-恢复发卡行公钥证书 [Tag90]
- 2017年1月微软MVP申请开始了!
- 快速掌握MIPI开发攻略
热门文章
- FPGA技术的未来发展:谁与AI平分秋色
- Keras还是TensorFlow?深度学习框架选型实操分享
- 北京大兴要打造成未来科技新中心?
- 服务压测发现怪异现象,一顿排查,揪出“TIME_WAIT”这个内鬼
- 面试:你知道Java中的回调机制吗?
- Linus 谈 Git 的设计思想,顺带骂了一堆人(视频)
- 统计学习圣经!经典教材《统计学习导论》Python版
- ICLR 2022:AI如何识别“没见过的东西”?
- 3D建模复原汤加火山爆发!1000颗原子弹当量,人在英国刚被「震」到
- 顶尖学者加盟!两所C9高校,获强援!