L0、L1及L2范数
本文只为了方便下次忘记时方便查看
在深度学习中,监督类学习问题其实就是在规则化参数同时最小化误差。最小化误差目的是让模型拟合训练数据,而规则化参数的目的是防止模型过分拟合训练数据。
参数太多,会导致模型复杂度上升,容易过拟合,也就是训练误差小,测试误差大。因此,我们需要保证模型足够简单,并在此基础上训练误差小,这样训练得到的参数才能保证测试误差也小,而模型简单就是通过规则函数来实现的。
规则化项可以是模型参数向量的范数。如:L0、L1、L2等。
一、L0范数与L1范数
L0范数是指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话,就是希望W的大部分元素都是0。换句话说,让参数W是稀疏的。
L1范数是指向量中各个元素绝对值之和。L1范数是L0范数的最优凸近似。任何的规则化算子,如果他在Wi=0的地方不可微,并且可以分解为一个“求和”的形式,那么这个规则化算子就可以实现稀疏。W的L1范数是绝对值,|w|在w=0处是不可微。
虽然L0可以实现稀疏,但是实际中会使用L1取代L0。因为L0范数很难优化求解,L1范数是L0范数的最优凸近似,它比L0范数要容易优化求解。
二、L2范数
L2范数,又叫“岭回归”(Ridge Regression)、“权值衰减”(weight decay)。这用的很多吧,它的作用是改善过拟合。过拟合是:模型训练时候的误差很小,但是测试误差很大,也就是说模型复杂到可以拟合到所有训练数据,但在预测新的数据的时候,结果很差。
L2范数是指向量中各元素的平方和然后开根。我们让L2范数的规则项||W||2最小,可以使得W的每个元素都很小,都接近于0。而越小的参数说明模型越简单,越简单的模型则越不容易产生过拟合现象。
三、L1范数和L2范数的差别
一个是绝对值最小,一个是平方最小:
L1会趋向于产生少量的特征,而其他的特征都是0,而L2会选择更多的特征,这些特征都会接近于0。
cs231n中的解释:
L1背后的含义是:它通常更加喜欢稀疏解一些,它倾向于让你的大部分W元素接近0,少量元素可以除外,它们可以被允许偏离0,L1度量复杂度的方式有可能是非零元素的个数。
而L2更多考虑的是W整体分布,所有的元素具有较小的复杂性。
参考链接
L0、L1及L2范数相关推荐
- 机器学习中的范数规则化之L0、L1、L2范数
我的博客中参考了大量的文章或者别的作者的博客,有时候疏忽了并未一一标注,本着分享交流知识的目的,如果侵犯您的权利,这并非我的本意,如果您提出来,我会及时改正. 本篇博客主要是为了解决机器学习中的过拟合 ...
- 简单理解L0、L1与L2范数
机器学习中的范数规则化之(一)L0.L1与L2范数 监督机器学习问题无非就是"minimizeyour error while regularizing your parameters&qu ...
- 范数规则化(一):L0、L1与L2范数
目录 0 范数 1 L0 范数 2 L1 范数 2.1 L1 2.2 L1正则化和特征选择 2.3 拉普拉斯先验与L1正则化 2.3.1 拉普拉斯分布 2.3.2 拉普拉斯先验 3 L2 范数 3 ...
- 机器学习中的范数规则化之(一)L0、L1与L2范数
机器学习中的范数规则化之(一)L0.L1与L2范数 zouxy09@qq.com http://blog.csdn.net/zouxy09 参考资料:<机器学习中常常提到的正则化到底是什么意思? ...
- l2范数求导_机器学习中的范数规则化之(一)L0、L1与L2范数 非常好,必看
机器学习中的范数规则化之(一)L0.L1与L2范数 今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化.我们先简单的来理解下常用的L0.L1.L2和核范数规则化.最后聊下规则化项参数的选择问题 ...
- L0、L1与L2范数、核范数
L0.L1与L2范数.核范数 今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化.我们先简单的来理解下常用的L0.L1.L2和核范数规则化.最后聊下规则化项参数的选择问题.这里因为篇幅比较庞大 ...
- 超简单理解L0、L1、L2范数原理及作用
L0,L1,L2范数在机器学习中的应用个人理解 博文针对L0.L1.L2范数原理及在机器学习中作用进行了非常通俗易懂的解释,为博主了解相关概念后自我理解,相信对于看完本篇分析的读者来说对理解这几个范数 ...
- L0、L1与L2范数、核范数分析
L0.L1与L2范数.核范数 范数结合参考正则化博客--https://blog.csdn.net/qq_33472765/article/details/85946710 参考:https://ww ...
- l2范数求导_理解L1,L2 范数在机器学习中应用
理解L1,L2 范数 L1,L2 范数即 L1-norm 和 L2-norm,自然,有L1.L2便也有L0.L3等等.因为在机器学习领域,L1 和 L2 范数应用比较多,比如作为正则项在回归中的使用 ...
- 理解L1,L2 范数
链接:https://www.zhihu.com/question/26485586/answer/616029832 理解L1,L2 范数 L1,L2 范数即 L1-norm 和 L2-norm,自 ...
最新文章
- Win10 新版又悲剧了!老外神评论
- 处女座与cf(思维题)
- 解决ORA-15097 Cannot shutdown ASM if OCR is Located in ASM
- nginx的root alias 指令
- python如何操作oracle数据库_python操作oracle数据库
- Ubuntu安装jdk10
- Android抓包从未如此简单
- ERP仓库管理系统主要功能
- 大创人人有,我怎么才能拿到国家级?
- 多重继承--读松本行弘的程序世界
- dedecms{dede:sql}{dede:php}标签的用法
- 浅谈——业务逻辑漏洞
- 备战双11,送你一份解压壁纸!
- 【AcWing】AcWing 2. 01背包问题
- Java之-MyBatis
- ERC-1155 标准
- FPGA的BRAM和distributed RAM学习
- linux常用命令及ip地址更改
- 如何用Astra主题免费版建外贸网站
- 用pyecharts的map模块实现齐齐哈尔各个区县人口分布图2021/4/20