概念

概念：Regularization，直译为规范化; 正则; 规则化调整; 正则化; 规则化。是一种约束性调整策略。个人理解：向模型加入某些规则（约束条件，含先验知识），缩小解空间，减小求出错误解的可能性，也就是增强模型泛化能力的一种手段。

【正则化】这一称呼貌似是小gui子的翻译。

出处：线性代数理论
目的：求解不适定问题。机器学习中主要为了防止过拟合，如在下图中舍红线取绿线。

方法

本质：机器学习领域中，LogisticRegression逻辑回归也罢，SVM支持向量机也罢，亦或简单的LinearModel，设定其base function为 $\phi \left ( \chi \right )$ ，通过对cost function求极值来确定 $\phi \left ( \chi \right )$ 中一系列parameters。最终模型的确定即依赖于这些parameters。
方法：
1、参数正则化方法——L1/L2范数
2、隐式正则化方法
3、深度学习中的Early Stopping
4、深度学习中的dropout

5、深度学习中的image augmentation

图解

引用李航《统计学习方法》中的描述：规则化是结构风险最小化策略的实现，是在经验风险最小化上加一个规则化项（regularizer）或罚项（penalty term）。规则化项一般是模型复杂度的单调递增函数，模型越复杂，规则化值就越大。比如，规则化项可以是模型参数向量的范数。
下面详述L1/L2范数作为规则化项：

L0范数

L0范数——向量中非0的元素的个数。假如以L0范数对参数矩阵W进行正则化，则是希望W中大部分元素都为0，尽可能让参数W是稀疏的。

L1范数

L1范数——向量中各个元素绝对值之和。因L0范数很难优化求解，同时L1范数是L0范数的最优凸近似，它比L0范数更容易优化求解，故多使用L1范数代替L0范数。

L1： $\left | \left | x \right | \right |1=\sum_{i=0}^{i=n}\left | x_{i} \right |$

优化形式： $\min_{\omega }\frac{1}{2}\left ( y-X\omega \right )^{2}, \left | \left | \omega \right | \right |1\leq C$

L2范数

又被称作“Ridge Regression 岭回归”、“weight decay 权重衰减”。

L2： $\left | \left | x \right | \right |2=\sqrt{\sum_{i=0}^{i=n}x{_{i}}^{2}}$

优化形式： $\min_{\omega }\frac{1}{2}\left ( y-X\omega \right )^{2}, \left | \left | \omega \right | \right |2\leq C$

让L2规则项||W||2最小，其最终效果是使W的每个元素都很小，都接近于0。那么，这些很小的参数直接使得模型更简单，也就不容易产生过拟合现象。

L1/L2区别

L1绝对值最小，L2平方最小；

L1趋向于产生更少量的特征，而其他的特征都是0，而L2趋向于产生更多的特征，但这些特征都会接近于0。

参考

[1]统计学习方法

[2]机器学习基础——规则化（Regularization）

[3]机器学习系列（四）——规则化（Regularize）

白话图解机器学习里的Regularization正则化相关推荐

【机器学习基础】一文搞懂机器学习里的L1与L2正则化
文章来源于SAMshare,作者flora 特征锦囊:今天一起搞懂机器学习里的L1与L2正则化今天我们来讲讲一个理论知识,也是老生常谈的内容,在模型开发相关岗位中出场率较高的,那就是L1与L2正则化 ...
Coursera公开课笔记: 斯坦福大学机器学习第七课“正则化(Regularization)”
Coursera公开课笔记: 斯坦福大学机器学习第七课"正则化(Regularization)" +13投票斯坦福大学机器学习第七课"正则化"学习笔记, ...
halcon机器视觉算法原理与编程实战_快速弄懂机器学习里的集成算法：原理、框架与实战...
作者: 博观厚积简书专栏:https://www.jianshu.com/u/2f376f777ef1 1. 关于集成学习算法集成学习算法,通俗地讲就是:三个臭皮匠,顶个诸葛亮,这在很多地方都有 ...
下载 | 9G火爆的Python爬虫教程+ 520页《图解机器学习》
前段时间,小伙伴多次在后台留言询问Python爬虫教程的问题.经过这两个多月以来的收集与整理,汇集了多个高校以及公开课视频教程,包括python爬虫的入门.进阶与实践,共9G左右.爬虫作为机器学习语料 ...
清华大学计算机科学与技术系朱军教授：机器学习里的贝叶斯基本理论、模型和算法...
雷锋网［AI科技评论］按:3月3日,中国人工智能学会AIDL第二期[人工智能前沿讲习班]在北京中科院自动化所举行,本期讲习班的主题为[机器学习前沿].周志华教授担任学术主任,前来授课的嘉宾均为中国机器 ...
清华大学计算机科学与技术系朱军教授：机器学习里的贝叶斯基本理论、模型和算法
[转] http://www.leiphone.com/news/201703/djm3u9LLqylr3C8N.html 雷锋网［AI科技评论］按:3月3日,中国人工智能学会AIDL第二期[人工智能 ...
Regularization(正则化)
前言这一章还是紧接着上一章的,在上一章我们讨论了logistic regrsssion(逻辑回归),在更早我们还讨论了linear regression(线性回归),对于这两种问题,我 ...
图解机器学习算法(6) | 决策树模型详解（机器学习通关指南·完结）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/34 本文地址:https://www.showmeai.tech/article-d ...
机器学习里的贝叶斯基本理论、模型和算法
本文转自中国人工智能学会通讯第3期,已获授权,特此感谢! 欢迎人工智能领域技术投稿.约稿.给文章纠错,请发送邮件至heyc@csdn.net 3月3日,中国人工智能学会AIDL第二期[人工智能前沿讲习 ...
赠书 | 图解机器学习算法，看这文就够了！
机器学习指的是计算机根据给定的问题.课题或环境进行学习,并利用学习结果解决问题或课题等的一整套机制(图 1-1). 图 1-1 分类的示意图与机器学习共同成为热门话题的还有人工智能和深度学习.这里梳 ...

白话图解机器学习里的Regularization正则化

概念

方法

图解

L0范数

L1范数

L2范数

L1/L2区别

参考

白话图解机器学习里的Regularization正则化相关推荐

最新文章

热门文章