通俗易懂的理解机器学习中的正则化项，正则化防止过拟合的的原理

刚才偶然在一个群里看到有人在问，正则化项是如何做到防止过拟合的。突然想到了一个有关雨伞的类比，这里写出来分享给大家。

我们知道，在机器学习\数据挖掘中，我们在评估模型的性能时通常用到的是经验风险，但是只依靠经验风险值来衡量模型的性能是无法体现我们的模型是否过拟合的，因此在经验风险值后加了一个正则化项，它是模型复杂度的单调不减函数。意思就是模型复杂度越高，正则化项值就可能越大。我们的优化目的就是要是经验风险和正则化项同时最小。这样在提高模型的性能时又很大程度上控制了过拟合【大家可以参考《统计学习方法》--李航】。那么正则化项到底是怎么做到控制过拟合的？下面我讲一个厂家制作雨伞的例子。

利用学习算法从数据学习模型，就好比商家通过观察大众需求制作雨伞。但是我喜欢的是雨伞上有斑点狗团，材料要丝绸的，带蕾丝边的，还希望雨伞上能播放点小电影。。。。但是！！！我这个需求太特殊化了，除非我有钱请一个私人厂家为我量身定制。如果厂家把这样的雨伞制作出来，别人估计不会买，这就叫过拟合。并且我的这些个性需求越多，那么雨伞造价就越高。厂家要制作的是满足大众需求的，具有普遍共性的雨伞。这就是奥考姆剃刀原理，保证了大众需求的同时他又很简单。正则化就是就好比加入了成本控制项目，它是个性需求复杂度的函数。成本控制下来了，那么就不会出现个性化需求的雨伞咯，就不会过拟合了，伞也就符合大众需求了。

转载于:https://www.cnblogs.com/Drxan/p/6502910.html

通俗易懂的理解机器学习中的正则化项，正则化防止过拟合的的原理相关推荐

[机器学习必知必会]如何理解机器学习中的正则化
正则化综述机器学习中经常会在损失函数中加入正则项,称之为正则化(Regularize). 目的:防止模型过拟合原理:在损失函数上加上某些规则(限制),缩小解空间,从而减少求出过拟合解的可能性例 ...
深入理解机器学习中的：目标函数，损失函数和代价函数
参考知乎回答整理:https://www.zhihu.com/question/52398145 主要参考:https://www.zhihu.com/question/52398145/answer ...
高斯过程是什么？从视觉上理解机器学习中的高斯过程——Gaussian Process
--如何将一组小型构建块转变为解决回归问题的灵活的工具. 目录 Introduction 简介 Multivariate Gaussian distributions 多元高斯分布 Marginali ...
你真的理解机器学习中偏差 - 方差之间的权衡吗？
作者:chen_h 微信号 & QQ:862251340 微信公众号:coderpai 简书地址:http://www.jianshu.com/p/f143... 我认为对偏差 - 方差之间的 ...
透彻理解机器学习中极大似然估计MLE的原理（附3D可视化代码)
文章目录相关资料一.什么是概率,什么是似然二.极大似然估计 Maximum Likelihood Estimation (MLE) 的含义 2.1 机器学习中的极大化似然函数 2.2 极大似然估 ...
（Latent Space）理解机器学习中的潜在空间
原文链接:https://zhuanlan.zhihu.com/p/369946876 搬运自 https://towardsdatascience.com/understanding-latent- ...
机器学习中的数学——学习曲线如何区别欠拟合与过拟合
通过这篇博客,你将清晰的明白什么是如何区别欠拟合与过拟合.这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私 ...
垃圾邮件分类快速理解机器学习中的朴素贝叶斯（Naive Bayes）
贝叶斯方法是一个历史悠久,有着坚实的理论基础的方法,同时处理很多问题时直接而又高效,很多高级自然语言处理模型也可以从它演化而来.因此,学习贝叶斯方法,是研究自然语言处理问题的一个非常好的切入口. 其实 ...
转载：理解机器学习中的偏差与方差
学习算法的预测误差, 或者说泛化误差(generalization error)可以分解为三个部分: 偏差(bias), 方差(variance) 和噪声(noise). 在估计学习算法性能的过程中, ...
独家|一文带你理解机器学习中的“归纳偏好”真正含义！
↑ 点击上方[计算机视觉联盟]关注我们举例子: 三种属性:{白色.黄色.黑色}+{眼睛颜色蓝色.眼睛颜色不一样}+{有铃铛.没铃铛} 判断是不是"猫" 通过机器学习,现在给了 ...

通俗易懂的理解机器学习中的正则化项，正则化防止过拟合的的原理

通俗易懂的理解机器学习中的正则化项，正则化防止过拟合的的原理相关推荐

最新文章

热门文章