欠拟合与过拟合的概念

在训练模型的过程中，我们通常希望达到以下两个目的：

1、训练的损失值尽可能地小。
2、训练的损失值与测试的损失值之间的差距尽可能地小。

当第一个目的没有达到时，则说明模型没有训练出很好的效果，模型对于判别数据的模式或特征的能力不强，则认为它是欠拟合的。

当第一个目的达到，第二个没有达到时，说明模型训练出了很好的效果，而测试的损失值比较大，则说明模型在新的数据上的表现很差，此时可认为模型过度拟合训练的数据，而对于未参与训练的数据不具备很好的判别或拟合能力，这种情况下，模型是过拟合的。

用一个通俗的例子来说明：

假定你家里安排你去相亲，告诉你女方在某某餐厅等你。

若你家里人告诉你，女方穿裙子，披肩长发。结果你进去，发现有好几个位置都是穿裙子、披肩长发的女生，此时你无法判断是哪一个，这说明你了解女生身上的特征不够多，是欠拟合的。

若你家里人告诉你，女方穿裙子，戴了个帽子，披肩长发，手机壳是哆啦A梦，眉角有颗痣。结果女方觉得餐厅太热，进餐厅没多久就脱了帽子，你进去后发现有一个女生其它条件都符合，就是没戴帽子，你就因此认定她不是你相亲对象，这说明你了解的女生的特征太多，对于稍微有点不同的特征，你就做出了错误判断，这是过拟合的。

若家里人告诉你，女方穿裙子，披肩长发，眉角有颗痣。你进去后发现，虽然穿裙子的有好几个，披肩长发的也不少，但眉角有痣的就那一位，即便那位还戴了个帽子，也不妨碍你认为她就是你相亲对象，于是你准确地走到了她面前开始了尴尬的交流，这是合理的拟合。

在这个例子中，裙子，披肩长发都是女生很普遍的特征，眉角的痣和裙子、披肩长发的组合是她特有的特征，手机壳和戴帽子这属于偶然的特征，不能因为她换了手机壳或没戴帽子就不认识这人了。
过拟合在于将偶然的特征也作为识别身份的标志，而欠拟合在于了解的特征的特征不够多，在机器学习中表示模型的学习能力不够，无法学到足够的数据特征。

欠拟合的特点：训练的损失值很大，且测试的损失值也很大。
过拟合的特点：训练的损失值足够小，而测试的损失值很大。

对于一个足够复杂度或足够参数量的模型或神经网络来说，随着训练的进行，会经历一个“欠拟合-适度拟合-过拟合”的过程。
对于一个复杂度不够的模型或参数量太少的神经网络来说，只有欠拟合。

欠拟合产生的原因与解决方法
根据欠拟合的特点来看，产生欠拟合的主要原因有两个：

1、模型的容量或复杂度不够，对神经网络来说是参数量不够或网络太简单，没有很好的特征提取能力。通常为了避免模型过拟合，会添加正则化，当正则化惩罚太过，会导致模型的特征提取能力不足。
2、训练数据量太少或训练迭代次数太少，导致模型没有学到足够多的特征。

根据欠拟合产生的原因来分析，解决方法有两个：

1、换个更复杂的模型，对神经网络来说，换个特征提取能力强或参数量更大的网络。或减少正则化的惩罚力度。
2、增加迭代次数或想办法弄到足够的训练数据或想办法从少量数据上学到足够的特征。如适度增大epoch，数据增强，预训练，迁移学习，小样本学习，无监督学习等。

过拟合产生的原因与解决方法

根据过拟合的特点来看，过拟合产生的原因有以下四个：

1、模型太复杂，对神经网络来说，参数太多或特征提取能力太强，模型学到了一些偶然的特征。
2、数据分布太单一，例如训练用的所有鸟类都在笼子里，模型很容易把笼子当成识别鸟的特征。
3、数据噪声太大或干扰信息太多，如人脸检测，训练图像的分辨率都是几百乘几百，而人脸只占了几十到几百个像素，此时背景太大，背景信息都属于干扰信息或噪声。
4、训练迭代次数太多，对数据反复地训练也会让模型学到偶然的特征。

根据过拟合产生的原因来看，解决方法有以下四个：

1、换一个复杂度低一点的模型或正则化，对神经网络来说，使用参数量少一点的网络，或使用正则化。
2、使用不同分布的数据来训练。如数据增强，预训练等。
3、使用图像裁剪等方法对图像进行预处理。
4、及时地停止训练。如何判断什么时候该停止训练？使用K折交叉验证，若训练损失还在减少，而验证损失开始增加，则说明开始出现过拟合。

欠拟合与过拟合的概念相关推荐

机器学习概念 — 监督学习、无监督学习、半监督学习、强化学习、欠拟合、过拟合、后向传播、损失和优化函数、计算图、正向传播、反向传播
1. 监督学习和无监督学习监督学习 ( Supervised Learning ) 和无监督学习 ( Unsupervised Learning ) 是在机器学习中经常被提及的两个重要的学习方法. ...
欠拟合与过拟合、泛化能力概念总结及python示例
目录 1. 基本概念 2. python示例 3. 欠拟合产生的原因与解决方法 4. 过拟合产生的原因与解决方法 5. 欠拟合和过拟合的简明判断方法 1. 基本概念机器学习中欠拟合(underfit ...
Machine Learning | (11) 回归性能评估与欠拟合、过拟合
Machine Learning | 机器学习简介 Machine Learning | (1) Scikit-learn与特征工程 Machine Learning | (2) sklearn数据集 ...
机器学习回归算法—性能评估欠拟合与过拟合
机器学习中的泛化,泛化即是,模型学习到的概念在它处于学习的过程中时模型没有遇见过的样本时候的表现.在机器学习领域中,当我们讨论一个机器学习模型学习和泛化的好坏时,我们通常使用术语:过拟合和欠拟合.我们 ...
过拟合解决方法python_欠拟合、过拟合及其解决方法
在我们机器学习或者训练深度神经网络的时候经常会出现欠拟合和过拟合这两个问题,但是,一开始我们的模型往往是欠拟合的,也正是因为如此才有了优化的空间,我们需要不断的调整算法来使得模型的表达能拿更强.但是优 ...
偏差与方差，欠拟合与过拟合
机器学习的核心在于使用学习算法建立模型,对已建立模型的质量的评价方法和指标不少,本文以准确率(也称为精度)或判定系数(Coefficient of Determination)作为性能指标对模型的偏差 ...
机器学习中的欠拟合与过拟合
1.偏差与方差要理解欠拟合与过拟合,先得理解偏差与方差. 假设有一个模型f,f精确地描述了特征X与目标y的关系,但我们不知道f的具体的样子,因此我们通过一定量的训练样本来估计f,.当我们改变训练集( ...
斯坦福公开课3：欠拟合与过拟合
欠拟合与过拟合(underfiting.overfiting) 欠拟合(举例:7个样本点用1次项假设拟合房屋价格和面积的关系,损失了2次成分) 过拟合(举例:7个样本点用6次项假设拟合房屋价格和面积的 ...
欠拟合、过拟合及其解决方法
欠拟合.过拟合及其解决方法参考文章: (1)欠拟合.过拟合及其解决方法 (2)https://www.cnblogs.com/alan666/p/8311809.html 备忘一下.
python3中多项式创建_机器学习入门之机器学习之路：python 多项式特征生成PolynomialFeatures 欠拟合与过拟合...
本文主要向大家介绍了机器学习入门之机器学习之路:python 多项式特征生成PolynomialFeatures 欠拟合与过拟合,通过具体的内容向大家展现,希望对大家学习机器学习入门有所帮助. 分享 ...

欠拟合与过拟合的概念

欠拟合与过拟合的概念相关推荐

最新文章

热门文章