拟合、过拟合、欠拟合

在学习机器学习、神经网络的时候，我们最开始学的内容之一就是过拟合和欠拟合的概念。而这一概念也将会伴随着机器学习的始终，下面我来帮助大家，也帮助我自己区分一下什么是拟合？什么是过拟合？什么是欠拟合？以及产生的原因和解决的方式。

1.什么是拟合？

拟合就是说这个曲线能不能很好的描述某些样本，并且有比较好的泛化能力，用形象的方式来说就是把平面上一系列的点，用一条光滑的曲线连接起来，并能很好的通过曲线走势预测点的位置。类似下图：

2.什么是过拟合？

在训练集中表现的特别优秀，贴合训练数据的特征，但是没有泛化能力，在新的数据集中无法做出准确的预测。

举个例子，如：我们提取一条狗的特征作为训练集，如下图。我们可以获取到的特征有：黄色，毛发微微卷曲，黑色眼睛，耳朵直立，耳朵小，尾巴短小，毛发长度，身高体重等等一系列特征。提取到的特征特别多，非常的契合这个训练集。

但是当我们进行泛化的时候我们根据这些特征不能准确判断。我们来看下面这个“玩意儿”，耳朵大，颜色不黄，毛发不长，尾巴不短，由特征可以判断，“它不是狗”。

3.什么是欠拟合？

由于训练模型过于简单没有提取到测试样本的特性，无法拟合被测样本。

比如，之前的例子中我们只简单提取一个特征：四条腿。那么下图中的动物也是狗了。

4.产生过拟合和欠拟合的原因

4.1.过拟合：由上面的例子我们不难总结出来，

测试模型过于复杂

测试集样本太少

4.1.欠拟合：

测试模型过于简单

测试样本之间的区别太大，无法找到有效的特征

提取特征的维数太少

5.解决方法：

5.1.解决过拟合的方法：

（1）增加训练集

（2）使用合适复杂度的模型：选择合适神经网络的层数

（3）L1、L2正则化

5.2.解决欠拟合的方法：优化模型，一般是模型过于简单无法描述样本的特性。

（1）增加特征维度；

（2）选择合适的模型，适当增加网络层数，调整网络的容量；

（3）减少正则化参数；

（4）使用合适的数据训练。

6.如何判断

欠拟合和过拟合没有明确的定义分界。

从训练的过程来看：明显的未充分利用数据,拟合结果不符合预期,甚至不能有效拟合训练集,我们可以认为欠拟合。考虑过多,超出自变量的一般含义维度,过多考虑噪声,会造成过拟合。

从训练的结果来看：在训练数据上的得分很高，在测试数据上得分相对比较低，是过拟合。在训练数据上得分比较低，在测试数据上得分相对低，是欠拟合。

拟合、过拟合、欠拟合相关推荐

过拟合(overfitting)和欠拟合(underfitting)出现原因及如何避免方案
文章目录欠拟合一.什么是欠拟合? 二.欠拟合出现原因三.解决欠拟合(高偏差)的方法过拟合一.什么是过拟合? 二.过拟合出现原因三.解决过拟合(高方差)的方法欠拟合一.什么是欠拟合? 欠 ...
误差函数拟合优缺点_欠拟合、过拟合及如何防止过拟合
对于深度学习或机器学习模型而言,我们不仅要求它对训练数据集有很好的拟合(训练误差),同时也希望它可以对未知数据集(测试集)有很好的拟合结果(泛化能力),所产生的测试误差被称为泛化误差.度量泛化能力的好 ...
什么是欠拟合现象_欠拟合和过拟合是什么？解决方法总结
欠拟合与过拟合欠拟合是指模型在训练集.验证集和测试集上均表现不佳的情况: 过拟合是指模型在训练集上表现很好,到了验证和测试阶段就大不如意了,即模型的泛化能力很差. 欠拟合和过拟合一直是机器学习训练中 ...
过拟合(Over-fitting) 和欠拟合(Under-fitting)
初学机器学习和深度学习的时候,我们常常会遇到 "过拟合" 和 ''欠拟合" 这两个看似不明所以的数学概念,今天我就专门讲一讲它们具体是怎么一回事. 拟合(fitting) ...
机器学习概念 — 监督学习、无监督学习、半监督学习、强化学习、欠拟合、过拟合、后向传播、损失和优化函数、计算图、正向传播、反向传播
1. 监督学习和无监督学习监督学习 ( Supervised Learning ) 和无监督学习 ( Unsupervised Learning ) 是在机器学习中经常被提及的两个重要的学习方法. ...
深度学习中的欠拟合和过拟合简介
通常情况下,当我们训练机器学习模型时,我们可以使用某个训练集,在训练集上计算一些被称为训练误差(training error)的度量误差,目标是降低训练误差.机器学习和优化不同的地方在于,我们也希望泛 ...
06 回归算法 - 损失函数、过拟合欠拟合
== 损失函数 == 损失函数是衡量一个模型好坏的指标,一般来说损失函数的值越小越好. 0~1损失函数: J(θ)=$begin{cases} 1,Y≠f(X)\ 0,Y=f(X)\ end{case ...
欠拟合和过拟合学习笔记
欠拟合和过拟合学习笔记 https://www.cnblogs.com/DicksonJYL/p/9620464.html 在建模的过程中会经常出现1.模型的效果,但是泛化能力弱,2.模型的结果很差的 ...
如何判断LSTM模型中的过拟合和欠拟合 By 机器之心2017年10月02日 11:09 判断长短期记忆模型在序列预测问题上是否表现良好可能是一件困难的事。也许你会得到一个不错的模型技术得分，但了解
判断长短期记忆模型在序列预测问题上是否表现良好可能是一件困难的事.也许你会得到一个不错的模型技术得分,但了解模型是较好的拟合,还是欠拟合/过拟合,以及模型在不同的配置条件下能否实现更好的性能是非常重要 ...
偏差、方差、欠拟合、过拟合、学习曲线
文章目录欠拟合 under fitting 过拟合 over fitting 偏差与方差偏差 - 方差窘境 bias-variance dilemma 学习曲线 learning curve 欠拟 ...

拟合、过拟合、欠拟合

拟合、过拟合、欠拟合相关推荐

最新文章

热门文章