欠拟合

一、什么是欠拟合？

欠拟合是指模型不能在训练集上获得足够低的误差。换句换说，就是模型复杂度低，模型在训练集上就表现很差，没法学习到数据背后的规律。

二、欠拟合出现原因

模型复杂度过低
特征量过少

三、解决欠拟合(高偏差)的方法

1. 模型复杂化•  对同一个算法复杂化。例如回归模型添加更多的高次项，增加决策树的深度，增加神经网络的隐藏层数和隐藏单元数等•  弃用原来的算法，使用一个更加复杂的算法或模型。例如用神经网络来替代线性回归，用随机森林来代替决策树等2. 增加更多的特征，使输入数据具有更强的表达能力•  特征挖掘十分重要，尤其是具有强表达能力的特征，往往可以抵过大量的弱表达能力的特征•  特征的数量往往并非重点，质量才是，总之强特最重要•  能否挖掘出强特，还在于对数据本身以及具体应用场景的深刻理解，往往依赖于经验3. 调整参数和超参数•  超参数包括：- 神经网络中：学习率、学习衰减率、隐藏层数、隐藏层的单元数、Adam优化算法中的β1和β2参数、batch_size数值等- 其他算法中：随机森林的树数量，k-means中的cluster数，正则化参数λ等4. 增加训练数据往往没有用•  欠拟合本来就是模型的学习能力不足，增加再多的数据给它训练它也没能力学习好5. 降低正则化约束•  正则化约束是为了防止模型过拟合，如果模型压根不存在过拟合而是欠拟合了，那么就考虑是否降低正则化参数λ或者直接去除正则化项

过拟合

一、什么是过拟合？

过拟合是指训练误差和测试误差之间的差距太大。换句换说，就是模型复杂度高于实际问题，模型在训练集上表现很好，但在测试集上却表现很差。模型对训练集"死记硬背"（记住了不适用于测试集的训练集性质或特点），没有理解数据背后的规律，泛化能力差。

二、过拟合出现原因

建模样本选取有误，如样本数量太少，选样方法错误，样本标签错误等，导致选取的样本数据不足以代表预定的分类规则
样本噪音干扰过大，使得机器将部分噪音认为是特征从而扰乱了预设的分类规则
假设的模型无法合理存在，或者说是假设成立的条件实际并不成立
参数太多，模型复杂度过高
对于决策树模型，如果我们对于其生长没有合理的限制，其自由生长有可能使节点只包含单纯的事件数据(event)或非事件数据(no event)，使其虽然可以完美匹配（拟合）训练数据，但是无法适应其他数据集
对于神经网络模型：a)对样本数据可能存在分类决策面不唯一，随着学习的进行,，BP算法使权值可能收敛过于复杂的决策面；b)权值学习迭代次数足够多(Overtraining)，拟合了训练数据中的噪声和训练样例中没有代表性的特征

三、解决过拟合(高方差)的方法

1. 增加训练数据数•   发生过拟合最常见的现象就是数据量太少而模型太复杂•   过拟合是由于模型学习到了数据的一些噪声特征导致，增加训练数据的量能够减少噪声的影响，让模型更多地学习数据的一般特征•   增加数据量有时可能不是那么容易，需要花费一定的时间和精力去搜集处理数据•   利用现有数据进行扩充或许也是一个好办法。例如在图像识别中，如果没有足够的图片训练，可以把已有的图片进行旋转，拉伸，镜像，对称等，这样就可以把数据量扩大好几倍而不需要额外补充数据•   注意保证训练数据的分布和测试数据的分布要保持一致，二者要是分布完全不同，那模型预测真可谓是对牛弹琴了2. 使用正则化约束•   在代价函数后面添加正则化项，可以避免训练出来的参数过大从而使模型过拟合。使用正则化缓解过拟合的手段广泛应用，不论是在线性回归还是在神经网络的梯度下降计算过程中，都应用到了正则化的方法。常用的正则化有l1正则和l2正则，具体使用哪个视具体情况而定，一般l2正则应用比较多3. 减少特征数•   欠拟合需要增加特征数，那么过拟合自然就要减少特征数。去除那些非共性特征，可以提高模型的泛化能力4. 调整参数和超参数•   不论什么情况，调参是必须的5. 降低模型的复杂度•   欠拟合要增加模型的复杂度，那么过拟合正好反过来6. 使用Dropout•   这一方法只适用于神经网络中，即按一定的比例去除隐藏层的神经单元，使神经网络的结构简单化7. 提前结束训练•   即early stopping，在模型迭代训练时候记录训练精度(或损失)和验证精度(或损失)，倘若模型训练的效果不再提高，比如训练误差一直在降低但是验证误差却不再降低甚至上升，这时候便可以结束模型训练了

过拟合(overfitting)和欠拟合(underfitting)出现原因及如何避免方案相关推荐

过拟合(Over-fitting) 和欠拟合(Under-fitting)
初学机器学习和深度学习的时候,我们常常会遇到 "过拟合" 和 ''欠拟合" 这两个看似不明所以的数学概念,今天我就专门讲一讲它们具体是怎么一回事. 拟合(fitting) ...
误差函数拟合优缺点_欠拟合、过拟合及如何防止过拟合
对于深度学习或机器学习模型而言,我们不仅要求它对训练数据集有很好的拟合(训练误差),同时也希望它可以对未知数据集(测试集)有很好的拟合结果(泛化能力),所产生的测试误差被称为泛化误差.度量泛化能力的好 ...
什么是欠拟合现象_欠拟合和过拟合是什么？解决方法总结
欠拟合与过拟合欠拟合是指模型在训练集.验证集和测试集上均表现不佳的情况: 过拟合是指模型在训练集上表现很好,到了验证和测试阶段就大不如意了,即模型的泛化能力很差. 欠拟合和过拟合一直是机器学习训练中 ...
深度学习中的欠拟合和过拟合简介
通常情况下,当我们训练机器学习模型时,我们可以使用某个训练集,在训练集上计算一些被称为训练误差(training error)的度量误差,目标是降低训练误差.机器学习和优化不同的地方在于,我们也希望泛 ...
什么是欠拟合现象_过拟合与欠拟合问题
过拟合(overfitting)与欠拟合(underfitting)是统计学中的一组现象.过拟合是在统计模型中,由于使用的参数过多而导致模型对观测数据(训练数据)过度拟合,以至于用该模型来预测其他测试 ...
欠拟合和过拟合以及如何选择模型
模型选择.欠拟合和过拟合在前几节基于Fashion-MNIST数据集的实验中,我们评价了机器学习模型在训练数据集和测试数据集上的表现.如果你改变过实验中的模型结构或者超参数,你也许发现了:当模型在训 ...
Pytorch深度学习笔记（02）--损失函数、交叉熵、过拟合与欠拟合
目录一.损失函数二.交叉熵损失函数详解 1.交叉熵 2.信息量 3.信息熵 4.相对熵(KL散度) 5.交叉熵 6.交叉熵在单分类问题中的应用 7.总结: 三.过拟合和欠拟合通俗解释 1.过拟合 ...
【机器学习】欠拟合过拟合正则化
正则化拟合效果拟合效果分析欠拟合原因特征量过少参数太少,模型复杂度过低过拟合原因建模样本选取有误样本噪音干扰过大假设不成立参数太多,模型复杂度过高其他 tree-based模型 ...
从多项式函数拟合实验出发浅谈“模型选择、欠拟合和过拟合”问题
在本笔记中,我们将从简单易懂的多项式函数拟合实验出发,谈一谈如今做机器学习绕不开的三个重要概念:模型选择.欠拟合和过拟合,并且进一步挖掘如何选择模型.如何避免欠拟合和过拟合问题.本笔记主要从下面五个方 ...

过拟合(overfitting)和欠拟合(underfitting)出现原因及如何避免方案

文章目录

欠拟合

一、什么是欠拟合？

二、欠拟合出现原因

三、解决欠拟合(高偏差)的方法

过拟合

一、什么是过拟合？

二、过拟合出现原因

三、解决过拟合(高方差)的方法

过拟合(overfitting)和欠拟合(underfitting)出现原因及如何避免方案相关推荐

最新文章

热门文章