深度学习中降低过拟合(OverFitting)的方法

2024-05-19 12:09:48

0.前言

过拟合(OverFitting)问题在机器学习中很常见，即模型在训练集数据上表现很好，但在测试集与新数据集上泛化能力很差，这就是过拟合。

1.过拟合的原因

造成过拟合的原因很多。常见的如下
1.训练集数据太少，很容易就过拟合了。
2.训练集测试集的数据分布不一致，这点很容易被忽略。比如有的算法要求数据集符合高斯分布，训练集也满足条件，但是上线以后线上数据分布发生了变化，效果肯定不会太好。
3.模型本身特别复杂。比如树模型，如果树的棵数太多，深度太大，也很容易就过拟合。

2.深度学习中解决过拟合问题的办法

1.针对训练数据太少的问题，可以增加训练数据。
2.增对模型复杂度太高的问题，可以降低模型复杂度。比如，减少层的数量或者减少神经元的个数，这样可以缩小网络的规模。
3.正则化，这是解决过拟合的常用方法。
4.dropout，神经网络在每一次迭代过程中随机地丢弃神经网络中的神经元。每当我们丢弃不同的神经元，相当于重新训练了一个新的神经网络。
5.early stop，训练过程中，如果训练误差继续减小，但是测试误差已经开始增加，此时可以停止训练。
6.集成学习，将多个模型进行组合，可以降低少数模型过拟合风险。
7.BN，Batch Normalization。在CNN每层之间加上将神经元的权重调成标准正态分布的正则化层。

深度学习中降低过拟合(OverFitting)的方法相关推荐

深度学习中不得不学的Graph Embedding方法
原文链接:https://zhuanlan.zhihu.com/p/64200072 深度学习中不得不学的Graph Embedding方法王喆数据挖掘等 3 个话题下的优秀答主关注他 ...
深度学习中的欠拟合和过拟合简介
通常情况下,当我们训练机器学习模型时,我们可以使用某个训练集,在训练集上计算一些被称为训练误差(training error)的度量误差,目标是降低训练误差.机器学习和优化不同的地方在于,我们也希望泛 ...
深度学习中的过拟合问题
1.过拟合问题欠拟合:根本原因是特征维度过少,模型过于简单,导致拟合的函数无法满足训练集,误差较大. 解决方法:增加特征维度,增加训练数据: 过拟合:根本原因是特征维度过多,模型假设过于复杂,参数过 ...
深度学习中防止过拟合的方法
在深度学习中,当数据量不够大时候,常常采用下面4中方法: 1. 人工增加训练集的大小. 通过平移, 翻转, 加噪声等方法从已有数据中创造出一批"新"的数据.也就是Data Augm ...
深度学习进阶课程10---减少Overfitting的方法Regularization
上一篇文章写了增加训练数据集的量是减少overfitting的途径之一,其实减小神经网络的规模,也可以减小overfitting,但是更深层更大的网络潜在有更强的学习能力. 我们可以采用另一种方式来减 ...
深度学习进阶课程11---减少overfitting的方法Regularization和Dropout
这篇文章继续写一下Regularization,写一下L1 regularization 公式如下: 跟L2 regularization相似,但不太一样,是对权重w的绝对值求和求偏导: sgn() ...
深度学习中模型训练效果不好的原因以及防止过拟合的方法
深度学习中模型训练效果不好的原因 1. 是否选择合适的损失函数 2. 是否选择了合适的Mini-batch size 3. 是否选择了合适的激活函数 4. 是否选择了合适的学习率 5. 优化算法是否使 ...
深度学习中过拟合、欠拟合现象以及解决方法
一.过拟合 1.过拟合现象过拟合(overfitting)是指在模型参数拟合过程中的问题,由于训练数据包含抽样误差,训练时,复杂的模型将抽样误差也考虑在内,将抽样误差也进行了很好的拟合.具体表现就是 ...
深度学习中拟合是什么意思？
前言拟合从数学图像角度来说就是将一组平面图像上的点用平滑的曲线连接起来. 在深度学习中平面图像上的点就是数据特征(验证集样本特征值),然后用线将已经学到的数据特征连接起来,这样才称为拟合. 拟合也分 ...
深度学习正则化正则化率_何时以及如何在深度学习中使用正则化
深度学习正则化正则化率介绍: (Introduction:) The key role of Regularization in deep learning models is to reduc ...

最新文章

热门文章