防止过拟合，采用的手段有哪些？

过拟合

过拟合是模型的偏差小而方差大，即模型在训练集上拟合得很好，在测试集上的效果却很差。所以防止过拟合，就是要减小方差。（偏差、方差、贝叶斯误差）

防止过拟合的方法

从源头上，扩充数据集，收集更多的数据或者采用数据增强的方法。
对于模型参数的处理方法，采用L1, L2正则化和dropout 的方法
对于训练方法，采用Early stopping。
采用bagging的方法

数据增强的方法
参考

常用的图像增强技术

翻转（水平、垂直）
旋转
缩放（放大后裁剪，缩小后填充，填充方法包括常数，边缘，反射，对称和包裹模式）
裁剪
平移
增加高斯噪声

条件型生成对抗网络
利用生成对抗网络生成图像

L1正则与L2正则的区别
参考

droupout正则
dropout–随机使一些神经元失活，用在模型的训练阶段。直观上理解：不要依赖于任何一个特征，不给任何一个输入加上太多权重，因为该单元的输入可能随时被清除。(参考Andwew Ng deeplearning.ai)

Early stopping
随着训练次数的增加，在训练集上的误差如蓝色，在验证集上的误差如紫线。可以看出，验证集上的误差经历了先减小后增大的变化过程，表明模型已经过拟合了，所以在验证集上的误差最小的时候，就要停止训练了。

使用Early stopping可能带来一个问题。模型在训练集上没有完全训练好，但是在验证集上已经开始出现过拟合了。此时Early stopping不能在减小偏差的同时减小方差。

如果不用 early stopping，另一种方法就是L2L2L2正则化，训练神经网络的时间就可能很长。这导致超级参数搜索空间更容易分解，也更容易搜索，但是缺点在于，必须尝试很多正则化参数λ\lambdaλ的值，这也导致搜索大量λ\lambdaλ值的计算代价太高(参考Andwew Ng deeplearning.ai)
[]

Bagging
其实bagging的方法是可以起到正则化的作用,因为正则化就是要减少泛化误差,而bagging的方法可以组合多个模型起到减少泛化误差的作用. 在深度学习中同样可以使用此方法,但是其会增加计算和存储的成本(参考).

防止过拟合，采用的手段有哪些？相关推荐

如何判断过拟合和欠拟合，解决手段有哪些？
在我们机器学习或者训练深度神经网络的时候经常会出现欠拟合和过拟合这两个问题. 首先就是我们在进行模型训练的时候会出现模型不能够很好地拟合数据的情况,这个时候就需要我们来判断究竟现在的模型是欠拟合还是过 ...
如何判断模型过拟合？那些手段解决过拟合？
如何判断模型过拟合? 模型在验证集合上和训练集合上表现都很好,而在测试集合上变现很差.过拟合即在训练误差很小,而泛化误差很大,因为模型可能过于的复杂, 如何防止过拟合? dropout 另一种非常流行 ...
动手学深度学习-过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶
一.过拟合.欠拟合及其解决方案前序知识点模型选择正则化:添加参数的惩罚项,防止过拟合.有L2正则化与L1正则化. 奥卡姆剃刀原则:有多个假设模型时,应该选择假设条件最少的. 模型的泛化能力:指模 ...
擦除：提升 CNN 特征可视化的 3 种重要手段
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨皮特潘导读所谓擦除,就是去除掉一部分有用的信息,以提高网 ...
python数据拟合fit
文章目录第0部分:多项式拟合数学基础举例第一部分:多项式拟合第二部分最小二乘法拟合(参考python科学计算) 使用幂律谱使用e指数三种方法总结第三部分:使用窗口平滑化处理(scipy ...
RANSAC算法做直线拟合
RANSAC算法之前了解过相关的原理,这两天利用晚上闲暇的时间,看了一下RANSAC算法的Python代码实现,这方面的资料很多了,这里就不在重复.在分析该RANSAC.py代码之前,想用自己的对RA ...
【深度学习】擦除：提升 CNN 特征可视化的 3 种重要手段
作者丨皮特潘审稿|邓富城编辑丨极市平台导读所谓擦除,就是去除掉一部分有用的信息,以提高网络提取特征的能力.本文对3种提升特征可视化的方法进行了详细综述,包括直接擦除.利用预测信息(CAM)擦除 ...
（pytorch-深度学习系列）pytorch避免过拟合-权重衰减的实现-学习笔记
pytorch避免过拟合-权重衰减的实现首先学习基本的概念背景 L0范数是指向量中非0的元素的个数:(L0范数难优化求解) L1范数是指向量中各个元素绝对值之和: L2范数是指向量各元素的平方和然后 ...
动手学深度学习(PyTorch实现)(三)--过拟合与欠拟合
过拟合与欠拟合 1. 过拟合与欠拟合 1.1 训练误差和泛化误差 1.2 模型选择 1.2.1 验证数据集 1.2.2 K折交叉验证 1.3 过拟合与欠拟合 1.3.1 模型复杂度 1.3.2 训练数 ...

防止过拟合，采用的手段有哪些？

过拟合

防止过拟合的方法

防止过拟合，采用的手段有哪些？相关推荐

最新文章

热门文章