过拟合的原因和解决方案

一、过拟合的原因

1. 训练集的数量级和模型的复杂度不匹配。训练集的数量级要小于模型的复杂度；

2. 训练集和测试集特征分布不一致；

3. 样本里的噪音数据干扰过大，大到模型过分记住了噪音特征，反而忽略了真实的输入输出间的关系；

4. 权值学习迭代次数足够多(Overtraining)，拟合了训练数据中的噪声和训练样例中没有代表性的特征。

二、过拟合的解决方案

1. 调小模型复杂度，使其适合自己训练集的数量级（缩小宽度和减小深度）；

2. 训练集越多，过拟合的概率越小。在计算机视觉领域中，增广的方式是对图像旋转，缩放，剪切，添加噪声等；

3. 参数太多，会导致我们的模型复杂度上升，容易过拟合，也就是我们的训练误差会很小。正则化是指通过引入额外新信息来解决机器学习中过拟合问题的一种方法。这种额外信息通常的形式是模型复杂性带来的惩罚度。正则化可以保持模型简单，另外，规则项的使用还可以约束我们的模型的特性；L0范数是指向量中非0的元素的个数，L1范数是指向量中各个元素绝对值之和，L2范数是指向量各元素的平方和然后求平方根。

4. dropout方法是ImageNet中提出的一种方法，通俗一点讲就是dropout方法在训练的时候让神经元以一定的概率不工作。

转自：https://www.toutiao.com/a6570854068908982787/?tt_from=mobile_qq&utm_campaign=client_share&timestamp=1529926303&app=news_article&utm_source=mobile_qq&iid=29811624951&utm_medium=toutiao_android

过拟合的原因和解决方案相关推荐

神经网络的梯度消失和过拟合产生原因及其解决方案
梯度消失梯度消失原因当神经网络层数加深时,可能会出现一些问题. 梯度消亡:训练过程非常缓慢过拟合,在训练数据上表现得很好,在测试集上表现得很差. 梯度消亡的现象:神经网络输入端的网络层的系数逐渐 ...
过拟合（原因、解决方案、原理）
1.定义标准定义:给定一个假设空间H,一个假设h属于H,如果存在其他的假设h'属于H,使得在训练样例上h的错误率比h'小,但在整个实例分布上h'比h的错误率小,那么就说假设h过度拟合训练数据. -- ...
欠拟合的原因以及解决办法（深度学习）
之前这篇文章,我分析了一下深度学习中,模型过拟合的主要原因以及解决办法: 过拟合的原因以及解决办法(深度学习)_大黄的博客-CSDN博客这篇文章中写一下深度学习中,模型欠拟合的原因以及一些常见的解决 ...
过拟合的原因以及解决办法（深度学习）
过拟合:模型在训练集上表现的非常好,但在测试集的数据下表现很差. 具体观察loss函数就是,train loss一直降低,而test loss先降低,而后随着epoach的增加,而不断增加. 这张图可 ...
我的WCF之旅(6)：在Winform Application中调用Duplex Service出现TimeoutException的原因和解决方案...
几个星期之前写了一篇关于如何通过WCF进行双向通信的文章([原创]我的WCF之旅(3):在WCF中实现双向通信(Bi-directional Communication) ),在文章中我提供了一个如 ...
以ajax请求方式进行文件下载操作失败的原因及解决方案
以ajax请求方式进行文件下载操作失败的原因及解决方案参考文章: (1)以ajax请求方式进行文件下载操作失败的原因及解决方案 (2)https://www.cnblogs.com/sjshare/ ...
自动化测试(二) 单元测试junit的Test注解突然不能使用原因以及解决方案
自动化测试(二) 单元测试junit的Test注解突然不能使用原因以及解决方案参考文章: (1)自动化测试(二) 单元测试junit的Test注解突然不能使用原因以及解决方案 (2)https:// ...
IOS上传图片旋转90度问题出现原因及解决方案
IOS上传图片旋转90度问题出现原因及解决方案参考文章: (1)IOS上传图片旋转90度问题出现原因及解决方案 (2)https://www.cnblogs.com/justdoityangbo/p ...
Curl 采集乱码 gzip 原因及解决方案 utf-8
Curl 采集乱码 gzip 原因及解决方案 utf-8 参考文章: (1)Curl 采集乱码 gzip 原因及解决方案 utf-8 (2)https://www.cnblogs.com/jiaosq ...

过拟合的原因和解决方案

过拟合的原因和解决方案相关推荐

最新文章

热门文章