如何判断过拟合和欠拟合，解决手段有哪些？
在我们机器学习或者训练深度神经网络的时候经常会出现欠拟合和过拟合这两个问题。
首先就是我们在进行模型训练的时候会出现模型不能够很好地拟合数据的情况，这个时候就需要我们来判断究竟现在的模型是欠拟合还是过拟合，那么怎么来判断这两者的情况呢？
欠拟合：当训练集和验证集/测试集的误差都较大时，此时模型是欠拟合的，可以认为此时模型还无法有效捕捉训练数据中存在的基本信息来进行决策，此时模型的偏差较大
过拟合：当训练集误差很小，而验证集/测试集的误差较大时，此时模型是过拟合的，可以认为此时模型已经过度捕捉训练数据中存在的基本信息来，在对验证集和测试集进行决策时，稍微不同的数据就会导致模型的预测大不相同，也就是模型对未知的数据泛化能力较弱，此时模型的方差较大．
1. 欠拟合
首先欠拟合就是模型没有很好地捕捉到数据特征，不能够很好地拟合数据，
解决方法：
1）添加其他特征项，有时候我们模型出现欠拟合的时候是因为特征项不够导致的，可以添加其他特征项来很好地解决。例如，“组合”、“泛化”、“相关性”三类特征是特征添加的重要手段，无论在什么场景，都可以照葫芦画瓢，总会得到意想不到的效果。除上面的特征之外，“上下文特征”、“平台特征”等等，都可以作为特征添加的首选项。
2）添加多项式特征，这个在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强。例如上面的图片的例子。
3）减少正则化参数，正则化的目的是用来防止过拟合的，但是现在模型出现了欠拟合，则需要减少正则化参数。
2. 过拟合
通俗一点地来说过拟合就是模型把数据学习的太彻底，以至于把噪声数据的特征也学习到了，这样就会导致在后期测试的时候不能够很好地识别数据，即不能正确的分类，模型泛化能力太差。
解决方法：
1）重新清洗数据，导致过拟合的一个原因也有可能是数据不纯导致的，如果出现了过拟合就需要我们重新清洗数据。
2）增大数据的训练量，还有一个原因就是我们用于训练的数据量太小导致的，训练数据占总数据的比例过小。
3）采用正则化方法。正则化方法包括L0正则、L1正则和L2正则，而正则一般是在目标函数之后加上对于的范数。但是在机器学习中一般使用L2正则，下面看具体的原因。
L0范数是指向量中非0的元素的个数。L1范数是指向量中各个元素绝对值之和，而且它比L0范数要容易优化求解。所以大家才把目光和万千宠爱转于L1范数。
L2范数是指向量各元素的平方和然后求平方根。可以使得W的每个元素都很小，都接近于0，但与L1范数不同，它不会让它等于0，而是接近于0。所以使用L2范数。
原文链接：https://blog.csdn.net/willduan1/article/details/53070777
如何判断过拟合和欠拟合，解决手段有哪些？相关推荐
- 使用学习曲线(Learning curve)，判断机器学习模型过拟合、欠拟合，与解决过拟合、欠拟合的问题
文章目录 1.基本概念 过拟合与欠拟合 根据学习曲线判断过拟合.欠拟合 2.示例代码:绘制学习曲线 3.解决过拟合.欠拟合 解决过拟合 解决欠拟合 4. 过拟合.欠拟合的深层理解 1.基本概念 过拟合 ...
- 一文解决机器学习中的过拟合与欠拟合问题(正则化，数据增强，Dropout）
一文解决机器学习中的过拟合与欠拟合问题(正则化,数据增强,Dropout,提前终止) 生活中的过拟合与欠拟合现象 过拟合与欠拟合的概念 解决过拟合与欠拟合问题的四大金刚 正则化 数据增强 Dropou ...
- tensorflow2.0中valid_data的作用是在训练的过程对对比训练数据与测试数据的准确率 损失率，便于判断模型的训练效果：是过拟合还是欠拟合（过拟合）
tensorflow2.0中valid_data的作用是在训练的过程对对比训练数据与测试数据的准确率,便于判断模型的训练效果:是过拟合还是欠拟合 过拟合:训练数据的准确率较高而测试数据的准确率较低 欠 ...
- 过拟合解决方法python_《python深度学习》笔记---4.4、过拟合与欠拟合（解决过拟合常见方法）...
<python深度学习>笔记---4.4.过拟合与欠拟合(解决过拟合常见方法) 一.总结 一句话总结: 减小网络大小 添加权重正则化 添加 dropout 正则化 1.机器学习的根本问题? ...
- 百面机器学习 #2 模型评估：07 过拟合和欠拟合及其常用解决方法
如何有效地识别"过拟合"和"欠拟合"现象,并有针对性地进行模型调整,是不断改进机器学习模型的关键. 过拟合 模型对于训练数据拟合呈过当的情况 反映到评估指标上, ...
- 过拟合与欠拟合及解决方法
(1)什么是过拟合与欠拟合 过拟合是指模型对于训练数据拟合呈过当的情况,反映到评估指标上,就是模型在训练集上的表现很好,但在测试集和新数据上的表现较差.欠拟合指的是模型在训练和预测时表现都不好的情况. ...
- 什么是过拟合和欠拟合，怎么解决？
过拟合和欠拟合的解释 欠拟合是指模型在训练集.验证集和测试集上均表现不佳的情况: 过拟合是指模型在训练集上表现很好,到了验证和测试阶段就很差,即模型的泛化能力很差. 过拟合和欠拟合产生的原因: 欠拟合 ...
- 机器学习之过拟合与欠拟合以及偏差-方差分解
1.过拟合 所谓过拟合就是:把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质,这样就会导致训练出的模型其泛化能力降低,这就是过拟合. 如何解决? 1)Early stopping Earl ...
- 深度学习的过拟合与欠拟合问题的介绍与解决方案
文章目录 过拟合与欠拟合 一.神经网络模型的表现能力 二.欠拟合 三,过拟合 四,过拟合的解决方法 针对数据集的处理: 针对降低模型的复杂度的处理: 另一种常见的方法--Dropout 针对动量的处理 ...
最新文章
- [ARM-assembly]-ARMV9-A64指令汇总-指令速查
- 进制转换Visual Basic—进制转换规则
- 小米 pegasus_使用Google的Pegasus库生成摘要
- AUTOSAR从入门到精通100讲（126）-浅谈车载充电系统通信方案
- linux cpu频率软件,linux cpu频率控制
- php 现代排序_这就是现代PHP的样子
- matlab建立的发动机的模型,基于MATLAB∕Simulink的摩托车发动机仿真模型建立.pdf
- SQLi Labs Less-1 联合注入+报错注入
- yum报[Errno 256] No more mirrors to try
- sysbench的框架实现介绍 1
- 利用后中遍历结果，重构二叉树
- Bootstarp4 按钮
- 论中国人工智能发展史
- Golang环境配置及第三方库安装使用（至关重要的防踩坑篇）
- ElasticSearch: 使用Java Api 操作 ES
- 【轮子1】造一个炫酷的DEBUG输出
- JZ38 字符串的排列
- 6.3 Git 工具 - 交互式暂存
- 提升HTML5的性能体验系列之一 避免切页白屏
- [Demo]用简单的html，css做一个漂亮的网页！