关于数据集的划分是基本概念，但是有时候看其他人代码时，经常被弄得云里雾里。

特作此记录。

训练集（train set）

验证集（val set）

验证集的正确打开方式

测试集（test set）

train（含label）——进一步分为train和val。val用于调参。train与val无交集，所以val也可以看模型效果。

训练集拿来训练模型参数的，对于所有的训练集，训练一个epoch之后，我们会用验证集来测试一下模型在上面的性能，由于训练集和验证集的不可交性，所以在验证集上面的结果是有参考意义的。

test ——实际中使用模型时遇到的数据（一般无label）。

训练集（train set）

用于训练模型以及确定模型权重。

验证集（val set）

用于确定网络结构以及调整模型的超参数。

使用验证集是为了快速调参，也就是用验证集选择超参数（网络层数，网络节点数，迭代次数，学习率这些）。另外用验证集还可以监控模型是否异常（过拟合什么的），然后决定是不是要提前停止训练。

验证集的关键在于选择超参数，我们手动调参是为了让模型在验证集上的表现越来越好，如果把测试集作为验证集，调参去拟合测试集，就有点像作弊了。

验证集不参与反向传播（梯度下降过程的）。

验证集的正确打开方式

验证集可以看做参与了 “人工调参” 的训练过程

一般训练几个 epoch 就跑一次验证看看效果（大部分网络自带这个功能）

这样做的第一个好处是：可以及时发现模型或者参数的问题，比如模型在验证集上发散啦、出现很奇怪的结果啦（Inf）、mAP不增长或者增长很慢啦等等情况，这时可以及时终止训练，重新调参或者调整模型，而不需要等到训练结束。

另一个好处是验证模型的泛化能力，如果在验证集上的效果比训练集上差很多，就该考虑模型是否过拟合了。同时，还可以通过验证集对比不同的模型（模型选择）。

验证集是否一定要有？

不一定要有

数据划分

数据量较小（传统机器学习）

没有验证集，建议设置成训练集：测试集=7：3
有验证集，训练集：验证集：测试集=6：2：2

深度学习

深度学习中若是数据很大，可以将训练集、验证集、测试集比例调整为98：1：1

测试集（test set）

用于检验模型的泛化能力。既不参与参数的学习过程，也不参与参数的选择过程，仅仅用于模型评价。

划分依据：

根据吴恩达老师所说，在数据较少情况下（万为单位及以下），可以按照60％，20％，20％的比例来划分数据。大数据时代，百万级别的数据情况下，训练集的数据可以达到98％左右。

同时，建议验证集与训练集的数据来自同一分布。

文章来源：

训练集、验证集与测试集_关关在干嘛的博客-CSDN博客_验证集有反向传播

验证集和测试集的区别？_不吃饭就会放大招的博客-CSDN博客_测试集和验证集能一样吗

数据集的划分，验证集参与训练了吗？_无枒的博客-CSDN博客_验证集参与训练吗

【机器学习】训练集、验证集与测试集相关推荐

【转载】如何理解数据集中【训练集】、【验证集】和【测试集】
转自<吴恩达深度学习笔记(28)-网络训练验证测试数据集的组成介绍> 训练,验证,测试集(Train / Dev / Test sets) 在配置训练.验证和测试数据集的过程中做出正确决策 ...
【Science】破解密码“AlphaGo”诞生，训练Gan破解27%LinkedIn测试集密码
本文讲的是破解密码"AlphaGo"诞生,训练Gan破解27%LinkedIn测试集密码,一项新的研究旨在使用生成对抗网络(GAN) 来加快密码破解的速度.斯蒂文斯理工学院的研究人 ...
为什么训练集用fit_transform()而测试集用transform()及sklearn.feature_extraction.text.CountVectorizer API详解
真正讲明白的 https://blog.csdn.net/yyhhlancelot/article/details/85097656 API https://scikit-learn.org/stab ...
训练集准确率上升，测试集的准确率没有变化！
训练集准确率上升,测试集的准确率没有变化! 1.问题描述 2.解决办法 1.问题描述最近利用ResNet18网络做分类问题时,训练集准确率一直在上升,测试集的准确率确几乎没有变化.数据集用的是flo ...
训练集山准确率高测试集上准确率很低_推荐算法改版前的AB测试
编辑导语:所谓推荐算法就是利用用户的一些行为,通过一些数学算法,推测出用户可能喜欢的东西:如今很多软件都有这样的操作,对于此系统的设计也会进行测试:本文作者分享了关于推荐算法改版前的AB测试,我们一起 ...
训练集山准确率高测试集上准确率很低_拒绝DNN过拟合，谷歌准确预测训练集与测试集泛化差异，还开源了数据集 | ICLR 2019...
鱼羊发自凹非寺量子位报道 | 公众号 QbitAI 深度神经网络(DNN)如今已经无处不在,从下围棋到打星际,DNN已经渗透到图像识别.图像分割.机器翻译等各种领域,并且总是表现惊艳. 然而, ...
【入门篇】如何正确使用机器学习中的训练集、验证集和测试集？
[注] ·本文为转载文章,原文作者是王树义老师,原文链接为 https://zhuanlan.zhihu.com/p/71961236 训练集.验证集和测试集,林林总总的数据集合类型,到底该怎么选.怎 ...
[机器学习] 训练集(train set) 验证集(validation set) 测试集(test set)
在有监督(supervise)的机器学习中,数据集常被分成2~3个即: 训练集(train set) 验证集(validation set) 测试集(test set) 一般需要将样本分成独立的三部分 ...
机器学习数据集划分训练集验证集测试集
版权声明:本文为博主原创文章,转载请注明转自 Scofield's blog[http://blog.csdn.net/scotfield_msn] https://blog.csdn.net/Sco ...
如何正确使用机器学习中的训练集、验证集和测试集？
王树义读完需要 19 分钟速读仅需7分钟训练集.验证集和测试集,林林总总的数据集合类型,到底该怎么选.怎么用?看过这篇教程后,你就能游刃有余地处理它们了. 1 问题审稿的时候,不止一次,我遇到 ...

【机器学习】训练集、验证集与测试集

训练集（train set）

验证集（val set）

验证集的正确打开方式

验证集是否一定要有？

数据划分

测试集（test set）

【机器学习】训练集、验证集与测试集相关推荐

最新文章

热门文章