【深度学习】训练集、验证集、测试集

训练集：使用训练集来对某个网络模型进行训练，使用梯度下降法来更新普通参数，如权重和偏置。

验证集：使用验证集来对训练集训练的模型调节他的超参数（如：网络层数、网络节点数、迭代次数、学习率、正则化参数），这些超参数在训练集训练时候不会更改，在验证的时候是通过认为设定某个超参数，来得到准确率，并选择该模型准确率最好的一组超参数。

测试集：通过验证集选择的一组超参数，结合训练集得到的普通参数（如：权重、移动平均值），求正确率为多少，来评判该模型如何。

简单来说，就是训练集在某组超参数下训练得到普通参数（如，权重、移动平均值）；

验证集多选取几组超参数，结合该模型训练集得到的普通参数，求正确率，选取该模型准确率最好的一组超参数；

测试集：通过验证集选择的一组超参数，结合训练集得到的普通参数（如：权重、移动平均值），求正确率为多少，来评判该模型如何。

下面是我个人的理解：

针对网络层数和网络节点数这种超参数，我觉得是你选择某种网络层数或者网络节点之后，你还得使用训练集进行训练，得到普通参数。但是对于学习率和迭代次数这类超参数，不需要在重新训练，只需要使用训练集训练得到的普通参数，即可。

cs231n的课后作业，特征提取那一章的做法是：限定某个网络模型（比如LinearSVM或TwoLayerNet），对于每组超参数（他只考虑了正则化参数、学习率）的选择，都会进行训练集的训练，然后在训练集和验证集上求准确率，保留验证集准确率最好的那一个准确率。

【深度学习】训练集、验证集、测试集相关推荐

【小白学PyTorch】 2.浅谈训练集验证集和测试集
文章目录: 经验误差与过拟合评估方法经验误差与过拟合关键词:错误率(error rate),精度(accuracy). 错误率好理解,就是m个样本中,a个样本分类错误,则错误率E = a/m . ...
训练集验证集_训练与验证、测试集数据分布不同的情况
在不同分布的数据集上进行训练与验证.测试深度学习需要大量的数据,但是有时我们可获得的满足我们真实需求分布的数据并不是那么多,不足以对我们的模型进行训练.这时我们就会收集大量相关的数据加入到训练集中, ...
【深度学习】2-模型在测试集的准确率大于训练集
吴恩达神经网络和深度学习-学习笔记-6-训练集、验证集和测试集 + 偏差bias和方差variance
寻找最优超参数是一个迭代过程在今天,应用深度学习是一个典型的迭代过程. 创建高质量的训练数据集.验证集和测试集,有助于提高循环效率. 训练集.验证集和测试集数据Data分为三部分: 训练集trai ...
【神经网络】学习笔记十五——训练集，验证集和测试集
以前一直知道神经网络划分数据集时要分为训练集,测试集和验证集,但不知道并且一般以6:2:2的比例划分,到头来不知道这三者各是啥,以及他们的作用是什么.本片文档解释一下三者的作用. 重点在于验证集和测试 ...
深度学习(训练/开发/测试集)的划分技巧
github博客传送门 csdn博客传送门小数据量时代(100 - 1000 - 10000条左右或更多): 一. 70%训练集 , 30%测试集二. 60%训练集 , 20%交叉验证集 , 20 ...
【入门篇】如何正确使用机器学习中的训练集、验证集和测试集？
[注] ·本文为转载文章,原文作者是王树义老师,原文链接为 https://zhuanlan.zhihu.com/p/71961236 训练集.验证集和测试集,林林总总的数据集合类型,到底该怎么选.怎 ...
[机器学习] 训练集(train set) 验证集(validation set) 测试集(test set)
在有监督(supervise)的机器学习中,数据集常被分成2~3个即: 训练集(train set) 验证集(validation set) 测试集(test set) 一般需要将样本分成独立的三部分 ...
训练集、验证集和测试集的概念及划分原则
深度学习中,常将可得的数据集划分为训练集(training set),验证集(development set/validation set)和测试集(test set).下文主要回答以下几个问题:一是 ...
如何正确使用机器学习中的训练集、验证集和测试集？
王树义读完需要 19 分钟速读仅需7分钟训练集.验证集和测试集,林林总总的数据集合类型,到底该怎么选.怎么用?看过这篇教程后,你就能游刃有余地处理它们了. 1 问题审稿的时候,不止一次,我遇到 ...

【深度学习】训练集、验证集、测试集

【深度学习】训练集、验证集、测试集相关推荐

最新文章

热门文章