深度神经网络(训练集，验证集，测试集), 提升模型效果，交叉验证

随笔
神经网络训练确实是loss越小，效果越好，但不是绝对的。
因为损失小只是对训练集而言，所以要划出部分数据不做训练，只做验证，即为验证集，验证集对网络训练是没影响的，
所以要将数据集分成：训练集，验证集，测试集

其实 训练集，验证集 都是有输入（input）及标签（label）的，所以都可以拿来训练，即前向传播–>求损失–>反向传播。

但验证集存在的意义就是“验证”，验证集不需要反向传播计算（即训练），
验证集是用来验证训练集得到的模型的输出效果（准确率，得分等），

某些情况带入验证集求损失，通过得到‘最小’损失，验证集的损失不做反向传播计算
但是此处的‘最小’损失，用来验证最优模型。
因为验证集不会影响、修改网络模型，可以说验证集是验证网络模型的泛化效果

测试集是没有标签（label）的，将测试集带入模型得到的输出，是没法通过量化衡量效果的，如一些比赛，用测试集来输出结果，然后提交官方。

其实训练集，验证集可以统一归为一个大的训练集

有些情况是只有训练集的。
1.你可以将训练集全部用来训练，这样省事，但你只能知道训练集内部的效果。
对于训练集内部的数据肯定效果好，但是训练集外部的数据就不一定了

2.而利用kfold 将数据集分成k份，如分成5份，取4份作为训练数据，1份作为验证数据，训练数据之外的验证数据验证模型的泛化效果
每个epoch训练完数据之后，在带入验证数据验证效果，

第二种效果可能会更好，即使少了一部分训练数据

k折利用python的sklearn库处理
from sklearn.model_selection import KFold

个人观点

深度神经网络(训练集，验证集，测试集), 提升模型效果，交叉验证相关推荐

深度神经网络训练过程中为什么验证集上波动很大_图神经网络的新基准
作者 | 李光明编辑 | 贾伟编者注:本文解读论文与我们曾发文章<Bengio 团队力作:GNN 对比基准横空出世,图神经网络的「ImageNet」来了>所解读论文,为同一篇,不同作 ...
吴恩达神经网络和深度学习-学习笔记-6-训练集、验证集和测试集 + 偏差bias和方差variance
寻找最优超参数是一个迭代过程在今天,应用深度学习是一个典型的迭代过程. 创建高质量的训练数据集.验证集和测试集,有助于提高循环效率. 训练集.验证集和测试集数据Data分为三部分: 训练集trai ...
【神经网络】学习笔记十五——训练集，验证集和测试集
以前一直知道神经网络划分数据集时要分为训练集,测试集和验证集,但不知道并且一般以6:2:2的比例划分,到头来不知道这三者各是啥,以及他们的作用是什么.本片文档解释一下三者的作用. 重点在于验证集和测试 ...
[机器学习] 训练集(train set) 验证集(validation set) 测试集(test set)
在有监督(supervise)的机器学习中,数据集常被分成2~3个即: 训练集(train set) 验证集(validation set) 测试集(test set) 一般需要将样本分成独立的三部分 ...
训练集、验证集和测试集的概念及划分原则
深度学习中,常将可得的数据集划分为训练集(training set),验证集(development set/validation set)和测试集(test set).下文主要回答以下几个问题:一是 ...
如何正确使用机器学习中的训练集、验证集和测试集？
王树义读完需要 19 分钟速读仅需7分钟训练集.验证集和测试集,林林总总的数据集合类型,到底该怎么选.怎么用?看过这篇教程后,你就能游刃有余地处理它们了. 1 问题审稿的时候,不止一次,我遇到 ...
什么是训练集、验证集和测试集？
在机器学习中,训练集.验证集和测试集是数据集的三个重要部分,用于训练.评估和测试机器学习模型的性能.它们的定义和作用如下: 什么是训练集.验证集和测试集? 训练集:训练集是机器学习模型用于训练和学习的 ...
【入门篇】如何正确使用机器学习中的训练集、验证集和测试集？
[注] ·本文为转载文章,原文作者是王树义老师,原文链接为 https://zhuanlan.zhihu.com/p/71961236 训练集.验证集和测试集,林林总总的数据集合类型,到底该怎么选.怎 ...
【小白学PyTorch】 2.浅谈训练集验证集和测试集
文章目录: 经验误差与过拟合评估方法经验误差与过拟合关键词:错误率(error rate),精度(accuracy). 错误率好理解,就是m个样本中,a个样本分类错误,则错误率E = a/m . ...
训练集验证集_训练与验证、测试集数据分布不同的情况
在不同分布的数据集上进行训练与验证.测试深度学习需要大量的数据,但是有时我们可获得的满足我们真实需求分布的数据并不是那么多,不足以对我们的模型进行训练.这时我们就会收集大量相关的数据加入到训练集中, ...

深度神经网络(训练集，验证集，测试集), 提升模型效果，交叉验证

深度神经网络(训练集，验证集，测试集), 提升模型效果，交叉验证相关推荐

最新文章

热门文章