验证集与测试集的区别

在对机器学习算法进行学习和实践的时候，我们经常会遇到“验证集”和“测试集”，通常的机器学习书籍都会告诉我们，验证集和测试集不相交，验证集和训练集不相交，测试集和训练集不相交。也就是验证集与测试集似乎是同一级的东西，那么我们自然而然会有一个困惑为什么还要分测试集和验证集呢？
其实问题的答案是：训练集用于训练模型参数，测试集用于估计模型对样本的泛化误差，验证集用于“训练”模型的超参数。

什么是模型的参数
我们知道一个机器学习模型通常包括两个部分的参数：模型参数和超参数。其中超参数是用于控制模型行为的参数，这些参数不是通过模型本身学习而来的。例如多项式回归模型里面，多项式的次数，学习速率是超参数。这些超参数不能由模型本身训练得到是因为模型会倾向于把超参数训练的过大或者过小，从而极易导致过拟合。例如多项式回归模型里面，如果让模型本身去训练多项式的次数，那么模型会选择高次多项式，因为这样做误差可以取到特别小，极端情况下，N个点的多项式回归会选择次数N。

然而这些超参数，也会有不同的选择，例如学习速率可以选择0.1,0.01,1,10···那么我们怎么知道超参数的某个值会比另外一个好呢？一个很自然的想法是我们可以选择不同的超参数的值，然后跑在同一个训练集上再看最后的结果。但是这样会有一个类似的问题：如果使用训练集来选择超参数，那么超参数总是会往增加模型容量的方向发展。举个多项式的例子：如果训练集里面有100个点，然后我们让多项式的次数依次为1,10,20,100。然后让模型跑这个训练集，等训练集误差收敛后，我们再看在这个相同训练集，选择那个参数会取得最小的训练误差。。。显然选择次数100会是取得最小的训练误差···然而这显然会过拟合。那又怎么办呢？方法很简单，只要从这100个训练样本中取出一部分样本，让模型训练的过程看不到这些样本。然后再计算模型在这一部分样本中的表现，即可选择出合适的超参数。这种方式下得到的超参数最起码会比前一种方法更合理，更不会过拟合。而这一小部分样本，就是验证集啦

验证集与测试集的区别相关推荐

训练集、验证集、测试集的区别与应用
0. 前言最近一直在看论文.跑模型和做工程,很久没有来发博客了.但是在日常的学习和交流中,我感觉大家更加会关注当今最新的模型,最先进的算法,但是对于一些非常基础的内容的理解还不够透彻,我也是想借此机 ...
ML基础 : 训练集，验证集，测试集关系及划分 Relation and Devision among training set, validation set and testing set...
首先三个概念存在于有监督学习的范畴 Training set: A set of examples used for learning, which is to fit the parameters ...
训练集、验证集、测试集区分
转载链接: validation set,是有标注,用于验证的 test set,是没有标注的在有监督的机器学习中,经常会说到训练集(train).验证集(validation)和测试集(test) ...
机器学习中为什么需要验证集，验证集与测试集的区别是什么？
目录 1.为什么需要验证集 2.验证集与测试集的区别 3.如何使用验证集 4.为什么验证集和测试集都需要? 参考链接 1.为什么需要验证集在机器学习中,训练模型时需要调节模型的参数来提高模型的性能, ...
训练集、验证集、测试集的作用和意义
以下内容转自: 训练集.验证集和测试集的意义-JobPlus 在有监督的机器学习中,经常会说到训练集(train).验证集(validation)和测试集(test),这三个集合的区分可能会让人糊涂, ...
【机器学习】训练集、验证集与测试集
关于数据集的划分是基本概念,但是有时候看其他人代码时,经常被弄得云里雾里. 特作此记录. 目录训练集(train set) 验证集(val set) 验证集的正确打开方式测试集(test set) ...
一文彻底理解：训练集，验证集，测试集，交叉验证
训练集(Train Set).验证集(Validation Set).测试集(Test Set)这三个名词在机器学习领域极其常见,但很多人并不是特别清楚,尤其是后两个经常被混淆. 而交叉验证很多教材和 ...
训练集、验证集、测试集的作用和划分比例？
今天与朋友交流的时候,我竟然把验证集和测试集搞反了.....另外还有就是数据划分的问题,我也是忘了,所以再次复习一下.... 问题一:什么是训练集.验证集.测试集以及它们的作用? 1.训练集参与训练 ...
【机器学习算法面试题】六.训练集、验证集、测试集的理解。
欢迎订阅本专栏:<机器学习算法面试题> 订阅地址:https://blog.csdn.net/m0_38068876/category_11810806.html [机器学习算法面试题]一 ...
训练集，验证集，测试集，泛化误差总结
能不能只要训练集,不要测试集? 模型参数包含两类:模型参数,超参数:我们的任务是通过调整超参数使得模型参数更好的拟合数据如果不需要调整模型的超参数,那可以不用验证集: 验证集的作用是模拟测试集,我们 ...

验证集与测试集的区别

验证集与测试集的区别相关推荐

最新文章

热门文章