留出法 hold-out

留出法直接将数据集D划分为两个互斥的部分，其中一部分作为训练集S，另一部分用作测试集T。通常训练集和测试集的比例为70%：30%。同时，训练集测试集的划分有两个注意事项：

尽可能保持数据分布的一致性。避免因数据划分过程引入的额外偏差而对最终结果产生影响。在分类任务中，保留类别比例的采样方法称为“分层采样”（stratified sampling）。
采用若干次随机划分避免单次使用留出法的不稳定性。

交叉验证法 cross validation

k折交叉验证

交叉验证法先将数据集D划分为k个大小相似的互斥子集，每次采用k−1个子集的并集作为训练集，剩下的那个子集作为测试集。进行k次训练和测试，最终返回k个测试结果的均值。又称为“k折交叉验证”（k-fold cross validation）。

留一法 leave-one-out cross validation

留一法是k折交叉验证k=m（m为样本数）时候的特殊情况。即每次只留下一个样本做测试集，其它样本做训练集，需要训练k次，测试k次。留一法计算最繁琐，但样本利用率最高。因为计算开销较大，所以适合于小样本的情况。

优点：样本利用率高。
缺点：计算繁琐。

自助法 bootstrapping

自助法以自助采样为基础（有放回采样）。每次随机从D（样本数为m）中挑选一个样本，放入D′中，然后将样本放回D中，重复m次之后，得到了包含m个样本的数据集。
样本在m次采样中始终不被采到的概率是(1−1m)m(1-\frac{1}{m})^{m}(1−m1)m，取极限得到limm→∞=(1−1m)m=1e=0.368lim_{m\rightarrow \infty }=(1-\frac{1}{m})^{m}=\frac{1}{e}=0.368limm→∞=(1−m1)m=e1=0.368。即D约有36.8%的样本未出现在D′中。于是将D′用作训练集，D\D′用作测试集。这样，仍然使用m个训练样本，但约有1/3未出现在训练集中的样本被用作测试集。

优点：自助法在数据集较小、难以有效划分训练/测试集时很有用。
缺点：自助法改变了初始数据集的分布，这会引入估计偏差。

参考：
https://blog.csdn.net/pxhdky/article/details/85206705

评估方法（交叉验证法、自助法、留出法）相关推荐

统计学习：模型评估与选择--留出法（python实现）
使用测试集来测试学习器对新样本的判别能力,然后在测试集上的"测试误差"作为泛化误差的近似,且假设测试样本是从样本真实分布中独立同分布采用而得.这样的目的也就是利用测试样本模拟真实模 ...
深度学习评估方法--留出法、交叉验证法、自助法
目录 1.评估方法: 1.1 留出法(hold-out) 1.2 交叉验证法(cross validation) 1.2.1 "k折交叉验证"(k-fold cross valid ...
波斯顿房价（lasso、线性回归、留出法、k折交叉验证法）
经过几天水水的学习,利用波斯顿房价数据集做了一点小小练习,并写此笔记来记录自己点滴实验心得.新手实验,望有经验人士勿喷,本人抛砖引玉,望得到宝贵建议.如今后有新的体会,则会更新笔记. 1.线性回归+留 ...
python实现留一法_数据分割：留出法train_test_split、留一法LeaveOneOut、GridSearchCV(交叉验证法+网格搜索)、自助法...
1.10 交叉验证,网格搜索学习目标目标知道交叉验证.网格搜索的概念会使用交叉验证.网格搜索优化训练模型 1 什么是交叉验证(cross validation) 交叉验证:将拿到的训练数据,分 ...
统计机器学习作业一采用交叉验证、留出法、自助法划分数据集，绘制PR图
要求:随机生成两组数据,每组50个数,其中一组服从正态分布,另一组服从N(1,1) .编写一个code: Input:上面产生的100个数,类别数:2 Output:1.0标签序列(每个标签对应每个数 ...
【机器学习－西瓜书】二、模型评估：过拟合；自助法；交叉验证法
关键词: 错误率(error rate):精度(accuracy):经验误差(empirical error):泛化误差(generalization error):过拟合(overfitting); ...
python交叉验证法_详解python实现交叉验证法与留出法
在机器学习中,我们经常在训练集上训练模型,在测试集上测试模型.最终的目标是希望我们的模型在测试集上有最好的表现. 但是,我们往往只有一个包含m个观测的数据集D,我们既要用它进行训练,又要对它进行测试. ...
交叉验证法与留出法及其python实现
在机器学习中,我们经常在训练集上训练模型,在测试集上测试模型.最终的目标是希望我们的模型在测试集上有最好的表现. 但是,我们往往只有一个包含m个观测的数据集D,我们既要用它进行训练,又要对它进行测试. ...
留一法（交叉验证法，Leave-One-Out Cross Validation）
交叉验证法这种方法比较简单易懂,就是把一个大的数据集分为k个小数据集,其中k-1个作为训练集,剩下的一个作为测试集,然后选择下一个作为测试集,剩下的k-1个作为训练集,以此类推.这其中,k的取值就比 ...

评估方法（交叉验证法、自助法、留出法）

文章目录