机器学习--K折交叉验证（K-fold cross validation）

K 折交叉验证（K-flod cross validation）

当样本数据不充足时，为了选择更好的模型，可以采用交叉验证方法。

基本思想：把给定的数据进行划分，将划分得到的数据集组合为训练集与测试集，在此基础上进行反复训练、测试以及模型选择。

最常用的为 K 折交叉验证。
首先随机将给定数据划分为 K 个互不相交、大小相同的自己；每次选择一个子集当作测试集（不能重复），其余 K-1 个子集作为训练集；一共进行 K 次；最后选择这 K 次中平均测试误差最小的模型。

例子

# coding=utf-8from sklearn import datasets
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import KFold, cross_val_score
import numpy as npif __name__ == '__main__':# 导入数据iris = datasets.load_iris()# 引入 k 折交叉验证k_fold = KFold(n_splits=5)scores = []knn = KNeighborsClassifier(n_neighbors=3, weights="uniform")for train_indices, test_indices in k_fold.split(iris.data):x_train, x_test, y_train, y_test = iris.data[train_indices], iris.data[test_indices],\iris.target[train_indices], iris.target[test_indices]knn.fit(x_train, y_train)y_predict = knn.predict(x_test)print(f"predict accuracy = {knn.score(x_test, y_test)}")scores.append(knn.score(x_test, y_test))print(f"average predict accuracy = {np.array(scores).mean()} ± {np.array(scores).std()}")# predict accuracy = 1.0# predict accuracy = 1.0# predict accuracy = 0.8333333333333334# predict accuracy = 0.9333333333333333# predict accuracy = 0.7666666666666667# average predict accuracy = 0.9066666666666666 ± 0.0928559218478941

机器学习--K折交叉验证（K-fold cross validation）相关推荐

10折交叉验证（10-fold Cross Validation）与留一法（Leave-One-Out）、分层采样（Stratification）
10折交叉验证我们构建一个分类器,输入为运动员的身高.体重,输出为其从事的体育项目-体操.田径或篮球. 一旦构建了分类器,我们就可能有兴趣回答类似下述的问题: 1. 该分类器的精确率怎么样? 2. 该 ...
10折交叉验证（10-fold Cross Validation）与留一法（Leave-One-Out）、分层采样（Stratification）...
10折交叉验证我们构建一个分类器,输入为运动员的身高.体重,输出为其从事的体育项目-体操.田径或篮球. 一旦构建了分类器,我们就可能有兴趣回答类似下述的问题: 1. 该分类器的精确率怎么样? 2. ...
Kaggle上分技巧——单模K折交叉验证训练+多模型融合
一.K折交叉验证训练单个模型 1.1 k 折交叉验证(K-Fold Cross Validation)原理通过对 k 个不同分组训练的结果进行平均来减少方差,因此模型的性能对数据的划分就不那么敏感, ...
k折交叉验证（k-fold Cross-validation）
一.基本概述交叉验证是在机器学习建立模型和验证模型参数时常用的办法,一般被用于评估一个机器学习模型的表现.更多的情况下,我们也用交叉验证来进行模型选择(model sel ...
Python实现K折交叉验证
训练集训练集(Training Dataset)是用来训练模型使用的,在机器学习的7个步骤中,训练集主要在训练阶段使用. 验证集当我们的模型训练好之后,我们并不知道模型表现的怎么样,这个 ...
交叉验证方法汇总【附代码】（留一法、K折交叉验证、分层交叉验证、对抗验证、时间序列交叉验证）
目录交叉验证是什么? 留一验证(LOOCV,Leave one out cross validation ) LOOCC代码验证集方法验证集方法代码 K折交叉验证(k-fold cross va ...
k折交叉验证优缺点_k折交叉验证(R语言)
"机器学习中需要把数据分为训练集和测试集,因此如何划分训练集和测试集就成为影响模型效果的重要因素.本文介绍一种常用的划分最优训练集和测试集的方法--k折交叉验证." k折交叉验证 ...
Pytorch最简单的图像分类——K折交叉验证处理小型鸟类数据集分类2.0版本ing
https://blog.csdn.net/hb_learing/article/details/110411532 https://blog.csdn.net/Pl_Sun/article/deta ...
k折交叉验证 k-fold cross-validation
文章目录 k折交叉验证 k值的确定实例使用scikit-learn进行交叉验证交叉验证是用来评估机器学习方法的有效性的统计学方法,可以使用有限的样本数量来评估模型对于验证集或测试集数据的效果. ...

机器学习--K折交叉验证（K-fold cross validation）

K 折交叉验证（K-flod cross validation）

例子

机器学习--K折交叉验证（K-fold cross validation）相关推荐

最新文章

热门文章