基于pandas实现K折交叉验证数据集划分

k折交叉验证

将训练集分为k份，取其中一份成为验证集，剩下成为训练集，称为k折数据划分，使用得到的k个训练集、验证集，训练k个模型，k个模型做简单的模型融合，可提升模型稳定性、准确率。

数据介绍

数据共有四列，列名分别为id，title，content，id，抽样了20行方便进行试验。

代码实现

#以下代码得到上图的数据
train=pd.read_csv("data_0/train.csv",sep=",")
train=train[["id","title","content","label"]]
train=train[:20]
train.info()
#以上代码得到上图的数据

def k_fold_split(train_df,k):os.system("mkdir data")k_fold=[]index=set(range(train.shape[0]))for i in range(k):#防止所有数据不能整除k，最后将剩余的都放到最后一折if i==k-1:k_fold.append(list(index))else:tmp=random.sample(list(index),int(1.0/k*train.shape[0]))k_fold.append(tmp)index-=set(tmp)#将原始训练集划分为k个包含训练集和验证集的训练集，同时每个训练集中，训练集：验证集=k-1:1for i in range(k):print("第{}折........".format(i+1))tra=[]dev=k_fold[i]for j in range(k):if i!=j:tra+=k_fold[j]train.iloc[tra].to_csv("data/train_{}".format(i),sep=",",index=False)train.iloc[dev].to_csv("data/val_{}".format(i),sep=",",index=False)print("done!")if __name__=="__main__":k_fold_split(train,5)

效果展示

打开文件验证是符合k折交叉验证数据划分原则。

基于pandas实现K折交叉验证数据集划分相关推荐

Pytorch最简单的图像分类——K折交叉验证处理小型鸟类数据集分类2.0版本ing
https://blog.csdn.net/hb_learing/article/details/110411532 https://blog.csdn.net/Pl_Sun/article/deta ...
Python：K折交叉验证，将数据集分成训练集与测试集
注意文件夹格式:父文件夹/类别/图像(同torch读取图像格式保存一致),传入路径为父文件夹路径. """ 对图像进行交叉验证, 用于检验分类效果对每个类别的n张图像进 ...
训练集、测试集的划分——K折交叉验证
文章目录一.训练集.测试集二.交叉验证法 1.目的 2.原理 3.具体步骤一.训练集.测试集训练集(Training Set):帮助我们训练模型,简单的说就是通过训练集的数据让我们确定拟合曲线 ...
【Python-ML】SKlearn库Pipeline工作流和K折交叉验证
# -*- coding: utf-8 -*- ''' Created on 2018年1月18日 @author: Jason.F @summary: Pipeline,流水线工作流,串联模型拟合. ...
k折交叉验证法python实现_Jason Brownlee专栏| 如何解决不平衡分类的k折交叉验证-不平衡分类系列教程(十)...
作者:Jason Brownlee 编译:Florence Wong – AICUG 本文系AICUG翻译原创,如需转载请联系(微信号:834436689)以获得授权在对不可见示例进行预测时,模型评 ...
k折交叉验证优缺点_R语言中K邻近算法的初学者指南：从菜鸟到大神（附代码＆链接）...
作者:Leihua Ye, UC Santa Barbara 翻译:陈超校对:冯羽本文约2300字,建议阅读10分钟本文介绍了一种针对初学者的K临近算法在R语言中的实现方法. 本文呈现了一种在R ...
参数调优：K折交叉验证与GridSearch网格搜索
本文代码及数据集来自<Python大数据分析与机器学习商业案例实战> 一.K折交叉验证在机器学习中,因为训练集和测试集的数据划分是随机的,所以有时会重复地使用数据,以便更好地评估模型的有 ...
在Mnist数据上使用k折交叉验证训练，pytorch代码到底怎么写
前言最近学到了K折交叉验证,已经迫不及待去实验一下他的效果是不是如老师讲的一样好,特此写下本文. 本文运行环境为:sklearn.pytorch .jupyter notebook k折交叉验证介绍 ...
k折交叉验证概述-附R语言实现
因需要拿出部分数据作为测试,故总有部分数据不能用于构建模型,一种更好选择是交叉验证(简称CV).k折交叉验证是交叉验证方法中的一种(是进行模型比较的有效方法),将整体数据集分为k份(每份近似相等),其 ...
机器学习实战---朴素贝叶斯算法实现+使用K折交叉验证（代码详解+创新）
<机器学习实战朴素贝叶斯算法实现+使用K折交叉验证> 未经允许,不得擅自转载! 提供数据集如下(永久有效,需要的自行下载): 链接:https://pan.baidu.com/s/1Sv0 ...

基于pandas实现K折交叉验证数据集划分

k折交叉验证

数据介绍

代码实现

效果展示

基于pandas实现K折交叉验证数据集划分相关推荐

最新文章

热门文章