Python pandas 分层抽样超简洁

这段时间在打一个机器学习比赛，遇到分层抽样的需求。在网上查了一下，虽然也有前辈用pandas写出来过，但代码有很多冗余，于是我又重写了一个超简洁的版本。注释应该还算清晰，各位可以自取。用得好可以给个赞，感谢！

sample_data：原始数据，示例中‘label’列是分层依据
train_proportion：训练集抽取比例，默认70%
seed：随机抽取与打乱顺序时用到的随机数种子，默认为None。当输入一个数字的时候，输出的样本及样本顺序都会固定。

返回的是训练样本和测试样本，两个样本不重叠，且合在一起包含了全部样本。

def stratified_sampling(sample_data, train_proportion=0.7, seed=None):# 分层随机选取训练样本train_sample = sample_data.groupby('label').apply(lambda x: x.sample(frac=train_proportion, random_state=seed))# 上一步得到的样本是按照label聚在一起的，所以这一步需要打乱顺序train_sample = train_sample.sample(frac=1, random_state=seed)train_sample.reset_index(drop=True, inplace=True)# 和原始数据拼接起来，删掉重复值，从而获得测试数据test_sample = pd.concat([sample_data, train_sample]).drop_duplicates(keep=False)# 同样对抽取出的测试样本打乱顺序test_sample = test_sample.sample(frac=1, random_state=seed)test_sample.reset_index(drop=True, inplace=True)return train_sample, test_sample

然而作者写完这段代码才发现sklearn.model_selection里面有train_test_split，可以完全实现上述效果。不过还是需要reset_index

data_train, data_test = train_test_split(data_label, test_size=0.3, random_state=0, stratify=data_label.label)

Python pandas 分层抽样超简洁相关推荐

python pandas库读取excel/csv中指定行或列数据详解
通过阅读表格,可以发现Pandas中提供了非常丰富的数据读写方法,下面这篇文章主要给大家介绍了关于python利用pandas库读取excel/csv中指定行或列数据的相关资料,需要的朋友可以参考下 ...
Python pandas用法
Python pandas用法无味之味关注 12019.01.10 15:43:25字数 2,877阅读 91,914 介绍在Python中,pandas是基于NumPy数组构建的,使数据预处理. ...
python pandas 独热编码
python pandas 独热编码 import pandas as pd df1 = pd.DataFrame({'姓名': ['周', '武', '郑'],'成绩': [100, 96, 77] ...
python pandas 读写 csv 文件
python pandas 读写 csv 文件具体看官方文档 https://www.pypandas.cn/docs/user_guide/io.html#csv-文本文件 import pand ...
python pandas DataFrame 替换 NaN 值和删除 NaN 所在的行。
python pandas DataFrame 替换 NaN 值和删除 NaN 所在的行. import pandas as pd import numpy as np df1 = pd.Data ...
python pandas DataFrame 查找NaN所在的位置
python pandas DataFrame 查找 NaN 所在的位置 import pandas as pd import numpy as np df1 = pd.DataFrame({'日期' ...
python pandas dataframe 列转换为离散值
python pandas dataframe 列转换为离散值 import pandas as pd import numpy as np df1 = pd.DataFrame({'日期': [' ...
python pandas DataFrame 排序
python pandas DataFrame 排序 import pandas as pd import numpy as np df1 = pd.DataFrame({'日期': ['2021-7 ...
python pandas DataFrame 字符串转日期格式
python pandas DataFrame 字符串转日期格式 import pandas as pd import numpy as np df1 = pd.DataFrame({'日期': [' ...

Python pandas 分层抽样超简洁

Python pandas 分层抽样超简洁相关推荐

最新文章

热门文章

Python pandas 分层抽样 超简洁

Python pandas 分层抽样 超简洁相关推荐

最新文章

热门文章

Python pandas 分层抽样超简洁

Python pandas 分层抽样超简洁相关推荐