Python产生batch数据的方法

参考此文：https://blog.csdn.net/qq_33039859/article/details/79901667

产生batch数据

输入data中每个样本可以有多个特征，和一个标签，最好都是numpy.array格式。
datas = [data1, data2, …, dataN ], labels = [label1, label2, …, labelN]，
其中data[i] = [feature1, feature2,…featureM], 表示每个样本数据有M个特征。
输入我们方法的数据，all_data = [datas, labels] 。

代码实现

通过索引值来产生batch大小的数据，同时提供是否打乱顺序的选择，根据随机产生数据量范围类的索引值来打乱顺序。

import numpy as npdef batch_generator(all_data , batch_size, shuffle=True):""":param all_data : all_data整个数据集，包含输入和输出标签:param batch_size: batch_size表示每个batch的大小:param shuffle: 是否打乱顺序:return:"""# 输入all_datas的每一项必须是numpy数组，保证后面能按p所示取值all_data = [np.array(d) for d in all_data]# 获取样本大小data_size = all_data[0].shape[0]print("data_size: ", data_size)if shuffle:# 随机生成打乱的索引p = np.random.permutation(data_size)# 重新组织数据all_data = [d[p] for d in all_data]batch_count = 0while True:# 数据一轮循环(epoch)完成，打乱一次顺序if batch_count * batch_size + batch_size > data_size:batch_count = 0if shuffle:p = np.random.permutation(data_size)all_data = [d[p] for d in all_data]start = batch_count * batch_sizeend = start + batch_sizebatch_count += 1yield [d[start: end] for d in all_data]

测试数据

样本数据x和标签y可以分开输入，也可以同时输入。

# 输入x表示有23个样本，每个样本有两个特征
# 输出y表示有23个标签，每个标签取值为0或1
x = np.random.random(size=[23, 2])
y = np.random.randint(2, size=[23,1])
count = x.shape[0]batch_size = 5
epochs = 20
batch_num = count // batch_size batch_gen = batch_generator([x, y],  batch_size)for i in range(epochs):print("##### epoch %s ##### " % i)for j in range(batch_num):batch_x, batch_y = next(batch_gen)print("-----epoch=%s, batch=%s-----" % (i, j))print(batch_x, batch_y)

Python产生batch数据的方法相关推荐

Python产生batch数据的操作
这篇文章主要介绍了Python产生batch数据的操作,具有很好的参考价值,希望对大家有所帮助.一起跟随小编过来看看吧产生batch数据输入data中每个样本可以有多个特征,和一个标签,最好都是n ...
python提取hbase数据_详解python操作hbase数据的方法介绍
配置 thrift python使用的包 thrift 个人使用的python 编译器是pycharm community edition. 在工程中设置中,找到project interpreter ...
oracle数据导入到python,Python导入oracle数据的方法 -电脑资料
作者:Sephiroth 字体:[增加减小] 类型:转载这篇文章主要介绍了Python导入oracle数据的方法,涉及Python读取csv文件信息再插入到Oracle数据库的相关技巧,具有一定参 ...
oracle数据导入到python,Python导入oracle数据的方法
Python导入oracle数据的方法本文实例讲述了Python导入oracle数据的方法.分享给大家供大家参考.具体如下: import cx_Oracle dns_tns=cx_Oracle.m ...
python常用的数据预处理方法
2019独角兽企业重金招聘Python工程师标准>>> 转载自:http://2hwp.com/2016/02/03/data-preprocessing/ 常见的数据预处理方法,以 ...
Python Pandas 列数据筛选方法汇总
Pandas 列数据筛选方法汇总数据准备: 一.筛选得到指定的列 1.1 根据 label 选择特定的几列 1.2 选择单列的两种方式 1.3 通过正则表达式选择列二.同时对行和列进行筛选 ...
python如何收集数据的方法有哪些_class类在python中获取金融数据的实例方法
我们搜集金融数据,通常想要的是利用爬虫的方法.其实我们最近所学的class不仅可以进行类调用,在获取数据方面同样是可行的,很多小伙伴都比较关注理财方面的情况,对金融数据的需要也是比较多的.下面就cla ...
Python八种数据导入方法，你掌握了吗？
数据分析过程中,需要对获取到的数据进行分析,往往第一步就是导入数据.导入数据有很多方式,不同的数据文件需要用到不同的导入方式,相同的文件也会有几种不同的导入方式.下面总结几种常用的文件导入方法. 大多 ...
【Python】Python八种数据导入方法，你掌握了吗？
数据分析过程中,需要对获取到的数据进行分析,往往第一步就是导入数据.导入数据有很多方式,不同的数据文件需要用到不同的导入方式,相同的文件也会有几种不同的导入方式.下面总结几种常用的文件导入方法. 大多 ...

Python产生batch数据的方法

产生batch数据

代码实现

测试数据

Python产生batch数据的方法相关推荐

最新文章

热门文章