tensorflow 对csv数据进行批量获取

代码如下：

#读取文件数据

def read_data(file_queue):
# 读取的时候需要跳过第一行
reader = tf.TextLineReader(skip_header_lines=1)
key, value = reader.read(file_queue)
# 对于数据源中空的值设置默认值
record_defaults = [[''], [''], [''], [''], [0.], [0.], [0.], [0.], [''],[0], [''], [0.], [''], [''], [0]]
# 定义decoder，每次读取的执行都从文件中读取一行。然后，decode_csv 操作将结果解析为张量列表
province, city, address, postCode, longitude,latitude, price, buildingTypeId, buildingTypeName, tradeTypeId, tradeTypeName, expectedDealPrice, listingDate, delislingDate, daysOnMarket = tf.decode_csv(value, record_defaults)
return tf.stack([price,expectedDealPrice]),daysOnMarket

#批量获取
def create_pipeline(filename,batch_size,num_epochs=None):
file_queue = tf.train.string_input_producer([filename],num_epochs=num_epochs)
example,dayOnMarket = read_data(file_queue)#example,label 样本和样本标签,batch_size 返回一个样本batch样本集的样本个数
min_after_dequeue = 1000#出队后队列至少剩下的数据个数，小于capacity（队列的长度）否则会报错，
capacity = min_after_dequeue+batch_size#队列的长度
#example_batch,label_batch= tf.train.shuffle_batch([example,label],batch_size=batch_size,capacity=capacity,min_after_dequeue=min_after_dequeue)#把队列的数据打乱了读取
example_batch,daysOnMarket_batch= tf.train.batch([example,dayOnMarket],batch_size=batch_size,capacity=capacity)#顺序读取

return example_batch,daysOnMarket_batch

转载于:https://www.cnblogs.com/bluesl/p/9215800.html

tensorflow 对csv数据进行批量获取相关推荐

Tushare批量获取各城市股票日度行情数据
Tushare批量获取各股票行情数据 tushare接口基本设置 1.tushare注册 2.软件准备 3.调用数据库批量获取股票收盘价 ID:447607 tushare为广大金融分析人员提供了一 ...
html状态查询爱站,批量获取爱站数据
批量获取爱站数据 SEO工作中经常需要批量获取爱站的一些数据,而实际操作中这方面的工具又很少,现在共享一个简单又实用的开源python抓取Code. 首先你需要保存下面的代码,后缀为".py ...
R语言：批量获取指定股票代码的股票数据
目的是批量获取大量指定股票代码的股票数据,最后结果要求保存在csv文件中,由于有些股票代码是没有的,所以在获取过程中会导致出错,跳出循环.这里的处理方式是用tryCatch函数,并设定一定的等待时间, ...
Python批量获取精密轨道数据
前两天因为要做时序处理,需要的精密轨道数据很多,一个一个筛选很耗时耗力,所以作者就写了一个批量获取精密轨道数据的程序,供大家参考使用. 目录一.精密轨道下载网址二.程序使用的注意事项三.cook ...
微信小程序批量获取input的输入值，监听输入框，数据同步
微信小程序批量获取input的输入值,监听输入框,数据同步在使用小程序时,跟vue的数据绑定不一样,没有v-model这个属性了,官网也只是给了一些事件监听. 但是我们如果有多个表单时,需要写多个事 ...
【csv文件转xml文件】Excel表格数据快速批量生成xml格式文件
使用背景: 使用场景举例:数据集标签处理有时候我们需要将固定格式的Excel表格文件(csv文件)转换为xml文件使用,例如我们在目标检测实验当中我们需要制作数据集Pascal VOC格式的标签文件 ...
C#开发BIMFACE系列20 服务端API之获取模型数据5：批量获取构件属性
系列目录 [已更新最新开发文章,点击查看详细] 在<C#开发BIMFACE系列18 服务端API之获取模型数据3:获取构件属性>中介绍了获取单个文件/模型的单个构建的属性,本篇介绍 ...
用Python批量获取唯品会商品数据（附视频教程）
情人节快到了,还不知道给女朋友买什么礼物? 直男:别问,问就是口红好吧,那我们今天就来爬一下口红,看看什么色号最受欢迎! 很多兄弟都是苦于没有对应的资料,不清楚方向要学什么,或者有问题半天解决不了就 ...
小方法！如何批量下载各平台的商品图并快速生成csv数据包
相信做电商的都知道csv数据包的用处,因为它可以给卖家们提供快速上传宝贝,那么CSV数据包是怎样生成而来的呢?这对于新开店的新手,或对那些在做代理产品的商家们来说,数据包无疑是最大的用处了,那以后万一 ...

tensorflow 对csv数据进行批量获取

tensorflow 对csv数据进行批量获取相关推荐

最新文章

热门文章