TensorFlow高效读取数据的方法
概述
最新上传的mcnn中有完整的数据读写示例,可以参考。
关于Tensorflow读取数据,官网给出了三种方法:
- 供给数据(Feeding): 在TensorFlow程序运行的每一步, 让Python代码来供给数据。
- 从文件读取数据: 在TensorFlow图的起始, 让一个输入管线从文件中读取数据。
- 预加载数据: 在TensorFlow图中定义常量或变量来保存所有数据(仅适用于数据量比较小的情况)。
对于数据量较小而言,可能一般选择直接将数据加载进内存,然后再分batch
输入网络进行训练(tip:使用这种方法时,结合yield
使用更为简洁,大家自己尝试一下吧,我就不赘述了)。但是,如果数据量较大,这样的方法就不适用了,因为太耗内存,所以这时最好使用tensorflow提供的队列queue
,也就是第二种方法 从文件读取数据。对于一些特定的读取,比如csv文件格式,官网有相关的描述,在这儿我介绍一种比较通用,高效的读取方法(官网介绍的少),即使用tensorflow内定标准格式——TFRecords
太长不看,直接看源码请猛戳我的github,记得加星哦。
TFRecords
TFRecords其实是一种二进制文件,虽然它不如其他格式好理解,但是它能更好的利用内存,更方便复制和移动,并且不需要单独的标签文件(等会儿就知道为什么了)… …总而言之,这样的文件格式好处多多,所以让我们用起来吧。
TFRecords文件包含了tf.train.Example
协议内存块(protocol buffer)(协议内存块包含了字段 Features
)。我们可以写一段代码获取你的数据, 将数据填入到Example
协议内存块(protocol buffer),将协议内存块序列化为一个字符串, 并且通过tf.python_io.TFRecordWriter
写入到TFRecords文件。
从TFRecords文件中读取数据, 可以使用tf.TFRecordReader
的tf.parse_single_example
解析器。这个操作可以将Example
协议内存块(protocol buffer)解析为张量。
接下来,让我们开始读取数据之旅吧~
生成TFRecords文件
我们使用tf.train.Example
来定义我们要填入的数据格式,然后使用tf.python_io.TFRecordWriter
来写入。
import os
import tensorflow as tf
from PIL import Imagecwd = os.getcwd()'''
此处我加载的数据目录如下:
0 -- img1.jpgimg2.jpgimg3.jpg...
1 -- img1.jpgimg2.jpg...
2 -- ...这里的0, 1, 2...就是类别,也就是下文中的classesclasses是我根据自己数据类型定义的一个列表,大家可以根据自己的数据情况灵活运用
...
'''
writer = tf.python_io.TFRecordWriter("train.tfrecords")
for index, name in enumerate(classes):class_path = cwd + name + "/"for img_name in os.listdir(class_path):img_path = class_path + img_nameimg = Image.open(img_path)img = img.resize((224, 224))img_raw = img.tobytes() #将图片转化为原生bytesexample = tf.train.Example(features=tf.train.Features(feature={"label": tf.train.Feature(int64_list=tf.train.Int64List(value=[index])),'img_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw]))}))writer.write(example.SerializeToString()) #序列化为字符串
writer.close()
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
关于Example
Feature
的相关定义和详细内容,我推荐去官网查看相关API。
基本的,一个Example
中包含Features
,Features
里包含Feature
(这里没s)的字典。最后,Feature
里包含有一个 FloatList
, 或者ByteList
,或者Int64List
就这样,我们把相关的信息都存到了一个文件中,所以前面才说不用单独的label文件。而且读取也很方便。
接下来是一个简单的读取小例子:
for serialized_example in tf.python_io.tf_record_iterator("train.tfrecords"):example = tf.train.Example()example.ParseFromString(serialized_example)image = example.features.feature['image'].bytes_list.valuelabel = example.features.feature['label'].int64_list.value# 可以做一些预处理之类的print image, label
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
使用队列读取
一旦生成了TFRecords文件,为了高效地读取数据,TF中使用队列(queue
)读取数据。
def read_and_decode(filename):#根据文件名生成一个队列filename_queue = tf.train.string_input_producer([filename])reader = tf.TFRecordReader()_, serialized_example = reader.read(filename_queue) #返回文件名和文件features = tf.parse_single_example(serialized_example,features={'label': tf.FixedLenFeature([], tf.int64),'img_raw' : tf.FixedLenFeature([], tf.string),})img = tf.decode_raw(features['img_raw'], tf.uint8)img = tf.reshape(img, [224, 224, 3])img = tf.cast(img, tf.float32) * (1. / 255) - 0.5label = tf.cast(features['label'], tf.int32)return img, label
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
之后我们可以在训练的时候这样使用
img, label = read_and_decode("train.tfrecords")#使用shuffle_batch可以随机打乱输入
img_batch, label_batch = tf.train.shuffle_batch([img, label],batch_size=30, capacity=2000,min_after_dequeue=1000)
init = tf.initialize_all_variables()with tf.Session() as sess:sess.run(init)threads = tf.train.start_queue_runners(sess=sess)for i in range(3):val, l= sess.run([img_batch, label_batch])#我们也可以根据需要对val, l进行处理#l = to_categorical(l, 12) print(val.shape, l)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
至此,tensorflow高效从文件读取数据差不多完结了。
恩?等等…什么叫差不多?对了,还有几个注意事项:
第一,tensorflow里的graph能够记住状态(state
),这使得TFRecordReader
能够记住tfrecord
的位置,并且始终能返回下一个。而这就要求我们在使用之前,必须初始化整个graph,这里我们使用了函数tf.initialize_all_variables()
来进行初始化。
第二,tensorflow中的队列和普通的队列差不多,不过它里面的operation
和tensor
都是符号型的(symbolic
),在调用sess.run()
时才执行。
第三, TFRecordReader
会一直弹出队列中文件的名字,直到队列为空。
总结
- 生成tfrecord文件
- 定义
record reader
解析tfrecord文件 - 构造一个批生成器(
batcher
) - 构建其他的操作
- 初始化所有的操作
- 启动
QueueRunner
例子代码请戳我的github,如果觉得对你有帮助的话可以加个星哦。
TensorFlow高效读取数据的方法相关推荐
- 【深度学习】高效读取数据的方法(TFRecord)
Record顾名思义主要是为了记录数据的. 使用TFRocord存储数据的好处: 为了更加方便的建图,原来使用placeholder的话,还要每次feed_dict一下,使用TFRecord+ Dat ...
- java解析tfrecord_TensorFlow高效读取数据的方法——TFRecord的学习
摘要: ortmatplotlib.pyplotaspltimportcv2defshow_image(title,image):'''显示图片:paramtitle:图像标题:paramimage: ...
- python如何读取tfrecord_tensorflow学习笔记——高效读取数据的方法(TFRecord)
关于TensorFlow读取数据,官网给出了三种方法: 供给数据(Feeding):在TensorFlow程序运行的每一步,让python代码来供给数据. 从文件读取数据:在TensorFlow图的起 ...
- python repair修复功能_通用高效的数据修复方法:Row level repair
导读:随着大数据的进一步发展,NoSQL 数据库系统迅速发展并得到了广泛的应用.其中,Apache Cassandra 是最广泛使用的数据库之一.对于 Cassandra 的优化是大家研究的热点,而 ...
- MOTChallenge榜单第一!用于多目标跟踪简单高效的数据关联方法 BYTE
关注公众号,发现CV技术之美 本文获作者授权转载自知乎: https://zhuanlan.zhihu.com/p/421264325? 本文主要介绍一下我们最近的一篇工作: ByteTrack: M ...
- r语言 发送邮件html,r语言读取数据的方法
R 对于基于 SQL 语言的关系型数据库有良好的支持,这些数据库既有商业数据库 Oracle.Microsoft SQL Server.IBM DB2 等,也包含在 GNUGeneral Public ...
- python3中的zip_Python3实现将文件归档到zip文件及从zip文件中读取数据的方法
''''' Created on Dec 24, 2012 将文件归档到zip文件,并从zip文件中读取数据 @author: liury_lab ''' # 压缩成zip文件 from zipfil ...
- 【PYTHON,EXCEL】利用python进行EXCEL处理1 打开,读取数据的方法
在生活中我们会遇到处理Excel的问题,那如何利用python进行更高效的处理呢,本文就将给大家提供一种有效的方法. 现在我们介绍本文的主角,openpyxl模块,利用本模块,你可以实现: 读取写入E ...
- 工厂 调用Unity Application Block 通过XML配置文件映射读取数据层方法
1.首先创建FactoryApplication.cs应用程序文件继承HttpApplication 导入using System.Web.Security; using System.Con ...
最新文章
- 用Lean Pilots推动改进
- ZH奶酪:Java调用NLPIR汉语分词系统
- html中嵌入天气预报
- opencv 一堆算法,图像处理等
- struts2+extjs文件上传完整实现(攻克了上传中的各种问题)
- iphone照片删掉又出现_iPhone手机相册无法加锁应该怎么办?
- 美团面试官:讲清楚MySQL结构体系,立马发offer
- 单片机单口不可用或被占用_昆明工业控制单片机应用开发价格
- 返回一个整数数组中最大子数组的和---环形数组
- Random随机数和for循环,实现猜数游戏和双色球
- 打印服务器 支持 佳能 2900+打印机,佳能LBP2900,夏普等特殊打印机如何实现打印?(虚拟USB软件用途之二)...
- 基于stm32f401的双按键可视化多模式选择模块
- 集成学习方法及思想总结
- 个人计算机键盘上的按键击键声音小,按键盘每个键出现嘟嘟的声音也打不出字是什么...
- 在下载 chromium 源码时错误汇总
- Ubunt14.04搭建opengrok环境
- 如何在 Windows 10 中安装 WSL2 的 Linux 子系统
- Detection with Enriched Semantics(DES)算法笔记
- Linux - 零拷贝技术
- 【算法java版01】:键盘录入一个字符串,将字符串中的大写改成小写,小写改成大写,数字改成*
热门文章
- 两个矩阵是否相交的算法_收藏 | 计算机、数学、运筹学等领域的32个重要算法...
- 手机时间插件 支持分钟多选_手机时间慢十几分钟,我穿越了吗?
- 博客园自定义页面风格设计 后续篇(页面设计模式及代码高亮 鼠标点击效果升级)...
- centos 6 添加svn 的1.7版本yum源
- 页面A使用window.open打开页面B,然后取得B的返回值
- 从放弃到入门-Yaf(框架生成)
- AC日记——中庸之道 codevs 2021
- RxJavaMVPRetrofit
- 企业shell编程基础问题解决实践-是骡子是马溜溜!
- Linux安装图解全过程(Linux Text文本界面安装)