在跑通了官网的mnist和cifar10数据之后，笔者尝试着制作自己的数据集，并保存，读入，显示。 TensorFlow可以支持cifar10的数据格式，也提供了标准的TFRecord 格式。

tensorflow 读取数据，官网提供了以下三种方法：

1 Feeding：在tensorflow程序运行的每一步，用python代码在线提供数据；
2 Reader ：在一个计算图（tf.graph）的开始前，将文件读入到流（queue）中；
3 在声明tf.variable变量或numpy数组时保存数据。受限于内存大小，适用于数据较小的情况；

在本文，主要介绍第二种方法，利用tf.record标准接口来读入文件

准备图片数据

笔者找了2类狗的图片，哈士奇和吉娃娃，全部 resize成128 * 128大小
如下图，保存地址为D:\Python\data\dog

每类中有10张图片

现在利用这2 类 20张图片制作TFRecord文件

制作TFRECORD文件

1 先聊一下tfrecord, 这是一种将图像数据和标签放在一起的二进制文件，能更好的利用内存，在tensorflow中快速的复制，移动，读取，存储等等..

这里注意，tfrecord会根据你选择输入文件的类，自动给每一类打上同样的标签
如在本例中，只有0,1 两类

2 先上“制作TFRecord文件”的代码，注释附详解

import osimport tensorflow as tffrom PIL import Image  #注意Image,后面会用到import matplotlib.pyplot as pltimport numpy as npcwd='D:\Python\data\dog\\'classes={'husky','chihuahua'} #人为 设定 2 类writer= tf.python_io.TFRecordWriter("dog_train.tfrecords") #要生成的文件for index,name in enumerate(classes):class_path=cwd+name+'\\'for img_name in os.listdir(class_path):img_path=class_path+img_name #每一个图片的地址img=Image.open(img_path)img= img.resize((128,128))img_raw=img.tobytes()#将图片转化为二进制格式example = tf.train.Example(features=tf.train.Features(feature={"label": tf.train.Feature(int64_list=tf.train.Int64List(value=[index])),'img_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw]))})) #example对象对label和image数据进行封装writer.write(example.SerializeToString())  #序列化为字符串writer.close()

tf.train.Example 协议内存块包含了Features字段，通过feature将图片的二进制数据和label进行统一封装，然后将example协议内存块转化为字符串， tf.python_io.TFRecordWriter 写入到TFRecords文件中。运行完这段代码后，会生成dog_train.tfrecords 文件，如下图

读取TFRECORD文件

在制作完tfrecord文件后，将该文件读入到数据流中。
代码如下

def read_and_decode(filename): # 读入dog_train.tfrecordsfilename_queue = tf.train.string_input_producer([filename])#生成一个queue队列reader = tf.TFRecordReader()_, serialized_example = reader.read(filename_queue)#返回文件名和文件features = tf.parse_single_example(serialized_example,features={'label': tf.FixedLenFeature([], tf.int64),'img_raw' : tf.FixedLenFeature([], tf.string),})#将image数据和label取出来img = tf.decode_raw(features['img_raw'], tf.uint8)img = tf.reshape(img, [128, 128, 3])  #reshape为128*128的3通道图片img = tf.cast(img, tf.float32) * (1. / 255) - 0.5 #在流中抛出img张量label = tf.cast(features['label'], tf.int32) #在流中抛出label张量return img, label

注意，feature的属性“label”和“img_raw”名称要和制作时统一，返回的img数据和label数据一一对应。返回的img和label是2个 tf 张量，print出来如下图

显示tfrecord格式的图片

有些时候我们希望检查分类是否有误，或者在之后的网络训练过程中可以监视，输出图片，来观察分类等操作的结果，那么我们就可以session回话中，将tfrecord的图片从流中读取出来，再保存。紧跟着一开始的代码写：

filename_queue = tf.train.string_input_producer(["dog_train.tfrecords"]) #读入流中reader = tf.TFRecordReader()_, serialized_example = reader.read(filename_queue)   #返回文件名和文件features = tf.parse_single_example(serialized_example,features={'label': tf.FixedLenFeature([], tf.int64),'img_raw' : tf.FixedLenFeature([], tf.string),})  #取出包含image和label的feature对象image = tf.decode_raw(features['img_raw'], tf.uint8)image = tf.reshape(image, [128, 128, 3])label = tf.cast(features['label'], tf.int32)with tf.Session() as sess: #开始一个会话init_op = tf.initialize_all_variables()sess.run(init_op)coord=tf.train.Coordinator()threads= tf.train.start_queue_runners(coord=coord)for i in range(20):example, l = sess.run([image,label])#在会话中取出image和labelimg=Image.fromarray(example, 'RGB')#这里Image是之前提到的img.save(cwd+str(i)+'_''Label_'+str(l)+'.jpg')#存下图片print(example, l)coord.request_stop()coord.join(threads)

代码运行完后，从tfrecord中取出的文件被保存了。如下图：

在这里我们可以看到，图片文件名的第一个数字表示在流中的顺序（这里没有用shuffle），第二个数字则是每个图片的label，吉娃娃都为0，哈士奇都为1。由此可见，我们一开始制作tfrecord文件时，图片分类正确。

转自：https://www.2cto.com/kf/201702/604326.html

【TensorFlow】TFRecord数据集的制作：读取、显示及代码详解相关推荐

TensorFlow学习笔记（二十四）自制TFRecord数据集读取、显示及代码详解
在跑通了官网的mnist和cifar10数据之后,笔者尝试着制作自己的数据集,并保存,读入,显示. TensorFlow可以支持cifar10的数据格式, 也提供了标准的TFRecord 格式,而关于 ...
TensorFlow TFRecord数据集的生成与显示
##TFRecord## TensorFlow提供了TFRecord的格式来统一存储数据,TFRecord格式是一种将图像数据和标签放在一起的二进制文件,能更好的利用内存,在tensorflow中快速 ...
【TensorFlow】理解tf.nn.conv2d方法 ( 附代码详解注释 )
最近在研究学习TensorFlow,在做识别手写数字的demo时,遇到了tf.nn.conv2d这个方法,查阅了官网的API 发现讲得比较简略,还是没理解.google了一下,参考了网上一些朋友写得博 ...
【STM32】OLED 显示实验代码详解
文章目录 main.c oled.c oled.h main.c #include "led.h" #include "delay.h" #include &q ...
Tensorflow—TFRecord文件生成与读取
Tensorflow-TFRecord文件生成与读取微信公众号:幼儿园的学霸个人的学习笔记,关于OpenCV,关于机器学习, -.问题或建议,请公众号留言; 目录文章目录 Tensorflow- ...
Tensorflow官网CIFAR-10数据分类教程代码详解
标题概述对CIFAR-10 数据集的分类是机器学习中一个公开的基准测试问题,本教程代码通过解决CIFAR-10数据分类任务,介绍了Tensorflow的一些高阶用法,演示了构建大型复杂模型的一些重 ...
代码详解|tensorflow实现聊天AI--PigPig养成记(1)
Chapter1.代码详解完整代码github链接,Untitled.ipynb文件内. [里面的测试是还没训练完的时候测试的,今晚会更新训练完成后的测试结果] 修复了网上一些代码的bug,解决了由 ...
目标检测Tensorflow:Yolo v3代码详解（2）
目标检测Tensorflow:Yolo v3代码详解 (2) 三.解析Dataset()数据预处理部分四. 模型训练 yolo_train.py 五. 模型冻结 model_freeze.py 六. ...
python读取word内容复制粘贴,Python读取word文本操作详解
本文研究的主要问题时Python读取word文本操作,分享了相关概念和实现代码,具体如下. 一,docx模块 Python可以利用python-docx模块处理word文档,处理方式是面向对象的.也就 ...

【TensorFlow】TFRecord数据集的制作：读取、显示及代码详解

tensorflow 读取数据，官网提供了以下三种方法：

准备图片数据

制作TFRECORD文件

读取TFRECORD文件

显示tfrecord格式的图片

【TensorFlow】TFRecord数据集的制作：读取、显示及代码详解相关推荐

最新文章

热门文章

【TensorFlow】TFRecord数据集的制作：读取、显示及代码详解

tensorflow 读取数据， 官网提供了以下三种方法：

准备图片数据

制作TFRECORD文件

读取TFRECORD文件

显示tfrecord格式的图片

【TensorFlow】TFRecord数据集的制作：读取、显示及代码详解相关推荐

最新文章

热门文章

tensorflow 读取数据，官网提供了以下三种方法：