TensorFlow学习笔记(二十四)自制TFRecord数据集 读取、显示及代码详解
在跑通了官网的mnist和cifar10数据之后,笔者尝试着制作自己的数据集,并保存,读入,显示。 TensorFlow可以支持cifar10的数据格式, 也提供了标准的TFRecord 格式,而关于 tensorflow 读取数据, 官网提供了3中方法
1 Feeding: 在tensorflow程序运行的每一步, 用python代码在线提供数据
2 Reader : 在一个计算图(tf.graph)的开始前,将文件读入到流(queue)中
3 在声明tf.variable变量或numpy数组时保存数据。受限于内存大小,适用于数据较小的情况
在本文,主要介绍第二种方法,利用tf.record标准接口来读入文件
准备图片数据
笔者找了2类狗的图片, 哈士奇和吉娃娃, 全部 resize成128 * 128大小
如下图, 保存地址为D:\Python\data\dog
每类中有10张图片
现在利用这2 类 20张图片制作TFRecord文件
制作TFRECORD文件
1 先聊一下tfrecord, 这是一种将图像数据和标签放在一起的二进制文件,能更好的利用内存,在tensorflow中快速的复制,移动,读取,存储 等等..
这里注意,tfrecord会根据你选择输入文件的类,自动给每一类打上同样的标签
如在本例中,只有0,1 两类
2 先上“制作TFRecord文件”的代码,注释附详解
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
import os
import tensorflow as tf
from PIL import Image #注意Image,后面会用到
import matplotlib.pyplot as plt
import numpy as np
cwd= 'D:\Python\data\dog\\'
classes={ 'husky' , 'chihuahua' } #人为 设定 2 类
writer= tf.python_io.TFRecordWriter( "dog_train.tfrecords" ) #要生成的文件
for index,name in enumerate(classes):
class_path=cwd+name+ '\\'
for img_name in os.listdir(class_path):
img_path=class_path+img_name #每一个图片的地址
img=Image.open(img_path)
img= img.resize(( 128 , 128 ))
img_raw=img.tobytes()#将图片转化为二进制格式
example = tf.train.Example(features=tf.train.Features(feature={
"label" : tf.train.Feature(int64_list=tf.train.Int64List(value=[index])),
'img_raw' : tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw]))
})) #example对象对label和image数据进行封装
writer.write(example.SerializeToString()) #序列化为字符串
writer.close()
|
运行完这段代码后,会生成dog_train.tfrecords 文件,如下图
tf.train.Example 协议内存块包含了Features字段,通过feature将图片的二进制数据和label进行统一封装, 然后将example协议内存块转化为字符串, tf.python_io.TFRecordWriter 写入到TFRecords文件中。
读取TFRECORD文件
在制作完tfrecord文件后, 将该文件读入到数据流中。
代码如下
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
def read_and_decode(filename): # 读入dog_train.tfrecords
filename_queue = tf.train.string_input_producer([filename])#生成一个queue队列
reader = tf.TFRecordReader()
_, serialized_example = reader.read(filename_queue)#返回文件名和文件
features = tf.parse_single_example(serialized_example,
features={
'label' : tf.FixedLenFeature([], tf.int64),
'img_raw' : tf.FixedLenFeature([], tf.string),
})#将image数据和label取出来
img = tf.decode_raw(features[ 'img_raw' ], tf.uint8)
img = tf.reshape(img, [ 128 , 128 , 3 ]) #reshape为 128 * 128 的 3 通道图片
img = tf.cast(img, tf.float32) * ( 1 . / 255 ) - 0.5 #在流中抛出img张量
label = tf.cast(features[ 'label' ], tf.int32) #在流中抛出label张量
return img, label
|
注意,feature的属性“label”和“img_raw”名称要和制作时统一 ,返回的img数据和label数据一一对应。返回的img和label是2个 tf 张量,print出来 如下图
显示tfrecord格式的图片
有些时候我们希望检查分类是否有误,或者在之后的网络训练过程中可以监视,输出图片,来观察分类等操作的结果,那么我们就可以session回话中,将tfrecord的图片从流中读取出来,再保存。 紧跟着一开始的代码写:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
filename_queue = tf.train.string_input_producer([ "dog_train.tfrecords" ]) #读入流中
reader = tf.TFRecordReader()
_, serialized_example = reader.read(filename_queue) #返回文件名和文件
features = tf.parse_single_example(serialized_example,
features={
'label' : tf.FixedLenFeature([], tf.int64),
'img_raw' : tf.FixedLenFeature([], tf.string),
}) #取出包含image和label的feature对象
image = tf.decode_raw(features[ 'img_raw' ], tf.uint8)
image = tf.reshape(image, [ 128 , 128 , 3 ])
label = tf.cast(features[ 'label' ], tf.int32)
with tf.Session() as sess: #开始一个会话
init_op = tf.initialize_all_variables()
sess.run(init_op)
coord=tf.train.Coordinator()
threads= tf.train.start_queue_runners(coord=coord)
for i in range( 20 ):
example, l = sess.run([image,label])#在会话中取出image和label
img=Image.fromarray(example, 'RGB' )#这里Image是之前提到的
img.save(cwd+str(i)+ '_' 'Label_' +str(l)+ '.jpg' )#存下图片
print(example, l)
coord.request_stop()
coord.join(threads)
|
代码运行完后, 从tfrecord中取出的文件被保存了。如下图:
在这里我们可以看到,图片文件名的第一个数字表示在流中的顺序(这里没有用shuffle), 第二个数字则是 每个图片的label,吉娃娃都为0,哈士奇都为1。 由此可见,我们一开始制作tfrecord文件时,图片分类正确。
下面给出一些常见图片处理方式:
# -*- coding: utf-8 -*-
import matplotlib.pyplot as plt
import tensorflow as tf
import numpy as np
import os
os.getcwd()
image_raw_data = tf.gfile.FastGFile("E:\\testData\\images\\cat.jpg",'rb').read()
with tf.Session() as sess:
img_data = tf.image.decode_jpeg(image_raw_data)
# 输出解码之后的三维矩阵。
#print(img_data.eval())
#print(img_data.get_shape())
img_data.set_shape([1797, 2673, 3])
print(img_data.get_shape())
#### 2. 打印图片
with tf.Session() as sess:
plt.imshow(img_data.eval())
plt.show()
#### 3. 重新调整图片大小
with tf.Session() as sess:
resized = tf.image.resize_images(img_data, [300, 300], method=0)
# TensorFlow的函数处理图片后存储的数据是float32格式的,需要转换成uint8才能正确打印图片。
print("Digital type: ", resized.dtype)
cat = np.asarray(resized.eval(), dtype='uint8')
# tf.image.convert_image_dtype(rgb_image, tf.float32)
plt.imshow(cat)
plt.show()
#### 4. 裁剪和填充图片
with tf.Session() as sess:
croped = tf.image.resize_image_with_crop_or_pad(img_data, 1000, 1000)
padded = tf.image.resize_image_with_crop_or_pad(img_data, 3000, 3000)
plt.imshow(croped.eval())
plt.show()
plt.imshow(padded.eval())
plt.show()
#### 5. 截取中间50%的图片
with tf.Session() as sess:
central_cropped = tf.image.central_crop(img_data, 0.5)
plt.imshow(central_cropped.eval())
plt.show()
#### 6. 翻转图片
with tf.Session() as sess:
# 上下翻转
#flipped1 = tf.image.flip_up_down(img_data)
# 左右翻转
#flipped2 = tf.image.flip_left_right(img_data)
#对角线翻转
transposed = tf.image.transpose_image(img_data)
plt.imshow(transposed.eval())
plt.show()
# 以一定概率上下翻转图片。
#flipped = tf.image.random_flip_up_down(img_data)
# 以一定概率左右翻转图片。
#flipped = tf.image.random_flip_left_right(img_data)
#### 7. 图片色彩调整
with tf.Session() as sess:
# 将图片的亮度-0.5。
#adjusted = tf.image.adjust_brightness(img_data, -0.5)
# 将图片的亮度-0.5
#adjusted = tf.image.adjust_brightness(img_data, 0.5)
# 在[-max_delta, max_delta)的范围随机调整图片的亮度。
adjusted = tf.image.random_brightness(img_data, max_delta=0.5)
# 将图片的对比度-5
#adjusted = tf.image.adjust_contrast(img_data, -5)
# 将图片的对比度+5
#adjusted = tf.image.adjust_contrast(img_data, 5)
# 在[lower, upper]的范围随机调整图的对比度。
#adjusted = tf.image.random_contrast(img_data, lower, upper)
plt.imshow(adjusted.eval())
plt.show()
#### 8. 添加色相和饱和度
with tf.Session() as sess:
adjusted = tf.image.adjust_hue(img_data, 0.1)
#adjusted = tf.image.adjust_hue(img_data, 0.3)
#adjusted = tf.image.adjust_hue(img_data, 0.6)
#adjusted = tf.image.adjust_hue(img_data, 0.9)
# 在[-max_delta, max_delta]的范围随机调整图片的色相。max_delta的取值在[0, 0.5]之间。
#adjusted = tf.image.random_hue(image, max_delta)
# 将图片的饱和度-5。
#adjusted = tf.image.adjust_saturation(img_data, -5)
# 将图片的饱和度+5。
#adjusted = tf.image.adjust_saturation(img_data, 5)
# 在[lower, upper]的范围随机调整图的饱和度。
#adjusted = tf.image.random_saturation(img_data, lower, upper)
# 将代表一张图片的三维矩阵中的数字均值变为0,方差变为1。
#adjusted = tf.image.per_image_whitening(img_data)
plt.imshow(adjusted.eval())
plt.show()
#### 9. 添加标注框并裁减。
with tf.Session() as sess:
boxes = tf.constant([[[0.05, 0.05, 0.9, 0.7], [0.35, 0.47, 0.5, 0.56]]])
begin, size, bbox_for_draw = tf.image.sample_distorted_bounding_box(
tf.shape(img_data), bounding_boxes=boxes)
batched = tf.expand_dims(tf.image.convert_image_dtype(img_data, tf.float32), 0)
image_with_box = tf.image.draw_bounding_boxes(batched, bbox_for_draw)
distorted_image = tf.slice(img_data, begin, size)
plt.imshow(distorted_image.eval())
plt.show()
TensorFlow学习笔记(二十四)自制TFRecord数据集 读取、显示及代码详解相关推荐
- TensorFlow学习笔记(十四)TensorFLow 用mnist数据做classification
之前的例子,给的都是tf来做regression,也就是回归问题,现在用tf来做一个classification的处理,也就是分类问题. 这里用的数据集是mnist数据. 代码: "&quo ...
- [傅里叶变换及其应用学习笔记] 二十四. 级联,脉冲响应
我们上节课学习了 在离散有限维空间中,任何线性系统都是通过矩阵间的相乘得到的 在连续无限维空间中,任何线性系统都是通过对核函数的积分得到的 脉冲响应(impulse response) 级联线性系统( ...
- Mr.J-- jQuery学习笔记(二十四)--剖析jQuery源码--extend
定义和用法 jQuery.extend() 函数用于将一个或多个对象的内容合并到目标对象. 注意:1. 如果只为$.extend()指定了一个参数,则意味着参数target被省略.此时,target就 ...
- tensorflow学习笔记(三十四):Saver(保存与加载模型)
Saver tensorflow 中的 Saver 对象是用于 参数保存和恢复的.如何使用呢? 这里介绍了一些基本的用法. 官网中给出了这么一个例子: v1 = tf.Variable(..., na ...
- 立创eda学习笔记二十四:拼板
这里主要是两部分:自带拼板和手动拼板,软件自带拼板功能,那么手动拼板当然就是自己重新画图拼板了. 一般用自带拼板功能就可以了,把单板画好之后很容易就拼好了,完全不用动任何器件和丝印编号,单板会被理解成 ...
- Numpy学习笔记(二):argmax参数中axis=0,axis=1,axis=-1详解附代码
文章目录 1.argmax和max函数区别 2.axis=0/axis=1/axis=-1的区别 3.具体代码分析 ---3.1一维数组 ---3.2二维数组 ---3.3三维数组 1.argmax和 ...
- tensorflow学习笔记(三十二):conv2d_transpose (解卷积)
tensorflow学习笔记(三十二):conv2d_transpose ("解卷积") deconv解卷积,实际是叫做conv_transpose, conv_transpose ...
- Windows保护模式学习笔记(十四)—— 阶段测试
Windows保护模式学习笔记(十四)-- 阶段测试 题目一 解题步骤 题目二 解题步骤 题目一 描述:给定一个线性地址,和长度,读取内容 int ReadMemory(OUT BYTE* buffe ...
- QT学习笔记(十四):QLayout的属性介绍
QT学习笔记(十四):QLayout的属性介绍 主要包括QBoxLayout.和QGridLayout以及QFormLayout等的参数类似. 我主要说明一下QGridLayout在QtDesigne ...
- python数据挖掘学习笔记】十四.Scipy调用curve_fit实现曲线拟合
#2018-03-28 10:02:08 March Wednesday the 13 week, the 087 day SZ SSMR python数据挖掘学习笔记]十四.Scipy调用curve ...
最新文章
- Python数据可视化——使用Matplotlib创建散点图
- leetcode 282. Expression Add Operators | 282. 给表达式添加运算符(中缀表达式求值)
- 第4章 Python 数字图像处理(DIP) - 频率域滤波2 - 复数、傅里叶级数、连续单变量函数的傅里叶变换、卷积
- .NET Core完成向RyuJIT的迁移
- SELinux入门:了解和配置SELinux
- C++ 深拷贝和浅拷贝std::move移动构造函数,移动赋值函数
- asp php 对照表,asp 与php中常用函数对比
- php调用易语言的dll文件,【PHP】真正意义上的PHP调用易语言DLL
- 记一次Springboot 启动错误(三) xxx.jar中没有主清单属性
- HFSS阵列天线设计与仿真1
- 记录:ubuntu安装zlog及使用
- 状态机详解(一段式、二段式、三段式)
- VS2013 下载链接
- 服务器和交换机物理连接_交换机发生网络通信故障怎么解决?
- 台式计算机没办法连接wifi吗,台式机连接wifi不能用怎么办
- 酷盘 文件服务器,酷盘网页登陆
- 华为路ws5200设置虚拟服务器,华为路由WS5200怎么配置DMZ主机
- PS制作精美的网页按钮设计教程
- HTML标记fort属性最大取值,CSS(2)---css字体、文本样式属性
- 中国历史上三大盛世的理性审视
热门文章
- C语言:L1-035 情人节 (15分)(解题报告)
- AQS抽象队列同步器详解(待更新)
- python梯度下降法实现线性回归_梯度下降法的python代码实现(多元线性回归)
- python批量读取csv并写入_Python如何批量读取CSV文件中指定信息并写入doc文件命名中?...
- restful java demo_java通过servlet实现restful接口示例
- python面向对象作业_python面向对象编程作业
- 2020idea创建web项目_Spring Boot + Mybatis 多模块(module)项目的完整搭建教程
- linux内核irq,linux-kernel – do_IRQ中的中断向量和irq映射
- python函数调用语句_Python函数定义和函数调用
- php 隐藏的id,隐藏你的 ID 吧!