python文件怎么看代码表_TFRecord文件查看包含的所有Features代码
TFRecord作为tensorflow中广泛使用的数据格式,它跨平台,省空间,效率高。因为 Tensorflow开发者众多,统一训练时数据的文件格式是一件很有意义的事情,也有助于降低学习成本和迁移成本。
但是TFRecord数据是二进制格式,没法直接查看。因此,如何能够方便的查看TFRecord格式和数据,就显得尤为重要了。
为什么需要查看TFReocrd数据?首先我们先看下常规的写入和读取TFRecord数据的关键过程。
# 1. 写入过程
# 一张图片,我写入了其内容,label,长和宽几个信息
tf_example = tf.train.Example(
features=tf.train.Features(feature={
'encoded': bytes_feature(encoded_jpg),
'label': int64_feature(label),
'height': int64_feature(height),
'width': int64_feature(width)}))
# 2. 读取过程
# 定义解析的TFRecord数据格式
def _parse_image(example_proto):
features = {'encoded':tf.FixedLenFeature((),tf.string),
'label': tf.FixedLenFeature((), tf.int64),
'height': tf.FixedLenFeature((), tf.int64),
'width': tf.FixedLenFeature((), tf.int64)
}
return tf.parse_single_example(example_proto, features)
# TFRecord数据按照Feature解析出对应的真实数据
ds = ds.map(lambda x : _parse_image(x), num_parallel_calls=4)
上面是一个标准的TFRecord数据的写入和读取部分过程,大家应该发现了,读取TFRecord数据的时候,得知道TFRecord数据保存的属性名和类型,任何一项不匹配,都会导致无法获取数据。
如果数据的写入和读取都是自己一个人完成,那就没问题。但是如果写入和读取是跨团队合作时候,如果每次读取数据都得让对方给完整的属性名和属性类型,那效率就太低了。毕竟TFRecord数据已经包含了一切,自己动手丰衣足食。
那么怎么查看TFRecord数据呢?使用python tf.train.Example.FromString(serialized_example)方法,方法的入参是TFRecord包含的数据字符串。
然后,我直接将上诉查看的过程写成了一个py脚本,需要自取。
#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys
import tensorflow as tf
# 用法:python trackTFRecord.py True file1 file2
# trackTFRecord.py 就是当前这个py文件
# True 表示是否输出具体的数据
# file1 file2 表示的是需要查看的TFRecord文件的绝对路径
# 输出说明:tf.float32对应TFRecord的FloatList,tf.int64对应Int64List,tf.string对应BytesList
def main():
print('TFRecord文件个数为{0}个'.format(len(sys.argv)-2))
for i in range(2, len(sys.argv)):
filepath = sys.argv[i]
with tf.Session() as sess:
filenames = [filepath]
# 加载TFRecord数据
ds = tf.data.TFRecordDataset(filenames)
ds = ds.batch(10)
ds = ds.prefetch(buffer_size=tf.contrib.data.AUTOTUNE)
iterator = ds.make_one_shot_iterator()
# 为了加快速度,仅仅简单拿一组数据看下结构
batch_data = iterator.get_next()
res = sess.run(batch_data)
serialized_example = res[0]
example_proto = tf.train.Example.FromString(serialized_example)
features = example_proto.features
print('{0} 信息如下:'.format(filepath))
for key in features.feature:
feature = features.feature[key]
ftype = None
fvalue = None
if len(feature.bytes_list.value) > 0:
ftype = 'bytes_list'
fvalue = feature.bytes_list.value
if len(feature.float_list.value) > 0:
ftype = 'float_list'
fvalue = feature.float_list.value
if len(feature.int64_list.value) > 0:
ftype = 'int64_list'
fvalue = feature.int64_list.value
result = '{0} : {1}'.format(key, ftype)
if 'True' == sys.argv[1]:
result = '{0} : {1}'.format(result, fvalue)
print(result)
if __name__ == "__main__":
main()
下面给大家实例演示,首先先随便找个图片,写入到TFRecord数据
import tensorflow as tf
filename = "/Users/zhanhaitao/Desktop/1.png"
# 使用tf.read_file读进图片数据
image = tf.read_file(filename)
# 主要是为了获取图片的宽高
image_jpeg = tf.image.decode_jpeg(image, channels=3, name="decode_jpeg_picture")
# reshape图片到原始大小2500x2000x3
image_jpeg = tf.reshape(image_jpeg, shape=(2500,2000,3))
# 获取图片shape数据
img_shape = image_jpeg.shape
width = img_shape[0]
height = img_shape[1]
# 将原图片tensor生成bytes对象, image将保存到tfrecord
sess = tf.Session()
image = sess.run(image)
sess.close()
# 定义TFRecords文件的保存路径及其文件名
path_none = "/Users/zhanhaitao/Desktop/a.tfrecord"
# 定义不同压缩选项的TFRecordWriter
writer_none = tf.python_io.TFRecordWriter(path_none, options=None)
# 将外层features生成特定格式的example
example_none = tf.train.Example(features=tf.train.Features(feature={
"float_val":tf.train.Feature(float_list=tf.train.FloatList(value=[9.99])),
"width":tf.train.Feature(int64_list=tf.train.Int64List(value=[width])),
"height":tf.train.Feature(int64_list=tf.train.Int64List(value=[height])),
"image_raw":tf.train.Feature(bytes_list=tf.train.BytesList(value=[image]))
}))
# example系列化字符串
example_str_none = example_none.SerializeToString()
# 将系列化字符串写入协议缓冲区
writer_none.write(example_str_none)
# 关闭TFRecords文件操作接口
writer_none.close()
print("finish to write data to tfrecord file!")
然后,使用上面的脚本看下这个TFRecord数据定义了哪些属性,以及对应的格式,先进入到脚本的目录下,因为图像数据内容太大,影响阅读,就只看属性名和type了:
python trackTFRecord.py False /Users/zhanhaitao/Desktop/a.tfrecord
# 结果,其中bytes_list对应tf.string,int64_list对应tf.int64 float_list对应tf.float32
# image_raw : bytes_list
# width : int64_list
# float_val : float_list
# height : int64_list
以上这篇TFRecord文件查看包含的所有Features代码就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们。
本文标题: TFRecord文件查看包含的所有Features代码
本文地址: http://www.cppcns.com/jiaoben/python/300692.html
python文件怎么看代码表_TFRecord文件查看包含的所有Features代码相关推荐
- 20210918 【双击excel文件,看不到文件内容,只有灰蒙蒙的一片】的解决办法
[问题的起因] office版本2010不知道什么时候开始的,"双击excel文件",在打开的excel窗口中,看不到文件内容,只有灰蒙蒙的一片. 昨 ...
- TFRecord文件查看包含的所有Features
TFRecord作为tensorflow中广泛使用的数据格式,它跨平台,省空间,效率高.因为 Tensorflow开发者众多,统一训练时数据的文件格式是一件很有意义的事情,也有助于降低学习成本和迁移成 ...
- python遍历指定文件夹的所有文件_python 统计指定文件夹下所有的文件数量,BFS方式...
python 统计指定文件夹下所有的文件数量 本来一直是有这个需求,只是以前写的是递归的方式处理,感觉对资源的占用不友好,而且python的最大递归深度不超过1000,所以改了一下,这里用广度优先遍历 ...
- linux下.rar的文件,Linux下.rar压缩文件处理 (RAR 4.11 for linux )
环境:centos 6.2 download :RAR 4.11 for linux : http://www.rarsoft.com/download.htm 本博客内容均为自己在linux学习路上 ...
- Python 技术篇 - 通过代码查看文本的编码类型实例演示,如何查看文件的编码类型,文件编码查看方法
文件主要分为二进制文件和文本文件这两种,看你想要查看哪种文件的编码,如果是文本文件的话,open 函数里的就要用 r,二进制文件用的是 rb,别搞错哦! 文本编码查看方法 我们所用的是 chardet ...
- python获取文件夹里有什么文件+查看特定格式的文件
python获取文件夹里有什么文件+查看特定格式的文件 功能 程序 效果 后续 功能 获取文件夹的的文件+获取文件夹里的特定格式的文件,比如.png等 程序 import os folder = r& ...
- 绘制完成的cad图纸文件应使用哪一款看图软件进行查看?
绘制完成的cad图纸文件应使用哪一款看图软件进行查看?CAD相关的设计师们在完成绘制一张CAD图纸文件之后会需要使用到专门的看图软件来将其进行打开查看,但是我们应该选择哪一款软件来进行操作,今天就要来 ...
- 电脑怎么看隐藏的文件?1分钟教您如何查看
案例:怎么看到电脑隐藏的文件? "有时候我在电脑找不到一些文件,听朋友说这些文夹可能是隐藏的,直接查找是找不到的.那怎么才能看到隐藏的文件呢?电脑怎么看隐藏的文件?有没有小伙伴知道具体的方法 ...
- matlab怎么看格式,mat文件(mat文件怎么查看)
另外请说明一下m文件.mat文件.mex文件的概念及异同 mat数据格式是matlab的数据存储的标准格式.你可以调用matlab的子程序库,用c或fortan调用mat格式的数据.我给你几个函数名m ...
最新文章
- Spark SQL与外部数据源的操作(Spark SQL ——> CSV/JSON/Parquet/hive/mysql)
- C++ 判断两个立方体是否相等
- vue分页+spring boot +分页插件pagehelper
- c++ map中用char数组_C开发实战-指针和字符串
- android socket 服务,android 创建socket 通信型service
- 记录第一次使用linux部署springbootweb项目
- 数据结构动态顺序字符串基本操作实验_技术连载:数据结构 - 栈
- leetcode题库:6. Z字形变换
- 数组求最大公约数c语言,C语言辗转相除法求2个数的最小公约数
- 权限数据库设计(Sql Server)
- C#基础知识-编写第一个程序(二)
- Centos之故障排除
- 无盘网吧服务器比单机快吗,锐起无盘网吧系统打造比有盘更快的速度
- 【总结】6种机器学习中的优化算法:SGD,牛顿法,SGD-M,AdaGrad,AdaDelta,Adam
- php汉字转拼音百家姓版,Pinyin4Net: .net(core)使用的汉字转拼音库(含姓名拼音独立接口)。提供了简单的调用接口和通过拼音查询汉字的接口。...
- radius服务器无响应,radius认证(radius认证超时)
- svn update 时报错 Node remains in conflict 和解决方法
- Linux下优秀的音频编辑软件
- 显著性检验,T-test,P-value
- Maya XGen 毛发制作1 - 创建头发纹理
热门文章
- 微信与此ipad不兼容电脑也显示设备版本过低9.0_全面升级 自成一派 iPadOS 14更新让你的iPad更好用...
- Bootstrap框架使用(安装,全局样式,组件,插件)
- 高数篇:04拉格朗日中值定理
- golang 分析调试高阶技巧
- 一次MMO手游的性能诊断全纪录
- Sublime Text 3 离线安装controll package,pretty json, Sublimerge, SqlBeautifier
- C语言:计算数组元素平均值
- php mac 开发环境搭建_Mac搭建php的开发环境(图文详解)
- 第2阶段 第16讲 JSP核心技术(下)
- python从第二行开始写_Python第2课 - 第一个Python程序