[TFRecord文件格式]基本介绍
标准TensorFlow格式 TFRecords
觉得有用的话,欢迎一起讨论相互学习~Follow Me
TFRecords可以允许你讲任意的数据转换为TensorFlow所支持的格式, 这种方法可以使TensorFlow的数据集更容易与网络应用架构相匹配。这种建议的方法就是使用TFRecords文件,TFRecords文件包含了[tf.train.Example
协议内存块(protocol buffer)](协议内存块包含了字段[Features
]。你可以写一段代码获取你的数据, 将数据填入到Example
协议内存块(protocol buffer),将协议内存块序列化为一个字符串, 并且通过[tf.python_io.TFRecordWriter
class]写入到TFRecords文件。
TFRecords文件格式在图像识别中有很好的使用,其可以将二进制数据和标签数据(训练的类别标签)数据存储在同一个文件中,它可以在模型进行训练之前通过预处理步骤将图像转换为TFRecords格式,此格式最大的优点实践每幅输入图像和与之关联的标签放在同一个文件中.TFRecords文件是一种二进制文件,其不对数据进行压缩,所以可以被快速加载到内存中.格式不支持随机访问,因此它适合于大量的数据流,但不适用于快速分片或其他非连续存取。
TFRecordWriter
tf.python_io.TFRecordWriter.write(record)
Write a string record to the file.
将字符记录写到文件中,注意传入的参数是string类型的字符串.
Args:
record: str
TFRecordReader
class tf.TFRecordReader
A Reader that outputs the records from a TFRecords file.
从TFrecords文件中读取记录
See ReaderBase for supported methods.
- - -
tf.TFRecordReader.__init__(name=None)
Create a TFRecordReader.
创建一个TFRecordReader
name
: A name for the operation (optional).
tf.TFRecordReader.num_records_produced(name=None)
Returns the number of records this reader has produced.
This is the same as the number of Read executions that have
succeeded.
返回这个阅读器生成的记录的数量。这与已成功执行读取操作的数量相同。
name
: A name for the operation (optional).
Returns:
An int64 Tensor.
一个int64位张量.
tf.TFRecordReader.num_work_units_completed(name=None)
Returns the number of work units this reader has finished processing.
返回该阅读器完成处理的工作单元的数量。
Args:
name
: A name for the operation (optional).
Returns:
An int64 Tensor.
tf.TFRecordReader.read(queue, name=None)
Returns the next record (key, value pair) produced by a reader.
返回一个阅读器生成的下一个记录(键值对)。
Will dequeue a work unit from queue if necessary (e.g. when the
Reader needs to start reading from a new file since it has
finished with the previous file).
如果有必要,将从队列中对一个工作单元进行排序(例如,当读者需要从一个新文件开始阅读时,因为它已经完成了前面的文件)。
Args:
queue
: A Queue or a mutable string Tensor representing a handle
to a Queue, with string work items.
文件名队列句柄name
: A name for the operation (optional).
Returns:
A tuple of Tensors (key, value).
key
: A string scalar Tensor.value
: A string scalar Tensor.
返回键值对,其中值表示读取的文件
tf.TFRecordReader.reset(name=None)
Restore a reader to its initial clean state.
恢复一个文件阅读器使其置空
Args:
name
: A name for the operation (optional).
Returns:
The created Operation.
tf.TFRecordReader.restore_state(state, name=None)
Restore a reader to a previously saved state.
恢复阅读器至先前保存的状态.
Not all Readers support being restored, so this can produce an
Unimplemented error.
并不是所有的阅读器都可以实现恢复的操作,所以这有可能导致一个未实现的错误.
Args:
state
: A string Tensor.
一个字符串张量
Result of a SerializeState of a Reader with matching type.
一个具有匹配类型的阅读器的串行化的结果。name
: A name for the operation (optional).
Returns:
The created Operation.
tf.TFRecordReader.serialize_state(name=None)
Produce a string tensor that encodes the state of a reader.
产生一个字符串张量,它可以对一个阅读器的状态进行编码。
Not all Readers support being serialized, so this can produce an
Unimplemented error.
不是所有的阅读器都支持编码,所以这会导致一个未实现的错误.
Args:
name
: A name for the operation (optional).
Returns:
A string Tensor.
tf.TFRecordReader.supports_serialize
Whether the Reader implementation can serialize its state.
阅读器是否可以实现对当前状态进行编码.
转载于:https://www.cnblogs.com/cloud-ken/p/7494726.html
[TFRecord文件格式]基本介绍相关推荐
- Python语言学习之文件格式后缀那些事:python和常见各种文件格式后缀介绍、使用方法之详细攻略
Python语言学习之文件格式后缀那些事:python和常见各种文件格式后缀介绍.使用方法之详细攻略 目录 常见各种文件格式后缀介绍 .pyc文件介绍 .py文件介绍 .pxd 文件 .pyd 文件 ...
- 【引用】音频文件格式全介绍_chrome os
音频文件格式全介绍 2008-08-17 21:45 自从PC支持多媒体以来,陆陆续续地出现了许多音频格式.这些格式既有流行的也有不那么流行的,关于它们的来龙去脉,本文向你一一道来. 主流 目前的主流 ...
- Windows核心编程_PE文件格式详细介绍
目录 (一)基本概念 (二)可执行文件头 (三)PE导出表 (四)PE导入表 (五)延迟导入表 (六)重定位 (一)基本概念 PE(Portable Execute)文件是Windows下可执行文件的 ...
- 常见音乐文件格式简单介绍(转)
爱听音乐的人很多,大家也都想听到高音质的音乐.如果注意一些小问题,就可以较明显地提升音质.我们平常听音乐的第一个可控环节就是音频文件的选择,源文件可谓是起决定性的因素,一切都从这里开始,其重要性不言而 ...
- yml配置文件的文件格式简单介绍
YML文件格式是YAML (YAML Aint Markup Language)编写的文件格式,YAML是一种直观的能够被电脑识别的的数据数据序列化格式,并且容易被人类阅读,容易和脚本语言交互的,可以 ...
- 关于STEP文件格式的介绍
STEP格式文件是什么? Step文件(也称为STandard for the Exchange of Product data,或简称STEP或ISO 10303)是一种用于表示三维CAD数据的标准 ...
- ELF文件格式概要介绍
ELF 文件有三种类型:可重定位文件:也就是通常称的目标文件,后缀为.o.共享文件:也就是通常称的库文件,后缀为.so.可执行文件:本文主要讨论的文件格式,总的来说,可执行文件的格式与上述两种文件的格 ...
- [mobi文件格式详细介绍一]_[资料篇]
Amazon 收购 Mobipocket 于 2005年3月: Kindle 第一版于2007发布,mobi成为其系统支持的电子格式之一,mobi是由kindle带动发展起来的; 有人问Amazon为 ...
- tensorflow中tfrecord数据操作
前言: 为了更加展示tfrecord数据的相关操作,笔者后续又写了一个实践的简单例子进一步解释,具体可以看: TFrecords 制作数据集小例子(多标签)_爱吃火锅的博客-CSDN博客 正文: tf ...
最新文章
- mac mysql phpmyadmin_Mac下搭建PHP开发环境(Apache+PHP+MySQL+phpMyAdmin)
- 云环境上如何使用tensorboard
- 小评 XenServer 6.0功能
- Quartz的Scheduler初始化源码分析
- golang sleep函数 休眠延时
- boost::graph模块实现DFS算法的测试程序
- 如何删除Windows 7的保留分区
- epyc rome_使用Encog,ROME,JSoup和Google Guava进行博客分类
- 参加 CSDN 2009 英雄大会有感(一)
- mi max android 8.1,小米这款手机可以升级安卓 8.1 了!
- 为SQL Server Always On可用性组配置故障转移群集,存储控制器和仲裁配置
- java会跳出problem_docs/java/concurrent/ConcurrencyProblem.md · wt1814/wt-note - Gitee.com
- 阶段5 3.微服务项目【学成在线】_day01 搭建环境 CMS服务端开发_12-MongoDb入门-基础概念...
- xyz文件怎么生成三维模型_根据三维空间坐标点如何构建三维模型
- web开发视频教程,CSS颜色基本样式
- SDN相关组织——ODL
- 基恩士KV8000程序 基恩士KV8000,威伦通触摸屏,搭载KV-XH16EC总线模块进行分布式总线控制
- 微型计算机字,小型微型计算机系统
- win10开机未能正确启动_设置华硕电脑定时开机只需两步!
- 初学订单-支付流程(思路)
热门文章
- Profiler 使用说明
- KV数据存储:持久化
- 【Vegas原创】网站计数器(asp)
- 包红b2c模块 flutter与原生交互
- Wireshark运算符!=无法正常工作
- 600 imp oracle_oracle中exp,imp的使用详解
- 2010 模板下载 罗斯文_俄罗斯人过年必看电影 | 新年枞树 @鱼子酱字幕组
- Unigui 服务器解析php,如何正确使用uniGUI的HyperServer(负载均衡)功能
- 微秒时间_揭秘奇特光速原子研究,记录有史以来最短时间段
- 放眼2018年,我们对虚拟现实产品有五大疑问