tf.contrib.data.Dataset 读取数据的原理--buffer

在用tf.contrib.data.Dataset读取数据集数据时，会遇到一个概念/参数: buffer

buffer的含义是缓存

buffer_size的含义是：放入缓存的样本的个数

prefech的缓存与shuffle的缓存是相同的吗？谁是谁的子集吗？还是谁大就以谁为准？

有几点是确定的：tf.contrib.data.Dataset 按顺序从数据集中读取数据放入buffer

shuffle仅仅对buffer中的样本进行打乱，或者随机采样

在训练时，提取的每个batch的数据都是从buffer中提取的，提取之后，tf.contrib.data.Dataset 会继续从本地数据集中读取数据放入buffer，保持buffer中的样本数目不变

prefech创建buffer的好处是，在GPU运行的时候，cpu没闲着，在执行把样本放入缓存的操作

所以先prefech还是先shuffle?先prefech好一些？prefech与shuffle共享的是同一块缓存？二者的buffer_size设置为相等是最好的？

tf.data.Dataset.prefech 应该与 tf.data.Dataset.from_generator搭配使用更好一些
tf.data.Dataset.from_generator可以通过设置生成器，决定以怎样的规则向buffer区填充样本，否则的话，会导致tf.data.Dataset按照数据集固有顺序读取样本进入buffer

参考：buffer_size的含义——Dataset.map , Dataset.prefetch and Dataset.shuffle

tf.data.Dataset.shuffle(buffer_size)中buffer_size的理解

tensorflow数据篇（三）——使用tf.data建立数据通道

tensorflow数据篇（二）——tf.data.Dataset常用函数

tf.data.Dataset图像预处理详解

tf.data.Dataset的一些小坑

tf.contrib.data.Dataset 读取数据的原理--buffer相关推荐

在pytorch中自定义dataset读取数据2021-1-8学习笔记
在pytorch中自定义dataset读取数据 utils import os import json import pickle import randomimport matplotlib.pyp ...
TF从文件中读取数据
从文件中读取数据在TensorFlow中进行模型训练时,在官网给出的三种读取方式,中最好的文件读取方式就是将利用队列进行文件读取,而且步骤有两步: 把样本数据写入TFRecords二进制文件从队列 ...
java dataset读取数据,TensorFlow读写数据
前言回顾前面: 众所周知,要训练出一个模型,首先我们得有数据.我们第一个例子中,直接使用dataset的api去加载mnist的数据.(minst的数据要么我们是提前下载好,放在对应的目录上,要么就 ...
pytorch dataset读取数据流程_高效 PyTorch ：如何消除训练瓶颈
加入极市专业CV交流群,与 10000+来自港科大.北大.清华.中科院.CMU.腾讯.百度等名校名企视觉开发者互动交流! 同时提供每月大咖直播分享.真实项目需求对接.干货资讯汇总,行业技术交流.关注 ...
pytorch dataset读取数据流程_10条PyTorch避坑指南
点击上方"深度学习工坊",选择加"星标" 重磅干货,第一时间送达本文转载自:机器之心 | 作者:Eugene Khvedchenya 参与:小舟.蛋酱.魔 ...
TensorFlow数据读取机制：文件队列 tf.train.slice_input_producer和 tf.data.Dataset机制
TensorFlow数据读取机制:文件队列 tf.train.slice_input_producer和tf.data.Dataset机制之前写了一篇博客,关于<Tensorflow生成自己的 ...
Tensorflow读取数据-tf.data.TFRecordDataset
tensorflow TFRecords文件的生成和读取方法文章目录 tensorflow TFRecords文件的生成和读取方法 1. TFRecords说明 2.关键API 2.1 tf.io. ...
tensorflow 通过TextLineDataset dataset.map 读取数据
这样读取数据比较麻烦,因为map是一行行读取,需要自己把数据整理成列的方式.处理起来还是比较麻烦,用decode_csv可以直接把数据处理成列的方式,简单很多. import tensorflow a ...
TensorFlow 2.0 - tf.data.Dataset 数据预处理猫狗分类
文章目录 1 tf.data.Dataset.from_tensor_slices() 数据集建立 2. Dataset.map(f) 数据集预处理 3. Dataset.prefetch() 并行处 ...

tf.contrib.data.Dataset 读取数据的原理--buffer

tf.contrib.data.Dataset 读取数据的原理--buffer相关推荐

最新文章

热门文章