tensorflow基础：tf.data.Dataset.from_tensor_slices() 与 tf.data.Dataset.from

tf.data.Dataset.from_tensor_slices(tensor):

-->将tensor沿其第一个维度切片，返回一个含有N个样本的数据集（假设tensor的第一个维度为N）.

-->得到的数据集是一个类对象，具有“迭代器”等函数，方便遍历数据集中的样本。

-->缺点：需要将整个数据集整体传入，然后切片建立数据集类对象。比较占内存。

-->代码示例，参考：https://blog.csdn.net/oMoDao1/article/details/84387588

tf.data.Dataset.from_generator()：从一个生成器读取样本。函数参数如下：

-->tf.data.Dataset.from_generator(data_generator,output_data_type,output_data_shape).

-->其中data_generator需要自己定义，每次yield一个样本。

-->from_generator函数返回一个类对象，类对象通过传入的data_generator函数获取数据集数据，

类对象内部具有“迭代器”函数，通过迭代器与自定义的data_generator遍历数据集。

-->from_generator函数返回类对象的其他函数：

1） dataset.prefetch(buffer_size=1000)

2）dataset.shuffle(buffer_size=1000).batch(batch_size)

3）iter = dataset.make_one_shot_iterator()

batch_data = iter.get_next()

--> 优点：通过自定义的生成器不断传入样本数据，用dataset.prefetch(buffer_size=1000)中的buffer_size限制放入内存的样本的个数

-->代码示例，参考https://blog.csdn.net/foreseerwang/article/details/80572182

https://blog.csdn.net/ONE_SIX_MIX/article/details/80633187

################################################################################

总结：当数据集比较大时，建议使用tf.data.Dataset.from_generator()。

tensorflow基础：tf.data.Dataset.from_tensor_slices() 与 tf.data.Dataset.from_generator()的异同相关推荐

tensorflow基础：tf.data.Dataset.from_tensor_slices()
tf.data.Dataset.from_tensor_slices() 语义解释:from_tensor_slices,从张量的切片读取数据. 工作原理:将输入的张量的第一个维度看做样本的个数,沿其 ...
tensorflow tf.data.Dataset.from_tensor_slices() （创建一个“数据集”，其元素是给定张量的切片）
from tensorflow\python\data\ops\dataset_ops.py @staticmethoddef from_tensor_slices(tensors):"&q ...
【Tensorflow 2.0 正式版教程】tf.data.Dataset的基本使用方法
Tensorflow 2.0中提供了专门用于数据输入的接口tf.data.Dataset,可以简洁高效的实现数据的读入.打乱(shuffle).增强(augment)等功能.下面以一个简单的实例讲解该 ...
TensorFlow tf.data 导入数据（tf.data官方教程） * * * * *
原文链接:https://blog.csdn.net/u014061630/article/details/80728694 TensorFlow版本:1.10.0 > Guide > I ...
tensorflow教程开始——数据集：快速了解 tf.data
参考文章:数据集:快速了解数据集:快速了解 tf.data 从 numpy 数组读取内存数据. 逐行读取 csv 文件. 基本输入学习如何获取数组的片段,是开始学习 tf.data 最简单的方式. ...
记录之 tensorflow函数：tf.data.Dataset.from_tensor_slices
tf.data.Dataset.from_tensor_slices(),是常见的数据处理函数,它的作用是将给定的元组(turple).列表(list).张量(tensor)等特征进行特征切片.切片的 ...
TensorFlow数据读取机制：文件队列 tf.train.slice_input_producer和 tf.data.Dataset机制
TensorFlow数据读取机制:文件队列 tf.train.slice_input_producer和tf.data.Dataset机制之前写了一篇博客,关于<Tensorflow生成自己的 ...
tf.data.Dataset.from_tensor_slices 的用法
将python列表和numpy数组转换成tensorflow的dataset 只有dataset才能被model.fit函数训练 import tensorflow as tf import nump ...
tf.data.Dataset.from_tensor_slices() 详解
函数原型: tf.data.Dataset.from_tensor_slices(tensors, name=None ) 官网地址:https://www.tensorflow.org/api_do ...

tensorflow基础：tf.data.Dataset.from_tensor_slices() 与 tf.data.Dataset.from_generator()的异同

tensorflow基础：tf.data.Dataset.from_tensor_slices() 与 tf.data.Dataset.from_generator()的异同相关推荐

最新文章

热门文章