tf.data.Dataset介绍1-from_tensor

1、tf.data.Dataset.from_tensor_slices使用

a.对输入的类型异常敏感，遇到第一个为list或tensor类型作为维度作为切割维度。小数据内存处理时使用。
b.对于外层tuple或dict的跳过不作为切割维度（可以视为多个tensor的列表或类似表现形式）。

c.tensor中每一个特征的向量维度要保持一致，且维度必须是大于等于1

例如，list数据格式slice

#list
list(tf.data.Dataset.from_tensor_slices([[1,3,4],[2,3,4]]).as_numpy_iterator())Out[10]: [array([1, 3, 4]), array([2, 3, 4])]#tuple
list(tf.data.Dataset.from_tensor_slices(([1,3,4],[2,3,4])).as_numpy_iterator())
Out[11]: [(1, 2), (3, 3), (4, 4)]#dict
list(tf.data.Dataset.from_tensor_slices({"a":[1,2,3],"b":[5,6,7]}).as_numpy_iterator())
Out[12]: [{'a': 1, 'b': 5}, {'a': 2, 'b': 6}, {'a': 3, 'b': 7}]#tensor
list(tf.data.Dataset.from_tensor_slices(tf.constant([[1,2,3],[4,5,6]])).as_numpy_iterator())
Out[13]: [array([1, 2, 3]), array([4, 5, 6])]

参考：tf.data.Dataset | TensorFlow Core v2.8.0

tf.data.Dataset介绍1-from_tensor_slices相关推荐

tf.data.Dataset.from_tensor_slices() 详解
函数原型: tf.data.Dataset.from_tensor_slices(tensors, name=None ) 官网地址:https://www.tensorflow.org/api_do ...
tf.data.Dataset.from_tensor_slices 的用法
将python列表和numpy数组转换成tensorflow的dataset 只有dataset才能被model.fit函数训练 import tensorflow as tf import nump ...
tensorflow tf.data.Dataset.from_tensor_slices() （创建一个“数据集”，其元素是给定张量的切片）
from tensorflow\python\data\ops\dataset_ops.py @staticmethoddef from_tensor_slices(tensors):"&q ...
记录之 tensorflow函数：tf.data.Dataset.from_tensor_slices
tf.data.Dataset.from_tensor_slices(),是常见的数据处理函数,它的作用是将给定的元组(turple).列表(list).张量(tensor)等特征进行特征切片.切片的 ...
tensorflow学习笔记：tf.data.Dataset，from_tensor_slices(),shuffle()，batch()的用法
tf.data.Dataset.from_tensor_slices: 它的作用是切分传入Tensor的第一个维度,生成相应的dataset. 例1: dataset = tf.data.Datase ...
tensorflow基础：tf.data.Dataset.from_tensor_slices() 与 tf.data.Dataset.from_generator()的异同
tf.data.Dataset.from_tensor_slices(tensor): -->将tensor沿其第一个维度切片,返回一个含有N个样本的数据集(假设tensor的第一个维度为N). ...
tensorflow基础：tf.data.Dataset.from_tensor_slices()
tf.data.Dataset.from_tensor_slices() 语义解释:from_tensor_slices,从张量的切片读取数据. 工作原理:将输入的张量的第一个维度看做样本的个数,沿其 ...
TensorFlow数据读取机制：文件队列 tf.train.slice_input_producer和 tf.data.Dataset机制
TensorFlow数据读取机制:文件队列 tf.train.slice_input_producer和tf.data.Dataset机制之前写了一篇博客,关于<Tensorflow生成自己的 ...
【Tensorflow 2.0 正式版教程】tf.data.Dataset的基本使用方法
Tensorflow 2.0中提供了专门用于数据输入的接口tf.data.Dataset,可以简洁高效的实现数据的读入.打乱(shuffle).增强(augment)等功能.下面以一个简单的实例讲解该 ...
tf.data.Dataset 用法
tf.data.DatasetAPI支持写入的描述性和高效的输入管线.Dataset用法遵循一个常见模式: 从输入数据创建源数据集. 应用数据集转换来预处理数据. 迭代数据集并处理元素. 迭代以流式方 ...

tf.data.Dataset介绍1-from_tensor_slices

tf.data.Dataset介绍1-from_tensor_slices相关推荐

最新文章

热门文章