Tensorflow教程笔记

基础
TensorFlow 基础
TensorFlow 模型建立与训练
基础示例：多层感知机（MLP）
卷积神经网络（CNN）
循环神经网络（RNN）
深度强化学习（DRL）
Keras Pipeline
自定义层、损失函数和评估指标
常用模块 tf.train.Checkpoint ：变量的保存与恢复
常用模块 TensorBoard：训练过程可视化
常用模块 tf.data ：数据集的构建与预处理
常用模块 TFRecord ：TensorFlow 数据集存储格式
常用模块 tf.function ：图执行模式
常用模块 tf.TensorArray ：TensorFlow 动态数组
常用模块 tf.config：GPU 的使用与分配
部署
TensorFlow 模型导出
TensorFlow Serving
TensorFlow Lite
大规模训练与加速
TensorFlow 分布式训练
使用 TPU 训练 TensorFlow 模型
扩展
TensorFlow Hub 模型复用
TensorFlow Datasets 数据集载入
附录
强化学习基础简介

TensorFlow Datasets 数据集载入

TensorFlow Datasets 是一个开箱即用的数据集集合，包含数十种常用的机器学习数据集。通过简单的几行代码即可将数据以 tf.data.Dataset 的格式载入。关于 tf.data.Dataset 的使用可参考 tf.data。

该工具是一个独立的 Python 包，可以通过:

pip install tensorflow-datasets

安装。

在使用时，首先使用 import 导入该包

import tensorflow as tf
import tensorflow_datasets as tfds

然后，最基础的用法是使用 tfds.load 方法，载入所需的数据集。例如，以下三行代码分别载入了 MNIST、猫狗分类和 tf_flowers 三个图像分类数据集：

dataset = tfds.load("mnist", split=tfds.Split.TRAIN, as_supervised=True)
dataset = tfds.load("cats_vs_dogs", split=tfds.Split.TRAIN, as_supervised=True)
dataset = tfds.load("tf_flowers", split=tfds.Split.TRAIN, as_supervised=True)

当第一次载入特定数据集时，TensorFlow Datasets 会自动从云端下载数据集到本地，并显示下载进度。例如，载入 MNIST 数据集时，终端输出提示如下：

Downloading and preparing dataset mnist (11.06 MiB) to C:\Users\snowkylin\tensorflow_datasets\mnist\3.0.0...
WARNING:absl:Dataset mnist is hosted on GCS. It will automatically be downloaded to your
local data directory. If you'd instead prefer to read directly from our public
GCS bucket (recommended if you're running on GCP), you can instead set
data_dir=gs://tfds-data/datasets.Dl Completed...: 100%|██████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:10<00:00,  2.93s/ file]
Dl Completed...: 100%|██████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:10<00:00,  2.73s/ file]
Dataset mnist downloaded and prepared to C:\Users\snowkylin\tensorflow_datasets\mnist\3.0.0. Subsequent calls will reuse this data.

提示

在使用 TensorFlow Datasets 时，可能需要设置代理。较为简易的方式是设置 HTTPS_PROXY 环境变量，即

export HTTPS_PROXY=http://代理服务器IP:端口

tfds.load 方法返回一个 tf.data.Dataset 对象。部分重要的参数如下：

as_supervised ：若为 True，则根据数据集的特性，将数据集中的每行元素整理为有监督的二元组 (input, label) （即 “数据 + 标签”）形式，否则数据集中的每行元素为包含所有特征的字典。
split：指定返回数据集的特定部分。若不指定，则返回整个数据集。一般有 tfds.Split.TRAIN （训练集）和 tfds.Split.TEST （测试集）选项。

TensorFlow Datasets 当前支持的数据集可在官方文档查看，或者也可以使用 tfds.list_builders() 查看。

当得到了 tf.data.Dataset 类型的数据集后，我们即可使用 tf.data 对数据集进行各种预处理以及读取数据。例如：

# 使用 TessorFlow Datasets 载入“tf_flowers”数据集
dataset = tfds.load("tf_flowers", split=tfds.Split.TRAIN, as_supervised=True)
# 对 dataset 进行大小调整、打散和分批次操作
dataset = dataset.map(lambda img, label: (tf.image.resize(img, [224, 224]) / 255.0, label)) \.shuffle(1024) \.batch(32)
# 迭代数据
for images, labels in dataset:# 对images和labels进行操作

详细操作说明可见 tf.data 一节。同时，分布式训练一章也使用了 TensorFlow Datasets 载入数据集。可以参考这些章节的示例代码以进一步了解 TensorFlow Datasets 的使用方法。

【Tensorflow教程笔记】TensorFlow Datasets 数据集载入相关推荐

【Tensorflow教程笔记】深度强化学习（DRL）
基础 TensorFlow 基础 TensorFlow 模型建立与训练基础示例:多层感知机(MLP) 卷积神经网络(CNN) 循环神经网络(RNN) 深度强化学习(DRL) Keras Pipeli ...
【Tensorflow教程笔记】常用模块 tf.function ：图执行模式
基础 TensorFlow 基础 TensorFlow 模型建立与训练基础示例:多层感知机(MLP) 卷积神经网络(CNN) 循环神经网络(RNN) 深度强化学习(DRL) Keras Pipeli ...
【Tensorflow教程笔记】常用模块 tf.train.Checkpoint ：变量的保存与恢复
基础 TensorFlow 基础 TensorFlow 模型建立与训练基础示例:多层感知机(MLP) 卷积神经网络(CNN) 循环神经网络(RNN) 深度强化学习(DRL) Keras Pipeli ...
tensorflow学习笔记————分类MNIST数据集
在使用tensorflow分类MNIST数据集中,最容易遇到的问题是下载MNIST样本的问题. 一般是通过使用tensorflow内置的函数进行下载和加载, from tensorflow.examp ...
TensorFlow学习笔记--第三节张量（tensor）及其定义方法
目录在TensorFlow中,所有的数据通过张量的形式来表示 1张量及属性: 1.1维数(阶) 1.2 形状 1.3数据类型 TensorFlow 支持以下三种类型的张量: **1.常量** **2 ...
TensorFlow学习笔记（二）：快速理解Tutorial第一个例子-MNIST机器学习入门标签：机器学习SoftmaxTensorFlow教程 2016-08-02 22:12 3729人阅
TensorFlow学习笔记(二):快速理解Tutorial第一个例子-MNIST机器学习入门标签: 机器学习SoftmaxTensorFlow教程 2016-08-02 22:12 3729人阅读 ...
Tensorflow官网教程笔记（1）
目录前言 1.从python中学到的新知识 1.1 figure函数 1.2 imshow函数--cmap参数 1.3 format函数 2.Tensorflow学习笔记前言由于自己只是学会了p ...
TensorFlow发布语音识别入门教程，附1GB数据集代码
原标题:TensorFlow发布语音识别入门教程,附1GB数据集&代码机械鸡的鸡友经常问:如何开始入门深度学习语音和其他音频识别,例如关键字检测或语音命令. 虽然有一些伟大的开源语音识别系统 ...
【TensorFlow实战笔记】对于TED(en-zh)数据集进行Seq2Seq模型实战，以及对应的Attention机制（tf保存模型读取模型）
个人公众号 AI蜗牛车作者是南京985AI硕士,CSDN博客专家,研究方向主要是时空序列预测和时间序列数据挖掘,获国家奖学金,校十佳大学生,省优秀毕业生,阿里天池时空序列比赛rank3.公众号致力于 ...

【Tensorflow教程笔记】TensorFlow Datasets 数据集载入

Tensorflow教程笔记

目录

TensorFlow Datasets 数据集载入

提示

【Tensorflow教程笔记】TensorFlow Datasets 数据集载入相关推荐

最新文章

热门文章