TensorFlow 2.0 - Checkpoint 保存变量、TensorBoard 训练可视化

文章目录

1. Checkpoint 保存变量
2. TensorBoard 训练过程可视化

学习于：简单粗暴 TensorFlow 2

1. Checkpoint 保存变量

tf.train.Checkpoint 可以保存 tf.keras.optimizer 、 tf.Variable 、 tf.keras.Layer 、 tf.keras.Model

path = "./checkp.ckpt"
# 建立一个 checkpoint
mycheckpoint = tf.train.Checkpoint(mybestmodel=mymodel) # 接受 **kwargs 键值对
mycheckpoint.save(path)

恢复指定模型变量

# 待恢复参数的模型
restored_model = LinearModel()
# mybestmodel 名字任意写，跟下面恢复时保持一致
mycheckpoint = tf.train.Checkpoint(mybestmodel=restored_model)
# 恢复指定的变量
path = "./checkp.ckpt-1"
mycheckpoint.restore(path)X_test = tf.constant([[5.1], [6.1]])
res = restored_model.predict(X_test)
print(res)
# [[10.182168] 前一节的线性回归模型
#  [12.176777]]

恢复最近的模型，自动选定目录下最新的存档（后缀数字最大的）

mycheckpoint.restore(tf.train.latest_checkpoint("./"))

管理保存的参数，有时不需要保存太多，占空间

mycheckpoint = tf.train.Checkpoint(mybestmodel=mymodel)  # 接受 **kwargs 键值对
manager = tf.train.CheckpointManager(mycheckpoint, directory="./",checkpoint_name='checkp.ckpt',max_to_keep=2) # 最多保存k个最新的for loop:manager.save() # 自动递增编号manager.save(checkpoint_number=idx) # 指定编号

2. TensorBoard 训练过程可视化

summary_writer = tf.summary.create_file_writer(logdir=log_dir)
tf.summary.scalar(name='loss', data=loss, step=idx)
tf.summary.trace_on(profiler=True)

for loop:with summary_writer.as_default():tf.summary.scalar(name='loss', data=loss, step=idx)

with summary_writer.as_default():tf.summary.trace_export(name='model_trace', step=0,profiler_outdir=log_dir)

示例

import tensorflow as tf
import numpy as npclass MNistLoader():def __init__(self):data = tf.keras.datasets.mnist# 加载数据(self.train_data, self.train_label), (self.test_data, self.test_label) = data.load_data()# 扩展维度，灰度图1通道 [batch_size, 28, 28, chanels=1]self.train_data = np.expand_dims(self.train_data.astype(np.float32) / 255.0, axis=-1)self.test_data = np.expand_dims(self.test_data.astype(np.float32) / 255.0, axis=-1)self.train_label = self.train_label.astype(np.int32)self.test_label = self.test_label.astype(np.int32)# 样本个数self.num_train_data, self.num_test_data = self.train_data.shape[0], self.test_data.shape[0]def get_batch(self, batch_size):# 从训练集里随机取出 batch_size 个样本idx = np.random.randint(0, self.num_train_data, batch_size)return self.train_data[idx, :], self.train_label[idx]# 自定义多层感知机模型
class MLPmodel(tf.keras.Model):def __init__(self):super().__init__()# 除第一维以外的维度展平self.flatten = tf.keras.layers.Flatten()self.dense1 = tf.keras.layers.Dense(units=100, activation='relu')self.dense2 = tf.keras.layers.Dense(units=10)def call(self, input):x = self.flatten(input)x = self.dense1(x)x = self.dense2(x)output = tf.nn.softmax(x)return output# %%num_epochs = 5
batch_size = 50
learning_rate = 1e-4
log_dir = './log' # 日志目录
mymodel = MLPmodel()# %%
data_loader = MNistLoader()
optimizer = tf.keras.optimizers.Adam(learning_rate=learning_rate)
num_batches = int(data_loader.num_train_data // batch_size * num_epochs)# 实例化记录器
summary_writer = tf.summary.create_file_writer(logdir=log_dir)
# 开启 trace，（可选），记录训练时的大量信息（图的结构，耗时等）
tf.summary.trace_on(profiler=True)for idx in range(num_batches):X, y = data_loader.get_batch(batch_size)with tf.GradientTape() as tape:y_pred = mymodel(X)loss = tf.keras.losses.sparse_categorical_crossentropy(y_true=y, y_pred=y_pred)loss = tf.reduce_mean(loss)print("batch {}, loss {}".format(idx, loss.numpy()))# 记录器记录losswith summary_writer.as_default():tf.summary.scalar(name='loss', data=loss, step=idx)grads = tape.gradient(loss, mymodel.variables)optimizer.apply_gradients(grads_and_vars=zip(grads, mymodel.variables))with summary_writer.as_default():tf.summary.trace_export(name='model_trace', step=0,profiler_outdir=log_dir)

开始训练，命令行进入可视化界面 tensorboard --logdir=./log
点击命令行中的链接，打开浏览器，查看训练曲线
若重新训练，请删除 log 文件，或设置别的 log 路径，重新 cmd 开启浏览器

TensorFlow 2.0 - Checkpoint 保存变量、TensorBoard 训练可视化相关推荐

使用TensorFlow 2.0+和Keras实现AlexNet CNN架构
技术 (Technical) 介绍 (Introduction) The main content of this article will present how the AlexNet Convo ...
Keras与Tensorflow2.0入门（6）模型可视化与tensorboard的使用
文章目录 1. 前言 1.1 Plot_model 1.2 History 1.3 自定义评估函数 PRF值的计算方法 AUC的计算方法 2. tensorboard 2.1 tensorboard是 ...
Tensorflow 2.0的这些新设计，你适应好了吗？
[新智元导读]几天前,Tensorflow刚度过自己的3岁生日,作为当前最受欢迎的机器学习框架,Tensorflow在这个宝座上已经盘踞了近三年.无论是成熟的Keras,还是风头正盛的pytorch, ...
Tensorflow 2.0的新特性
Tensorflow 2.0的新特性几天前,Tensorflow刚度过自己的3岁生日,作为当前最受欢迎的机器学习框架,Tensorflow在这个宝座上已经盘踞了近三年.无论是成熟的Keras,还是风 ...
TensorFlow 2.0中的tf.keras和Keras有何区别？为什么以后一定要用tf.keras？
选自pyimagesearch 作者:Adrian Rosebrock 参与:王子嘉.张倩本文经机器之心授权转载,禁止二次转载随着 TensorFlow 2.0 的发布,不少开发者产生了一些疑惑: ...
【Tensorflow教程笔记】常用模块 tf.train.Checkpoint ：变量的保存与恢复
基础 TensorFlow 基础 TensorFlow 模型建立与训练基础示例:多层感知机(MLP) 卷积神经网络(CNN) 循环神经网络(RNN) 深度强化学习(DRL) Keras Pipeli ...
TensorFlow 2.0 —— 模型训练
目录 1.Keras版本模型训练 1.1 构造模型(顺序模型.函数式模型.子类模型) 1.2 模型训练:model.fit() 1.3 模型验证:model.evaluate() 1.4 模型预测:m ...
Tensorflow详解保存模型（进阶版一）：如何有选择的保存变量
当然掌握了基础版还不够,我们来看一下进阶版一:如何有选择的保存变量: 这里还要另外涉及两个函数: tf.variable_scope("xxx") 和 tf.get_variabl ...
TensorFlow中查看checkpoint文件中的变量名和对应值
在加载模型时, 需要知道checkpoint中变量名称,一下代码可以查看TensorFlow中checkpoint文件中的变量名: #!/usr/bin/env python # -*- coding ...

TensorFlow 2.0 - Checkpoint 保存变量、TensorBoard 训练可视化

文章目录

1. Checkpoint 保存变量

2. TensorBoard 训练过程可视化

TensorFlow 2.0 - Checkpoint 保存变量、TensorBoard 训练可视化相关推荐

最新文章

热门文章