前言

本讲目标:断点续训，存取最优模型；保存可训练参数至文本

断点续训主要步骤

读取模型：

先定义出存放模型的路径和文件名，命名为.ckpt文件。
生成ckpt文件的时候会同步生成索引表，所以通过判断是否存在索引表来知晓是不是已经保存过模型参数。
如果有了索引表就利用load_weights函数读取已经保存的模型参数。

code:


checkpoint_save_path = "./checkpoint/fashion.ckpt"
if os.path.exists(checkpoint_save_path + '.index'):print('-------------load the model-----------------')model.load_weights(checkpoint_save_path)

保存模型：

保存模型参数可以使用TensorFlow给出的回调函数，直接保存训练出来的模型参数
tf.keras.callbacks.ModelCheckpoint( filepath=路径文件名(文件存储路径),
save_weights_only=True/False,(是否只保留参数模型)
save_best_only=True/False(是否只保留最优结果)) 执行训练过程中时，加入callbacks选项:
history=model.fit(callbacks=[cp_callback])

code:

cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_save_path,save_weights_only=True,save_best_only=True)history = model.fit(x_train, y_train, batch_size=32, epochs=5, validation_data=(x_test, y_test), validation_freq=1,callbacks=[cp_callback])

第一次运行：

第二次运行：可以发现模型并不是从初始训练，而是在基于保存的模型开始训练的（这一点可以从准确率和损失看出）：

全部代码：

import tensorflow as tf
import osfashion = tf.keras.datasets.fashion_mnist
(x_train, y_train), (x_test, y_test) = fashion.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0model = tf.keras.models.Sequential([tf.keras.layers.Flatten(),tf.keras.layers.Dense(128, activation='relu'),tf.keras.layers.Dense(10, activation='softmax')
])model.compile(optimizer='adam',loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),metrics=['sparse_categorical_accuracy'])checkpoint_save_path = "./checkpoint/fashion.ckpt"
if os.path.exists(checkpoint_save_path + '.index'):print('-------------load the model-----------------')model.load_weights(checkpoint_save_path)cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_save_path,save_weights_only=True,save_best_only=True)history = model.fit(x_train, y_train, batch_size=32, epochs=5, validation_data=(x_test, y_test), validation_freq=1,callbacks=[cp_callback])
model.summary()

参数提取主要步骤

设置打印的格式，使所有参数都打印出来

np.set_printoptions(threshold=np.inf)
print(model.trainable_variables)

将所有可训练参数存入文本：

file = open('./weights.txt', 'w')
for v in model.trainable_variables:file.write(str(v.name) + '\n')file.write(str(v.shape) + '\n')file.write(str(v.numpy()) + '\n')
file.close()

完整代码:

import tensorflow as tf
import os
import numpy as npnp.set_printoptions(threshold=np.inf)fashion = tf.keras.datasets.fashion_mnist
(x_train, y_train), (x_test, y_test) = fashion.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0model = tf.keras.models.Sequential([tf.keras.layers.Flatten(),tf.keras.layers.Dense(128, activation='relu'),tf.keras.layers.Dense(10, activation='softmax')
])model.compile(optimizer='adam',loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),metrics=['sparse_categorical_accuracy'])checkpoint_save_path = "./checkpoint/fashion.ckpt"
if os.path.exists(checkpoint_save_path + '.index'):print('-------------load the model-----------------')model.load_weights(checkpoint_save_path)cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_save_path,save_weights_only=True,save_best_only=True)history = model.fit(x_train, y_train, batch_size=32, epochs=5, validation_data=(x_test, y_test), validation_freq=1,callbacks=[cp_callback])
model.summary()print(model.trainable_variables)
file = open('./weights.txt', 'w')
for v in model.trainable_variables:file.write(str(v.name) + '\n')file.write(str(v.shape) + '\n')file.write(str(v.numpy()) + '\n')
file.close()

效果：

总结

课程链接:MOOC人工智能实践：TensorFlow笔记2

【神经网络扩展】：断点续训和参数提取相关推荐

断点续训 Pytorch 和 Tensorflow 框架 VGG16 模型猫狗大战鸢尾花分类
神经网络训练模型的过程中,如果程序突然中断,竹篮打水一场空? >>>断点续训来解决! 目录 (1)Pytorch框架的断点续训(猫狗大战) (2)Tensorflow框架的断点续训( ...
pytorch学习（一）pytorch中的断点续训
1. 设置断点续训的目的在遇到停电宕机,设备内存不足导致实验还没有跑完的情况下,如果没有使用断点续训,就需要从头开始训练,耗时费力. 断点续训主要保存的是网络模型的参数以及优化器optimizer的 ...
tensorflow1运用模型断点续训、恢复图和进行预测
前言本文是代码根据吴恩达深度学习第四课程第一周第二节作业图像分类识别修改而成,会简单介绍一下项目流程,然后介绍tensorflow1保存模型的两种方法,以及如何用模型预测. 项目流程简单介绍这里直 ...
kera TensorBoard的可视化和断点续训同时处理
一.实现可视化的步骤 ① 从keras.callbacks中导入Tensorboard类 from keras.callbacks import TensorBoard ② 在model.fit中添加 ...
Python机器学习-搭建神经网络以及数据集引入和断点续存
前言本文旨在通过Python编程角度进行机器学习神经网络的引导,需要掌握基础的全连接神经网络基础,这包括了神经网络全连接层的结构,权重模板与偏置的作用,节点的处理方法.在掌握这些知识之后,本文将从代 ...
Scrapy_redis框架原理分析并实现断点续爬以及分布式爬虫
1. 下载github的demo代码 1.1 clone github scrapy-redis源码文件 git clone https://github.com/rolando/scrapy-red ...
Android视频编辑器（一）通过OpenGL预览、录制视频以及断点续录等
前言如今的视频类app可谓是如日中天,火的不行.比如美拍.快手.VUE.火山小视频.抖音小视频等等.而这类视频的最基础和核心的功能就是视频录制和视频编辑功能.包括了手机视频录制.美白.加滤镜.加水印 ...
linux 参数扩展,Shell Bash 中的参数扩展
对于访问 $9 之后的位置参数也同样需要使用大括号,比如: echo "Argument 1 is $1" echo "Argument 10 is ${10}" ...
网络编程学习（11）/ FTP项目（5） ——文件上传和上传断点续存功能
网络编程学习(11)/ FTP项目(5) --文件上传和上传断点续存功能 `服务端 lib 文件夹下的 main.py 状态码的变化` 文件上传功能 `服务端 lib 文件夹下的 main.py` ` ...

【神经网络扩展】：断点续训和参数提取

文章目录

前言

断点续训主要步骤

参数提取主要步骤

总结

【神经网络扩展】：断点续训和参数提取相关推荐

最新文章

热门文章