Tensorflow保存模型和加载预训练模型
训练好的模型需要保存下来或者加载已经训练完成的模型,就用到了ckpt文件。
目录
- 1.了解tensorflow保存的文件
- (1)checkpoint
- (2)MyModel.meta
- (3)MyModel.index
- (4)MyModel.data-00000-of-00001
- 2.保存模型
- (1)通用形式
- (2)按照达到迭代次数后保存
- (3)按照达到时间后保存
- (4)保存部分变量
- 3.加载已经训练好的模型
- (1)第一步:加载网络图
- (2)第二步:加载参数
- 4.使用加载的已经保存的模型
- Reference:
1.了解tensorflow保存的文件
使用tensorflow保存的文件一共4个,如下所示:
(其中,(3)和(4)是关联的文件)
(1)checkpoint
该文件是个文本文件,里面记录了保存的最新的checkpoint文件以及其它checkpoint文件列表。在inference时,可以通过修改这个文件,指定使用哪个model。
(2)MyModel.meta
该文件保存的是图结构,meta文件是pb(protocol buffer)格式文件,包含变量、op、集合等。
(3)MyModel.index
该文件是ckpt文件,二进制文件,保存了所有的weights、biases、gradients等变量。在tensorflow 0.11之前,保存在.ckpt文件中。
(4)MyModel.data-00000-of-00001
该文件是ckpt文件,二进制文件,保存了所有的weights、biases、gradients等变量。在tensorflow 0.11之前,保存在.ckpt文件中。
2.保存模型
(1)通用形式
tensorflow提供了tf.train.Saver类来保存模型。在tensorflow中,变量是存在于Session环境中,即只有在Session环境下才会存有变量值,因此,保存模型时需要传入session:
saver = tf.train.Saver()
#训练模型的步骤
saver.save(sess,"./checkpoint_dir/MyModel")
之后就会有1.中所提的四个文件保存下来。
(2)按照达到迭代次数后保存
若想在设置的迭代次数后保存模型,则
saver = tf.train.Saver()
#训练模型的步骤
saver.save(sess,"./checkpoint_dir/MyModel",global_step=100) #其中,100为迭代次数
这时,保存的三个(除checkpoint外)文件名就会在MyModel后.前加入“-100”。
实际训练可能会在每100次迭代中保存一次模型数据,但是由于图是不变的,没必要每次都去保存,可以通过如下方式指定不保存图:
saver = tf.train.Saver()
#训练模型的步骤
saver.save(sess,'./checkpoint_dir/MyModel',global_step=100,write_meta_graph=False)
(3)按照达到时间后保存
若想在设置的时间后保存模型,则
saver = tf.train.Saver(keep_checkpoint_every_n_hours=2) #每2个小时保存一次模型
#训练模型的步骤
saver.save(sess,"./checkpoint_dir/MyModel")
另外,想每隔一段时间保存最近的几个模型,则
saver = tf.train.Saver(max_to_keep=5,keep_checkpoint_every_n_hours=2) #每2个小时保存最近5个模型文件
#训练模型的步骤
saver.save(sess,"./checkpoint_dir/MyModel")
(4)保存部分变量
如果将tf.train.Saver不做任何设置,即tf.train.Saver()则保存全部变量,若想保存部分变量,则
saver = tf.train.Saver([w1,w2]) #保存w1和w2两个变量
#训练模型的步骤
saver.save(sess,"./checkpoint_dir/MyModel")
3.加载已经训练好的模型
(1)第一步:加载网络图
saver=tf.train.import_meta_graph('./checkpoint_dir/MyModel.meta')
把图加载。
(2)第二步:加载参数
即加载已经训练好的模型参数(即weights、biases等),变量值需要依赖于Session,因此在加载参数时,先要构造好Session:
import tensorflow as tf
with tf.Session() as sess:new_saver = tf.train.import_meta_graph('./checkpoint_dir/MyModel.meta')new_saver.restore(sess, tf.train.latest_checkpoint('./checkpoint_dir'))print(sess.run('w1:0')) #打印已经保存的变量
4.使用加载的已经保存的模型
很多时候,我们希望使用一些已经训练好的模型,如prediction、fine-tuning以及进一步训练等。这时,需要获取训练好的模型中的一些中间结果值,可以通过graph.get_tensor_by_name(‘w1:0’)来获取(注意w1:0是tensor的name)。
假设我们有一个简单的网络模型,代码如下:
import tensorflow as tf#定义变量
w1 = tf.placeholder("float", name="w1")
w2 = tf.placeholder("float", name="w2")
b1= tf.Variable(2.0,name="bias") #定义一个op,用于后面恢复
w3 = tf.add(w1,w2)
w4 = tf.multiply(w3,b1,name="op_to_restore")
sess = tf.Session()
sess.run(tf.global_variables_initializer())#创建一个Saver对象,用于保存所有变量
saver = tf.train.Saver()#通过传入数据,执行op
print(sess.run(w4,feed_dict ={w1:4,w2:8}))
#打印 24.0 ==>(w1+w2)*b1#现在保存模型
saver.save(sess, './checkpoint_dir/MyModel',global_step=1000)
接下来我们使用graph.get_tensor_by_name()方法来操纵这个保存的模型。
import tensorflow as tfsess=tf.Session()
#先加载图和参数变量
saver = tf.train.import_meta_graph('./checkpoint_dir/MyModel-1000.meta')
saver.restore(sess, tf.train.latest_checkpoint('./checkpoint_dir'))# 访问placeholders变量,并且创建feed-dict来作为placeholders的新值
graph = tf.get_default_graph()
w1 = graph.get_tensor_by_name("w1:0")
w2 = graph.get_tensor_by_name("w2:0")
feed_dict ={w1:13.0,w2:17.0}#接下来,访问你想要执行的op
op_to_restore = graph.get_tensor_by_name("op_to_restore:0")print(sess.run(op_to_restore,feed_dict))
#打印结果为60.0==>(13+17)*2
(注意:保存模型时,只会保存变量的值,placeholder里面的值不会被保存)
如果你不仅仅是用训练好的模型,还要加入一些op,或者说加入一些layers并训练新的模型,可以通过一个简单例子来看如何操作:
import tensorflow as tfsess = tf.Session()
# 先加载图和变量
saver = tf.train.import_meta_graph('my_test_model-1000.meta')
saver.restore(sess, tf.train.latest_checkpoint('./'))# 访问placeholders变量,并且创建feed-dict来作为placeholders的新值
graph = tf.get_default_graph()
w1 = graph.get_tensor_by_name("w1:0")
w2 = graph.get_tensor_by_name("w2:0")
feed_dict = {w1: 13.0, w2: 17.0}#接下来,访问你想要执行的op
op_to_restore = graph.get_tensor_by_name("op_to_restore:0")# 在当前图中能够加入op
add_on_op = tf.multiply(op_to_restore, 2)print (sess.run(add_on_op, feed_dict))
# 打印120.0==>(13+17)*2*2
如果只想恢复图的一部分,并且再加入其它的op用于fine-tuning。只需通过graph.get_tensor_by_name()方法获取需要的op,并且在此基础上建立图,看一个简单例子,假设我们需要在训练好的VGG网络使用图,并且修改最后一层,将输出改为2,用于fine-tuning新数据:
......
......
saver = tf.train.import_meta_graph('vgg.meta')
# 访问图
graph = tf.get_default_graph() #访问用于fine-tuning的output
fc7= graph.get_tensor_by_name('fc7:0')#如果你想修改最后一层梯度,需要如下
fc7 = tf.stop_gradient(fc7) # It's an identity function
fc7_shape= fc7.get_shape().as_list()new_outputs=2
weights = tf.Variable(tf.truncated_normal([fc7_shape[3], num_outputs], stddev=0.05))
biases = tf.Variable(tf.constant(0.05, shape=[num_outputs]))
output = tf.matmul(fc7, weights) + biases
pred = tf.nn.softmax(output)# Now, you run this with fine-tuning data in sess.run()
Reference:
[1] http://cv-tricks.com/tensorflow-tutorial/save-restore-tensorflow-models-quick-complete-tutorial/
[2] https://blog.csdn.net/huachao1001/article/details/78501928
Tensorflow保存模型和加载预训练模型相关推荐
- tensorflow保存模型和加载模型的方法(Python和Android)
tensorflow保存模型和加载模型的方法(Python和Android) 一.tensorflow保存模型的几种方法: (1) tf.train.saver()保存模型 使用 tf.train.s ...
- Keras框架下的保存模型和加载模型
在Keras框架下训练深度学习模型时,一般思路是在训练环境下训练出模型,然后拿训练好的模型(即保存模型相应信息的文件)到生产环境下去部署.在训练过程中我们可能会遇到以下情况: 需要运行很长时间的程序在 ...
- Pytorch网络模型权重初始化、保存与加载模型、加载预训练模型、按需设置学习率
前言 在我们对神经网络模型进行训练时,往往需要对模型进行初始化或者加载预训练模型.本文将对模型的权重初始化与加载预训练模型做一个学习记录,以便后续查询使用. 权重初始化 常见的初始化方法 PyTorc ...
- keras冻结_Keras 实现加载预训练模型并冻结网络的层
在解决一个任务时,我会选择加载预训练模型并逐步fine-tune.比如,分类任务中,优异的深度学习网络有很多. ResNet, VGG, Xception等等... 并且这些模型参数已经在imagen ...
- MXNet快速入门之训练加载预训练模型(四)
前言 在前面几篇文章中详细介绍了MXNet的一些特点以及入门基础知识,本篇文章主要介绍如何使用MXNet来训练模型.加载模型进行预测.预训练模型以及MXNet中GPU使用的相关知识. 在介绍训练模型之 ...
- pytorch:加载预训练模型(多卡加载单卡预训练模型,多GPU,单GPU)
在pytorch加载预训练模型时,可能遇到以下几种情况. 分为以下几种 在pytorch加载预训练模型时,可能遇到以下几种情况. 1.多卡训练模型加载单卡预训练模型 2. 多卡训练模型加载多卡预训练模 ...
- HuggingFace学习3:加载预训练模型完成机器翻译(中译英)任务
加载模型页面为:https://huggingface.co/liam168/trans-opus-mt-zh-en 文章目录 整理文件 跑通程序,测试预训练模型 拆解Pipeline,逐步进行翻译任 ...
- Caffe2教程实例,加载预训练模型
Caffe2教程实例,加载预训练模型 概述 本教程使用模型库中的预训练模型squeezenet 里分类我们自己的图片.我们需要提供要分类图片的路径或者URL信息作为输入.了解ImageNet对象代码可 ...
- Tensorflow保存模型,恢复模型
tensorflow从已经训练好的模型中,恢复(指定)权重(构建新变量.网络)并继续训练(finetuning) https://blog.csdn.net/ying86615791/article/ ...
最新文章
- Java中实现六种图像处理的效果(灰度化、马赛克效果、去背景实现、珠纹化实现、黑白版画效果、油画效果)
- 并发编程之多进程进程进程
- java 快速入门_Java快速入门
- 王者荣耀s15服务器维护,王者荣耀16日S15赛季更新内容
- 使用php与mysql构建我们的网站
- LCAOSCF自洽场氟化氢HF斯莱特函数
- Hadoop学习笔记系列文章导航
- SpringBoot中使用POI实现自定义Excel布局式导出
- android下m、mm、mmm编译命令的使用
- 牛客网在线编程:分苹果
- 6003.mavlink协议自定义消息编程
- ajax简单校验用户名是否存在
- Zabbix监控Redis状态(内含Zabbix、Redis福利资料)
- PS画实线、虚线箭头
- com词根词缀_(完整版)词根词缀记忆大全---经典详细的总结
- java 自动填充,使用java自动填充,实现mysql的创建修改时间的自动填充
- layui追加或动态修改表单元素不生效
- 网页服务器修复,网页被劫持,跳转发布网修复方法 看完就明白
- php程序yii是什么意思,【PHP开辟框架】yii是什么意义
- Android WebView混合开发实战演习