tensorflow只训练指定变量

在用tensorflow训练神经网络时，有时我们想固定其中一些变量的取值不变，训练指定scope中的变量，常用的如finetune等。

一种最常用的方法是在用optimizer计算梯度时，指定计算梯度的变量列表（待优化的变量列表）。示例如下：

import tensorflow as tf
import tensorflow.contrib.slim as slim# 定义优化器
g_optimizer = tf.train.AdamOptimizer(learning_rate = 1e-4)# 指定待优化的变量列表
g_var_list = tf.get_collection(key=tf.GraphKeys.TRAINING_VARIABLES,scope="generator")# 根据损失 gen_loss, 计算指定变量的优化梯度，g_gradient中保存了待优化的变量和对应变量的优化梯度。
g_gradient = g_optimizer.compute_gradients(loss = gen_loss, var_list = g_var_list)# 应用梯度，用计算的变量梯度优化变量列表中的变量
g_opt = g_optimizer.apply_gradient(g_gradient)

更多提取变量列表的方法可参考：Tensorflow 获取model中的变量列表，用于模型加载等

更多冻结变量的方法可参考：tensorflow冻结变量方法（tensorflow freeze variable）

但是我认为，以上就足够了。

tensorflow只训练指定变量相关推荐

[转载] tensorflow如何微调时如何只训练后两层_XLNet只存在于论文？都替你封装好了还不来用！...
参考链接: 在Python中使用BERT Tokenizer和TensorFlow 2.0进行文本分类相信前段时间大家都被各种XLNet的解读.解析轰炸了吧.好容易熬过了学会了,到网上一搜,诶!官方 ...
TensorFlow解析常量、变量和占位符
TensorFlow解析常量.变量和占位符最基本的 TensorFlow 提供了一个库来定义和执行对张量的各种数学运算.张量,可理解为一个 n 维矩阵,所有类型的数据,包括标量.矢量和矩阵等都是特殊 ...
TensorFlow的常量、变量、常用函数（一）
TensorFlow常用函数(一) (1)tf.variable_scope('namespace')和tf.name_scope('namespace'):返回一个用于定义创建variable(层) ...
Tensorflow分布式训练原理
以下文章摘录自: <机器学习观止--核心原理与实践> 京东: https://item.jd.com/13166960.html 当当:http://product.dangdang.co ...
Tensorflow |（3）变量的的创建、初始化、保存和加载
Tensorflow |(1)初识Tensorflow Tensorflow |(2)张量的阶和数据类型及张量操作 Tensorflow |(3)变量的的创建.初始化.保存和加载变量的的创建.初始化 ...
Tensorflow入门——训练结果的保存与加载
2019独角兽企业重金招聘Python工程师标准>>> 训练完成以后我们就可以直接使用训练好的模板进行预测了但是每次在预测之前都要进行训练,不是一个常规操作,毕竟有些复杂的模型需要 ...
深度学习（五十五）tensorflow分布式训练
tensorflow分布式训练博客:http://blog.csdn.net/hjimce 微博:黄锦池-hjimce qq:1393852684 情况一.单机单卡单机单卡是最普通的情况,当然 ...
『tensorflow笔记』图变量tf.Variable的用法解析
TensorFlow中的图变量,跟我们平时所接触的一般变量在用法上有很大的差异.尤其对于那些初次接触此类深度学习库的编程人员来说,会显得十分难上手. 我们通过tf.Variable构造一个variab ...
如何在TensorFlow中训练Boosted Trees模型
在使用结构化数据时,诸如梯度提升决策树和随机森林之类的树集合方法是最流行和最有效的机器学习工具之一. 树集合方法训练速度快,无需大量调整即可正常工作,并且不需要大型数据集进行训练. 在TensorFl ...

tensorflow只训练指定变量

tensorflow只训练指定变量相关推荐

最新文章

热门文章