tf.control_dependecies()

tf.control_dependencies是tensorflow中的一个flow顺序控制机制，作用有二：插入依赖（dependencies）和清空依赖（依赖是op或tensor）。常见的tf.control_dependencies是tf.Graph.control_dependencies的装饰器，它们用法是一样的。通过本文，你将了解：

了解control_dependencies()的顺序控制机制
tf.control_dependencies()在batch normalization中的使用示例
control_dependencies()两种不正确的使用方式

control_dependencies介绍

tf.control_dependencies()有一个参数control_inputs（这是一个列表，列表中可以是Operation或Tensor对象），返回一个上下文管理器（通常与with一起使用）。

例1

with tf.control_dependencies([a, b, c]):d = ...e = ...

session在运行d、e之前会先运行a、b、c。在with tf.control_dependencies之内的代码块受到顺序控制机制的影响。

例2

with tf.control_dependencies([a, b]):with tf.control_dependencies([c, d]):e = ...

session在运行e之前会先运行a、b、c、d。因为依赖会随着with tf.control_dependencies的嵌套一直继承下去。

例3

with tf.control_dependencies([a, b]):with tf.control_dependencies(None):  # 第二层上下文管理器with tf.control_dependencies([c, d]):e = ...

session在运行e之前会先运行c、d，不需要运行a、b。因为在第二层的上下文管理器中，参数control_inputs的值为None，如此将会清除之前所有的依赖。

在BN中的使用

tf.layers.batch_normalization()中用到的变量——当前估计的均值和方差是untrainable的，它们通过每个batch的均值和标准差的移动平均更新值，位于collection——tf.GraphKeys.UPDATE_OPS中。因此，需要在每一轮迭代前插入这个操作：

with tf.control_dependencies(tf.get_collection(tf.GraphKeys.UPDATE_OPS)):train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(cross_entropy)

这样，在每次迭代调用train_step之前都会先当前batch下的均值和方差的移动平均值。

几种不正确的使用方式

例1

op或tensor在流图中的顺序由它们的创建位置决定。

# 不正确
def my_func(pred, tensor):t = tf.matmul(tensor, tensor)with tf.control_dependencies([pred]):# matmul op的定义在context之外，context内只有一个op或tensor不能继承依赖。return t# 应改为
def my_func(pred, tensor):with tf.control_dependencies([pred]):# 应将t的创建放到context之内t = tf.matmul(tensor, tensor)return t

例2

tensorflow在求导过程中自动忽略常数项。

# 不正确
loss = model.loss()
with tf.control_dependencies(dependencies):loss = loss + tf.constant(1)
return tf.gradients(loss, model.variables)

因为常数项tf.constant(1)在back propagation时被忽略了，所以依赖性在BP的时候也不会被执行。

例3

w = tf.Variable(1.0)
ema = tf.train.ExponentialMovingAverage(0.9)
update = tf.assign_add(w, 1.0)ema_op = ema.apply([update])
with tf.control_dependencies([ema_op]):ema_val = ema.average(update)with tf.Session() as sess:tf.global_variables_initializer().run()for i in range(3):print(sess.run([ema_val]))# 应改为
with tf.control_dependencies([ema_op]):ema_val = tf.identity(ema.average(update))  # 加一个identity

看起来好像是在运行ema_val之前先执行ema_op，实际不然。因为ema.average(update)不是一个op，它只是从ema对象的一个字典中取出键对应的tensor`而已。这个清空跟上文例一很像。

例4

import tensorflow as tf
w = tf.Variable(1.0)
ema = tf.train.ExponentialMovingAverage(0.9)
update = tf.assign_add(w, 1.0)ema_op = ema.apply([update])
with tf.control_dependencies([ema_op]):w1 = tf.Variable(2.0)ema_val = ema.average(update)with tf.Session() as sess:tf.global_variables_initializer().run()for i in range(3):print(sess.run([ema_val, w1]))

这种情况下，control_dependencies也不工作，原因如下：

#这段代码出现在Variable类定义文件中第287行，
# 在创建Varible时，tensorflow是移除了dependencies了的
#所以会出现 control 不住的情况
with ops.control_dependencies(None):...

转自：

https://blog.csdn.net/hustqb/article/details/83545310

tensorflow之control_dependencies相关推荐

tensorflow学习笔记：tf.control_dependencies，tf.GraphKeys.UPDATE_OPS，tf.get_collection
tf.control_dependencies(control_inputs): control_dependencies(control_inputs) ARGS: control_inputs:在 ...
【转】tensorflow中的batch_norm以及tf.control_dependencies和tf.GraphKeys.UPDATE_OPS的探究
笔者近来在tensorflow中使用batch_norm时,由于事先不熟悉其内部的原理,因此将其错误使用,从而出现了结果与预想不一致的结果.事后对其进行了一定的调查与研究,在此进行一些总结. 一.错误 ...
TensorFlow算子融合
TensorFlow算子融合 • TensorFlow的特点: o 真正的可移植性 o 引入各种计算设备的支持,包括CPU,GPU,以及能够很好的运行在各种系统的移动端 o 多语言支持 o 支持C++ ...
TensorFlow学习笔记——实现经典LeNet5模型
TensorFlow实现LeNet-5模型文章目录 TensorFlow实现LeNet-5模型前言一.什么是TensorFlow? 计算图 Session 二.什么是LeNet-5? INPUT ...
使用自己的数据集训练MobileNet、ResNet实现图像分类（TensorFlow）| CSDN博文精选
作者 | pan_jinquan 来源 | CSDN博文精选之前写了一篇博客<使用自己的数据集训练GoogLenet InceptionNet V1 V2 V3模型(TensorFlow)&g ...
TensorFlow练习16: 根据大脸判断性别和年龄
本帖使用TensorFlow做一个根据脸部推断照片人物年龄和性别的练习,网上有很多类似app. 训练数据 – Adience数据集 Adience数据集来源为Flickr相册,由用户使用iPhone或 ...
TensorFlow练习24: GANs-生成对抗网络 (生成明星脸)
GANs是Generative Adversarial Networks的简写,中文翻译为生成对抗网络,它最早出现在2014年Goodfellow发表的论文中:Generative Adversari ...
使用Tensorflow实现残差网络ResNet-50
这篇文章讲解的是使用Tensorflow实现残差网络resnet-50. 侧重点不在于理论部分,而是在于代码实现部分.在github上面已经有其他的开源实现,如果希望直接使用代码运行自己的数据,不建议 ...
Tensorflow BatchNormalization详解：4_使用tf.nn.batch_normalization函数实现Batch Normalization操作...
使用tf.nn.batch_normalization函数实现Batch Normalization操作觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献吴恩达deeplearnin ...

tensorflow之control_dependencies

tf.control_dependecies()

control_dependencies介绍

例1

例2

例3

在BN中的使用

几种不正确的使用方式

例1

例2

例3

例4

tensorflow之control_dependencies相关推荐

最新文章

热门文章