0 gpu版本的tensor flow安装

cuda10.2

conda create -n py27 python=2.7
conda activate py27
pip install tensorflow==1.14.0

验证 gpu版本的tensor可用

import tensorflow as tf
print(tf.test.is_gpu_available()) # true 为可用

报错1： Could not dlopen library ‘libcudart.so.10.0’; dlerror: libcudart.so.10.0: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/cuda-11.2/lib64:
解决：安装cudatoolkit

conda install cudatoolkit=10.0

报错1： Could not dlopen library ‘libcudnn.so.7’; dlerror: libcudnn.so.7: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/cuda-11.2/lib64
解决：安装cudnn=7.6.5

conda install cudnn=7.6.5

如果你的模型训练出不了效果，可能的原因太多了，没搞清tf 中各个函数的具体作用可能就是其中一个原因。本文记录【如果不理清，会造成无法解释的训练现象的操作】。

1. tf.control_dependencies(update_ops)

tf.control_dependencies()–保证其作用域内的操作必须要在该函数所传递的参数中的操作完成后再进行。如下Code Demo,只有在update_ops 操作完成后，才会执行optimizer.minimize(loss)。
tf.GraphKeys.UPDATE_OPS–tensorflow计算图中内置的一个集合，通过 tf.get_collection获取这个集合。其中会保存一些需要在训练操作之前完成的操作。例如： batch normalization 均值和方差的更新。

Code Demo

  update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)with tf.control_dependencies(update_ops):train_op = optimizer.minimize(loss)

参考文献：
1.tensorflow中的batch_norm以及tf.control_dependencies和tf.GraphKeys.UPDATE_OPS的探究
2.tf.get_collection(tf.GraphKeys.UPDATE_OPS)

TensorFlow(3)-与训练相关的操作相关推荐

程序如何在两个gpu卡上并行运行_深度学习分布式训练相关介绍 - Part 1 多GPU训练...
本篇文章主要是对深度学习中运用多GPU进行训练的一些基本的知识点进行的一个梳理文章中的内容都是经过认真地分析,并且尽量做到有所考证抛砖引玉,希望可以给大家有更多的启发,并能有所收获介绍大多数时 ...
[翻译] 使用 TensorFlow 进行分布式训练
[翻译] 使用 TensorFlow 进行分布式训练文章目录 [翻译] 使用 TensorFlow 进行分布式训练 0x00 摘要 1. 概述 2. 策略类型 2.1 MirroredStrateg ...
tensorflow2caffe(3) : 如何将tensorflow框架下训练得到的权重转化为caffe框架下的权重参数
版权声明:本文为博主原创文章,转载时请附加博文链接. https://blog.csdn.net/jiongnima/article/details/78382972 在前两期专栏tensorflow ...
tensorflow2caffe(1) : 如何将tensorflow框架下训练得到的权重转化为caffe框架下的权重参数
在前两期专栏tensorflow2caffe(1)和tensorflow2caffe(2)中,笔者向大家介绍了caffemodel文件类型下的参数架构和如何取出tensorflow框架下训练参数.在本 ...
Tensorflow版yolov3训练自己的数据
Tensorflow版yolov3训练自己的数据源代码:https://github.com/YunYang1994/TensorFlow2.0-Examples/tree/master/4-Obj ...
win下使用TensorFlow object detection训练自己模型
win下使用TensorFlow object detection训练自己模型 1. 环境 2.xml生成csv文件,再生成record文件 2.1 对训练文件和测试文件都使用以下两个文件分别生成自己 ...
Linux中和文件相关的操作
Linux中和文件(/文件夹)相关的操作 1. 文件:删除.复制.移动.创建链接 2. 文件的解压和压缩 3. 文件:列举查看.大小查看.个数统计 3.1 `ls`:文件列举查看 3.2 `ls. ...
语义匹配（一）【NLP论文复现】Sentence-BERT 句子语义匹配模型的tensorflow实现以及训练Trick
Sentence-BERT 句子语义匹配模型的tensorflow实现以及训练trick 论文模型回顾建模与训练模型代码部分数据处理训练模型训练Trick trick1 warm up 代码 ...
Boost:与gz文件相关的操作实例
Boost:与gz文件相关的操作实例实现功能 C++实现代码实现功能与gz文件相关的操作实例,打开,关闭,读写. C++实现代码 #include "zstream.h" # ...

TensorFlow(3)-与训练相关的操作

与训练相关的操作

0 gpu版本的tensor flow安装

1. tf.control_dependencies(update_ops)

TensorFlow(3)-与训练相关的操作相关推荐

最新文章

热门文章