tensorflow.GraphDef was modified concurrently during serialization

在超级参数不变的情况下，训练到390次再保存时，出现如下错误：

CHECK failed: (byte_size_before_serialization) == (byte_size_after_serialization): tensorflow.GraphDef was modified concurrently during serialization

网上搜索：原因是变量大多了，即saver存储的东西太大，超过了限制；

一路摸索，一路前进，几乎放弃的时候，通过对比前一版本的代码，主体思路多了个mask_noise时，就想到了，这个在每次迭代的时候都会新建个节点，如图所示：

所以在这个地方每次迭代就会新建节点；所以saver存储的东西就越来越大；因为这个函数里面涉及到了tf张量和节点；即全局变量；

把这个往外移，然后再运行就完全没问题；容量也没有那么大；原来训练390次就10个G，现在只有5个G；

结论：在训练迭代时，就不能再新建任何变量和节点；tf的语句，每次执行都会新生成变量和节点；就会非常占据空间和容量；随着训练次数的增加，训练速度就会越来越慢；

tensorflow.GraphDef was modified concurrently during serialization相关推荐

TensorFlow神经网络集成方案
TensorFlow神经网络集成方案创造张力流create_tensorflow_neuropod 将TensorFlow模型打包为neuropod包. create_tensorflow_neur ...
Tensorflow::Session 释放内存
使用tensorflow::Session是要释放的,否则循环起来,崩溃到怀疑人生. 方法一: 使用Close() tensorflow::Session * session;tensorflow:: ...
Tensorflow C++ 编译和调用图模型
简介最近在研究如何打通tensorflow线下 python 的脚本训练建模, 利用freeze_graph工具输出.pb图文件,之后再线上生产环境用C++代码直接调用预先训练好的模型完成预测的工作 ...
用C++调用tensorflow在python下训练好的模型(centos7)
本文主要参考博客https://blog.csdn.net/luoyexuge/article/details/80399265 [1] bazel安装参考:https://blog.csdn.ne ...
TensorFlow教程之API DOC 6.1.4 Class tensorflow::Session
本文档为TensorFlow参考文档,本转载已得到TensorFlow中文社区授权. Class tensorflow::Session A Session instance lets a calle ...
win10 + bazel-0.20.0 + tensorflow-1.13.1 编译tensorflow GPU版本的C++库
win10 + bazel-0.20.0 + tensorflow-1.13.1 编译tensorflow GPU版本的C++库安装所需软件/库 Step1. 安装vs2015,CUDA 10.0和 ...
tensorflow随笔——C++工程化
本文主要描述如何基于Tensroflow从线下训练到线上预测的整个流程.主要包括以下几步: 使用Python接口搭建模型训练参数并固化成pb文件使用Bazel编译Tensorflow源码得到tens ...
TensorFlow技术内幕（七）：模型优化之XLA（上）
本章中我们分析一下TensorFlow的XLA(Accelerated Linear Algebra 加速线性代数)的内核实现.代码位置在tensorflow/compiler. XLA 在XLA技术 ...
python 基础知识之（numpy、pandas、matplotlib、tensorflow）
1.Numpy库: 参考网页 1.1创建Numpy变量创建一个 ndarray 只需调用 NumPy 的 array 函数即可:numpy.array(object, dtype = None, c ...

tensorflow.GraphDef was modified concurrently during serialization

tensorflow.GraphDef was modified concurrently during serialization相关推荐

最新文章

热门文章