Tensorflow训练和预测中的BN层的坑（转）-训练和测试差异性巨大

　　以前使用Caffe的时候没注意这个，现在使用预训练模型来动手做时遇到了。在slim中的自带模型中inception, resnet, mobilenet等都自带BN层，这个坑在《实战Google深度学习框架》第二版这本书P166里只是提了一句，没有做出解答。

　　书中说训练时和测试时使用的参数is_training都为True，然后给出了一个链接供参考。本人刚开始使用时也是按照书中的做法没有改动，后来从保存后的checkpoint中加载模型做预测时出了问题：当改变需要预测数据的batchsize时预测的label也跟着变，这意味着checkpoint里面没有保存训练中BN层的参数，使用的BN层参数还是从需要预测的数据中计算而来的。这显然会出问题，当预测的batchsize越大，假如你的预测数据集和训练数据集的分布一致，结果就越接近于训练结果，但如果batchsize=1，那BN层就发挥不了作用，结果很难看。

　　那如果在预测时is_traning=false呢，但BN层的参数没有从训练中保存，那使用的就是随机初始化的参数，结果不堪想象。

　　所以需要在训练时把BN层的参数保存下来，然后在预测时加载，参考几位大佬的博客，有了以下训练时添加的代码：

![复制代码](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg)

 1 update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)2 with tf.control_dependencies(update_ops):3         train_step = tf.train.AdamOptimizer(learning_rate=0.0001).minimize(loss)4 5 # 设置保存模型6 var_list = tf.trainable_variables()7 g_list = tf.global_variables()8 bn_moving_vars = [g for g in g_list if 'moving_mean' in g.name]9 bn_moving_vars += [g for g in g_list if 'moving_variance' in g.name]
10 var_list += bn_moving_vars
11 saver = tf.train.Saver(var_list=var_list, max_to_keep=5)

![复制代码](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg)

这样就可以在预测时从checkpoint文件加载BN层的参数并设置is_training=False。

最后要说的是，虽然这么做可以解决这个问题，但也可以利用预测数据来计算BN层的参数，不是说一定要保存训练时的参数，两种方案可以作为超参数来调节使用，看哪种方法的结果更好。

感谢几位大佬的博客解惑：

　　https://blog.csdn.net/dongjbstrong/article/details/80447110?utm_source=blogxgwz0

　　http://www.cnblogs.com/hrlnw/p/7227447.html

Tensorflow训练和预测中的BN层的坑（转）-训练和测试差异性巨大相关推荐

Tensorflow训练和预测中的BN层的坑（转载）
以前使用Caffe的时候没注意这个,现在使用预训练模型来动手做时遇到了.在slim中的自带模型中inception, resnet, mobilenet等都自带BN层,这个坑在<实战Google ...
caffe中的batchNorm层（caffe 中为什么bn层要和scale层一起使用）
caffe中的batchNorm层链接: http://blog.csdn.net/wfei101/article/details/78449680 caffe 中为什么bn层要和scale层一起使 ...
tensorflow中的BN层实现
import tensorflow as tf import numpy as np import matplotlib.pyplot as plt from tensorflow.keras imp ...
模型参数无法更新的原因:训练、预测中加入了print函数
模型参数无法更新的问题排查以及解决注释掉结构的方法排查出错误最终排查进一步排查错误 loss的数值一致??? 进一步排查问题来源:预处理之中的标签处理出现错误!!! 灵感:model.trai ...
pytorch 模型中的bn层一键转化为同步bn(syncbn)
pytorch 将模型中的所有BatchNorm2d layer转换为SyncBatchNorm layer: (单机多卡设置下) import torch.distributed as distdi ...
狠补基础-数学+算法角度讲解卷积层,激活函数,池化层,Dropout层,BN层,全链接层
狠补基础-数学+算法角度讲解卷积层,激活函数,池化层,Dropout层,BN层,全链接层在这篇文章中您将会从数学和算法两个角度去重新温习一下卷积层,激活函数,池化层,Dropout层,BN层,全链接 ...
网络骨架：Backbone(神经网络基本组成——BN层、全连接层)
BN层为了追求更高的性能,卷积网络被设计得越来越深,然而网络却变得难以训练收敛与调参.原因在于,浅层参数的微弱变化经过多层线性变化与激活函数后会被放大,改变了每一层的输入分布,造成深层的网络需要不断 ...
深度学习 | BN层原理浅谈
深度学习 | BN层原理浅谈文章目录深度学习 | BN层原理浅谈一. 背景二. BN层作用三. 计算原理四. 注意事项为什么BN层一般用在线性层和卷积层的后面,而不是放在激活函数后为什 ...
模型压缩（一）通道剪枝-BN层
论文:https://arxiv.org/pdf/1708.06519.pdf BN层中缩放因子γ与卷积层中的每个通道关联起来.在训练过程中对这些比例因子进行稀疏正则化,以自动识别不重要的通道.缩放因 ...

Tensorflow训练和预测中的BN层的坑（转）-训练和测试差异性巨大

Tensorflow训练和预测中的BN层的坑（转）-训练和测试差异性巨大相关推荐

最新文章

热门文章