关于bn层的进一步认识

前几天yy 用resnet_152 fintuing 他的网络出现的问题：

fine-tuning resnet-152 遇到问题：在设置BN层参数use_global_stats的时候，训练时应该为false（滑动均值与方差）,测试时应该为true（全局均值与方差）。
现在我的问题是train的时候设为false，test设为true，测试的误差跟训练误差不在一个数量级上（很大），

若测试的时候设为false,则测试误差较小（其实也很大，但至少跟训练误差在一个数量级上）

更详细的信息:

trian 的时候收敛的很好train的loss降到0.1 如果测试的时候use_global_stats =true 那么test 的loss 位6.9

trian 的时候收敛的很好train的loss降到0.1 如果测试的时候use_global_stats =false 那么test 的loss 为0.5

群里大牛给的答案：

batchsize 太小了。

由原来的batchsize 为35 ---〉140 果断就没有这个问题了

关于bn层的进一步认识相关推荐

狠补基础-数学+算法角度讲解卷积层,激活函数,池化层,Dropout层,BN层,全链接层
狠补基础-数学+算法角度讲解卷积层,激活函数,池化层,Dropout层,BN层,全链接层在这篇文章中您将会从数学和算法两个角度去重新温习一下卷积层,激活函数,池化层,Dropout层,BN层,全链接 ...
网络骨架：Backbone(神经网络基本组成——BN层、全连接层)
BN层为了追求更高的性能,卷积网络被设计得越来越深,然而网络却变得难以训练收敛与调参.原因在于,浅层参数的微弱变化经过多层线性变化与激活函数后会被放大,改变了每一层的输入分布,造成深层的网络需要不断 ...
tensorflow中的BN层实现
import tensorflow as tf import numpy as np import matplotlib.pyplot as plt from tensorflow.keras imp ...
Interview：算法岗位面试—上海某科技公司算法岗位(偏AI算法，国企)技术面试之BN层的认知、BP的推导、GD优化的几种改进等
Interview:算法岗位面试-上海某科技公司算法岗位(偏AI算法,国企)技术面试之BN层的认知.BP的推导.GD优化的几种改进等导读:关于神经网络,问的比较深,因为博主做过总结,所以用自己的语言 ...
DL之DNN优化技术：自定义MultiLayerNetExtend算法(BN层使用/不使用+权重初始值不同)对Mnist数据集训练评估学习过程
DL之DNN优化技术:自定义MultiLayerNetExtend算法(BN层使用/不使用+权重初始值不同)对Mnist数据集训练评估学习过程目录输出结果设计思路核心代码更多输出相关文章: ...
batch_normalization (bn)层以及实际使用中合并bn层
参考: bn层原理: https://blog.csdn.net/hjimce/article/details/50866313 合并bn层: https://blog.csdn.net/kangdi ...
合并BN层到卷积层的原理及实验
1. 为什么要合并BN层在训练深度网络模型时,BN(Batch Normalization)层能够加速网络收敛,并且能够控制过拟合,一般放在卷积层之后.BN 层将数据归一化后,能够有效解决梯度消失 ...
caffe中的batchNorm层（caffe 中为什么bn层要和scale层一起使用）
caffe中的batchNorm层链接: http://blog.csdn.net/wfei101/article/details/78449680 caffe 中为什么bn层要和scale层一起使 ...
Pytorch中BN层入门思想及实现
批归一化层-BN层(Batch Normalization) 作用及影响: 直接作用:对输入BN层的张量进行数值归一化,使其成为均值为零,方差为一的张量. 带来影响: 1.使得网络更加稳定,结果不容易 ...

关于bn层的进一步认识

关于bn层的进一步认识相关推荐

最新文章

热门文章