开了batch_norm，训练集acc很高，而测试集acc很低怎么解决

因为batch_norm的两个平移缩放参数在训练的时候没有更新，需要手动更新一下

step = tf.get_variable("step", [], initializer=tf.constant_initializer(0.0), trainable=False)

optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.2)

train_step = slim.learning.create_train_op(cross_entropy, optimizer, global_step=step)

update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)

if update_ops:

print("BN parameters: ", update_ops)

updates = tf.group(*update_ops)

train_step = control_flow_ops.with_dependencies([updates], train_step)

https://github.com/soloice/mnist-bn/blob/master/mnist_bn.py

开了batch_norm，训练集acc很高，而测试集acc很低怎么解决相关推荐

pytorch实现图像分类，训练集准确率很高，测试集准确率总是很低
在使用pytorch运行图像分类的代码的时候,发现测试集准确率总是只有30%左右, 但是训练集准确率基本可以达到80%以上,那么存在的问题可能是一下几个方面导致的: 1.学习率设置得太高,可以尽量将学 ...
Nomad集群自身高可用测试
目录 Nomad集群自身高可用测试 1.搭建nomad集群 2.测试driver=docker 3.测试driver=raw_exec Nomad集群自身高可用测试 1.搭建nomad集群本测试 ...
Carsim和simulink联合仿真轮胎力估计基于滑模观测器SMO估计轮胎的纵向力和侧向力模型估计的精度很高，测试的工况为双移线工况
Carsim和simulink联合仿真轮胎力估计基于滑模观测器SMO估计轮胎的纵向力和侧向力模型估计的精度很高,测试的工况为双移线工况基于SMO滑模观测器的轮胎力估计方法省去了轮胎模型的使用,避 ...
训练集准确率很高，验证集准确率低问题
训练集在训练过程中,loss稳步下降,准确率上升,最后能达到97% 验证集准确率没有升高,一直维持在50%左右(二分类问题,随机概率) 测试集准确率57% 在网上搜索可能打的原因: 1.learnin ...
使用resnet， inception3进行fine-tune出现训练集准确率很高但验证集很低的问题
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx 最近用keras跑基于resnet50,inception3的一些迁移学习的实验,遇到一些问题 ...
【已解决】使用keras对resnet， inception3进行fine-tune出现训练集准确率很高但验证集很低的问题（BN）
最近用keras跑基于resnet50,inception3的一些迁移学习的实验,遇到一些问题.通过查看github和博客发现是由于BN层导致的,国外已经有人总结并提了一个PR(虽然并没有被merge ...
SVM 训练--在训练集上acc为94% 在测试集上为70%
用SVM 训练的时候: 出现的问题是: Error: specified nu is infeasible 带有下标的赋值维度不匹配. 百度到的答案:赋值维度不匹配...说明等号两边的大小不一致,导致 ...
训练集损失值loss、测试集val_loss、验证集loss相关问题总结
loss是训练集的损失值,val_loss是测试集的损失值如何判断模型是否可以继续训练?(或者说好坏) 以下是loss与val_loss的变化反映出训练走向的规律总结: train loss 不断下 ...
[深度学习-实践]Tensorflow 2.x应用ResNet SeNet网络训练cifar10数据集的模型在测试集上准确率 86%-87%，含完整代码
环境 tensorflow 2.1 最好用GPU Cifar10数据集 CIFAR-10 数据集的分类是机器学习中一个公开的基准测试问题.任务的目标对一组32x32 RGB的图像进行分类,这个数据集涵 ...
在数据中随机抽取一定比例的数据为训练集，剩下的为测试集的小方法
在进行常见机器学习任务中,我们经常会随机抽取一定比例的数据为训练集,而剩下的为测试集.一般情况下都比较繁琐,所以看了其他的博客之后,准备了一个小函数实现这个功能. EG: def getRandomI ...

开了batch_norm，训练集acc很高，而测试集acc很低怎么解决

开了batch_norm，训练集acc很高，而测试集acc很低怎么解决相关推荐

最新文章

热门文章