trian和val结果相差很大。

我说的是如果你含有BN层的话，有些人选择把BN层去掉之后，发现trian和val相差不大了。

存在的问题：对训练集 accuracy可达0.99 loss=1e-2 -3，然而验证集 accuracy 0.5，loss 很高，试了多个初始学习率（0.1 — 0.0001）都不行

解决上述问题： 采取warm up方法，对上述问题有点帮助,或者换成SN层，但是显存会增大很多。

训练resnet，由于不finetune，很容易过拟合，paper《Deep Residual Learning for Image Recognition》中对cifar10的实验用了一个trick是 warm up（热身），就是先采用小的学习率（0.01）进行训练，训练了400iterations之后将学习率调整至0.1开始正式训练。

一开始不以为然，我分别用了四个初始学习率 lr=0.1; 0.01; 0.001; 0.0001; 然后每1000个iterations就降低一次lr。然而这四种初始学习率都试过之后，发现，验证集的accuracy怎么都上不去，都是0.5~0.6之间，而训练集的可以到0.99。而resnet采用了batch normalization,在caffe中，batch normalization 就有一个“坑”，就是use_global_stats 的设置问题。training时候是关闭，testing的时候是要打开，deploy也是要打开的。
对于训练集accuracy达0.99，验证集accuracy是0.5+的情况，我以为是batch normalization出问题，于是乎各种捣鼓BN去了，最后试了一下warm up，网络在验证集的loss才有所下降。

trian和val结果相差很大。相关推荐

疑问：undistortPoints()与remap()畸变校正后，结果相差很大
最近在做图像点畸变校正相关的项目,发现OpenCV中的校正函数:undistortPoints()与remap()二者矫正畸变后,结果相差很大,原因不明,这里记录下来,如有大神知其中差异,请赐教,感激 ...
本人有一个60G的金士顿的固态硬盘，测了4K分区对齐前后的区别，发现性能相差很大...
本人有一个60G的金士顿的固态硬盘,测了4K分区对齐前后的区别,发现性能相差很大,不说了,先上图,软件优化和测分软件在下边,有下载的网址: 先上没有4K分区对齐的跑分注意下图中 31k- BAD, ...
kaggle提交前预估本地cv和LB上的score是否相差很大
有的时候如果因为代码误操作,导致提交后的score特别低,那么贸然提交,就会浪费一次提交机会. 那么,如何预判将要提交的submission.csv是否靠谱呢? 我碰到过这样的情况: 就稍微改了人家的 ...
matlab神经网络每次相差大,GA-BP网络为什么每次训练的结果相差很大呢？
代码贴上来了 function [tsp mint maxt net]=GABPNET(XX,YY,YJ,SCC) %XX输入的训练样本与测试样本 %YY训练样本输出值 %YJ隐层节点数 %SCC输出 ...
oracle dba segments,oracle resize报错，dba_segments与dba_data_files中相差很大
1.当dba_segments读取到某个空间占用900M时,但是dba_data_files读取到某个空间占300G 2.此时可以move table,rebulid解决 3.如果还是不一致时,可能 ...
罗技魏文杰：入门级市场有很大需求
2010年09月13日 18:13 新浪数码 2010年9月8日,罗技在北京召开了新款高清摄像头产品体验会.会上,罗技推出的六款摄像头产品:C910,C510,C310,C270,C210,C16 ...
AC自动机解决字符集很大的情况(可持久化数组优化getfail的过程)
今天遇到了一个问题,那就是如果 ACACAC 自动机的字符集很大该怎么办?比如改成 1e51e51e5 该怎么办呢? 例如下题: 题目来源转自(侵权删):点击查看先不考虑解法,肯定是需要用 ACAC ...
前后落差大用什么词语_形容落差很大的成语_四字词语 - 成梦词典
黯然失色成语释义:黯然:心里不舒服.情绪低落的样子:失色:因惊恐而变以脸色.本指心怀不好,脸色难看.后多比喻相形之下很有差距,远远不如. 黯然伤神成语释义:沮丧的样子.情绪低沉,心神忧伤. 黯然神 ...
python 基础信息量很大很好，适合复习
Python Code snippet - Keosu - 博客园 Python Code snippet (1)函数默认参数 def foo3 (i, L=[]): if len(L)==0 ...

trian和val结果相差很大。

trian和val结果相差很大。相关推荐

最新文章

热门文章