深度学习之Loss不下降原因分析篇

Train & Test Loss

train loss 不断下降，test loss不断下降，说明网络仍在学习;
train loss 不断下降，test loss趋于不变，说明网络过拟合;
train loss 趋于不变，test loss不断下降，说明数据集100%有问题;
train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;
train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。

Loss不下降可能原因

数据及数据的预处理出现问题；

数据标签的标注不准确（数据本身有问题）

数据集的label设置有问题（如有的图片的真实label为1，但是却设置成了0）

数据清洗不干净（没有去除较差的数据干扰）；

数据样本本身大小（有时改变训练数据本身的大小可能会影响结果，如图片自身的尺寸）参考；

数据集的数量较多，网络较简单，欠拟合；
学习率设定不合理；

开始可以使用较大的学习率，如0.1，但到网络后期学习率过大，会容易产生震荡，故把学习率调小。如原先使用SGD，可以换用adam

回传梯度方面出现问题；

可能初始化权重比较大，且激活函数为sigmoid，达到两端极致，梯度为0，参数无法更新

可能没有BN层

Loss的的设定是否准确

不同任务，不同Loss

深度学习之Loss不下降原因分析篇相关推荐

深度学习网络不收敛的原因分析总结
很多同学会发现,为什么我训练网络的时候loss一直居高不下或者准确度时高时低,震荡趋势,一会到11,一会又0.1,不收敛. 又不知如何解决,博主总结了自己训练经验和看到的一些方法. 首先你要保证训练的 ...
神经网络_训练loss不下降原因集合
一,train loss与test loss结果分析 train loss 不断下降,test loss不断下降,说明网络仍在学习; train loss 不断下降,test loss趋于不变,说明网 ...
深度学习库 caffe使用源码分析依赖库分析 caffe glog gflags openBlas prototxt yolo_darknet 转 caffe
深度学习库 caffe使用源码分析依赖库分析 caffe glog gflags openBlas 本文github链接 yolo_darknet 转 caffe caffe 安装 Caffe代码 ...
神经网络训练loss不下降原因集合
train loss与test loss结果分析 train loss 不断下降,test loss不断下降,说明网络仍在学习; train loss 不断下降,test loss趋于不变,说明网络过 ...
【深度学习】论文EMO单眼识别分析
[深度学习]论文EMO单眼识别分析文章目录1 研究背景 2 所提方法 3 创新点 4 实验结果 5 结论与思考 1 研究背景情绪是一种心理和生理状态,伴随着认知过程.对情绪的研究已经存在了很长时间 ...
【深度学习】Swin-Transformer和EfficientNet对比分析
[深度学习]Swin-Transformer和EfficientNet对比分析文章目录 1 概述 2 算法解析2.1 Speed2.2 EfficientNet v2算法详解2.3 渐进学习 3 E ...
机器学习中的训练与损失 test and loss （训练loss不下降原因集合）
train loss 不断下降,test loss不断下降,说明网络仍在学习; train loss 不断下降,test loss趋于不变,说明网络过拟合; train loss 趋于不变,test ...
入门 | 一文简述深度学习优化方法——梯度下降
http://www.sohu.com/a/241298990_129720 本文是一篇关于深度学习优化方法--梯度下降的介绍性文章.作者通过长长的博文,简单介绍了梯度下降的概念.优势以及两大挑战.文 ...
深度学习中的双下降现象
2019-12-26 19:21:03 作者:Preetum Nakkiran,Gal Kaplun,Yamini Bansal,Tristan Yang,Boaz Barak,Ilya Sutske ...

深度学习之Loss不下降原因分析篇

Train & Test Loss

Loss不下降可能原因

深度学习之Loss不下降原因分析篇相关推荐

最新文章

热门文章