介绍

前段时间在做training的时候，发现网络会有的时候不收敛，于是仔细去查看了网络不收敛的原因，在此做个记录。

网络不收敛的原因

一、数据和标签

需要查看数据分类标注是否准确？数据是否干净？数据库太小一般不会带来不收敛的问题，只要你一直在train总会收敛。反而不收敛一般是由于样本的信息量太大导致网络不足以fit住整个样本空间。样本少只可能带来过拟合的问题。

二、学习率设定不合理

在自己训练新网络时，可以从0.1开始尝试，如果loss不下降的意思，那就降低，除以10，用0.01尝试，一般来说0.01会收敛，不行的话就用0.001. 学习率设置过大，很容易震荡。不过刚刚开始不建议把学习率设置过小，尤其是在训练的开始阶段。

在开始阶段我们不能把学习率设置的太低否则loss不会收敛。我的做法是逐渐尝试，从0.1,0.08,0.06,0.05 …逐渐减小直到正常为止

三、网络设定不合理

如果做很复杂的分类任务，却只用了很浅的网络，可能会导致训练难以收敛，换网络即可(我从yolov2换成了yolov3），或者也可以尝试加深当前网络。

深度学习中网络在训练时不收敛的原因相关推荐

HALCON 21.11：深度学习笔记---网络和训练过程(4)
HALCON 21.11:深度学习笔记---网络和训练过程(4) HALCON 21.11.0.0中,实现了深度学习方法.关于网络和训练过程如下: 在深度学习中,任务是通过网络发送输入图像来执行的.整 ...
深度学习中的随机数种子
深度学习中的随机数种子 seed()函数的作用解释例子1 例子2 深度学习中的随机数种子训练过程测试过程代码随机种子的设定本文参考网络上对于seed函数的讲解,记录一下我对于这个函数作用的 ...
深度学习中，CPU、GPU、NPU、FPGA如何发挥优势？
随着AI的广泛应用,深度学习已成为当前AI研究和运用的主流方式.面对海量数据的并行运算,AI对于算力的要求不断提升,对硬件的运算速度及功耗提出了更高的要求. 目前,除通用CPU外,作为硬件加速的GPU ...
万字长文带你看尽深度学习中的各种卷积网络
来源:AI科技评论摘要:深度学习中的各种卷积网络大家知多少? 深度学习中的各种卷积网络大家知多少?对于那些听说过却又对它们没有特别清晰的认识的小伙伴们,这篇文章非常值得一读.Kunlun Bai 是 ...
经验 | 深度学习中从基础综述、论文笔记到工程经验、训练技巧
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:本文授权转自知乎作者跑者小越,https://zhuanla ...
万字长文带你看尽深度学习中的12种卷积网络
转自 | AI科技评论作者 | Kunlun Bai 深度学习中的各种卷积网络大家知多少?对于那些听说过却又对它们没有特别清晰的认识的小伙伴们,Kunlun Bai 这篇文章非常值得一读.Kunlu ...
深度学习中 Batch Size 对训练过程的影响
作者 | 陈志远编辑丨极市平台之前面试过程中被问到过两个问题: (1)深度学习中batch size的大小对训练过程的影响是什么样的? (2)有些时候不可避免地要用超大batch,比如人脸识别,可 ...
深度学习——从网络威胁情报中收集TTPs
从网络威胁情报中收集TTPs 摘要为啥要用网络威胁情报被动防御 & 主动防御网络威胁情报的概念何为情报(Intelligence)? 何为网络威胁(Cyber Threat)? 何为网 ...
深度学习深度前馈网络_深度学习前馈网络中的讲义第4部分
深度学习深度前馈网络 FAU深度学习讲义 (FAU Lecture Notes in Deep Learning) These are the lecture notes for FAU's YouT ...
深度学习中的生成对抗网络GAN
转载:一文看尽深度学习中的生成对抗网络 | CVHub带你看一看GANs架构发展的8年 (qq.com) 导读生成对抗网络 (Generative Adversarial Networks, GAN ...

深度学习中网络在训练时不收敛的原因

介绍

网络不收敛的原因

一、数据和标签

二、学习率设定不合理

三、网络设定不合理

深度学习中网络在训练时不收敛的原因相关推荐

最新文章

热门文章