关于神经网络训练的一些建议笔记

关于网络训练时的参考建议：

1.train loss不断下降，test loss不断下降，网络正在学习

2.train loss不断下降，test loss趋于不变，网络过拟合，需要增大数据；减小网络规模dropout；权重衰减或正则化L2等

3.train loss趋于不变，test loss趋于不变，遇到瓶颈，需要减少学习率和批处理大小

4.train loss趋于不变，test loss不断下降，数据集100%有问题

5.train loss不断上升，test loss不断上升，可能网络结构设计不当，超参设置不当，bug等

6.train loss不断上下跳动，可能学习率过大或批处理太小

7.batchnorm：如果每个batch输入的数据都具有不同的分布，会给网络的训练带来困难，数据经过一层层网络计算后，数据分布

也会发生变化，此现象称为 internal covariate shift(内部协变量漂移)，之前的解决方法是：较小的学习率；小心的初始化参数；数据白化处理

internal：发生在网络内部

covariate shift：发生在输入层

让每个隐层节点的激活输入分布固定下来，这样就避免internal covariate shift

8.偏差：模型结果和实际结果的偏离程序

9.方差：模型结果围绕着实际结果波动的程度

10.偏差大：不了解数据和数据形态；增加维度，如多项式、高阶项，减少正则参数

11.方差大：波动(可能来自无关紧要的离群值)、不收敛、模型没有找到数据变换的节奏、提供的数据变化不丰富；增加样本，减少特征集合size、增大正则参数

转载于:https://www.cnblogs.com/little-horse/p/10590830.html

关于神经网络训练的一些建议笔记相关推荐

python自训练神经网络_tensorflow学习笔记之简单的神经网络训练和测试
本文实例为大家分享了用简单的神经网络来训练和测试的具体代码,供大家参考,具体内容如下刚开始学习tf时,我们从简单的地方开始.卷积神经网络(CNN)是由简单的神经网络(NN)发展而来的,因此,我们的第 ...
CV学习笔记-BP神经网络训练实例（含详细计算过程与公式推导）
BP神经网络训练实例 1. BP神经网络关于BP神经网络在我的上一篇博客<CV学习笔记-推理和训练>中已有介绍,在此不做赘述.本篇中涉及的一些关于BP神经网络的概念与基础知识均在< ...
机器学习笔记 - 加速神经网络训练的 7 个技巧
更快地训练神经网络是深度学习的重要因素之一.我们通常发现神经网络的这些困难在于其复杂的架构和使用的大量参数.随着数据量.网络和权重的增加,模型的训练时间也会增加,这对建模者和从业者来说都是不利的.在本 ...
全卷积神经网络（FCN）论文笔记
全卷积神经网络(FCN)论文笔记 Fully Convolutional Networks for Semantic Segmentation Abstract 卷积网络是一种功能强大的视觉模型,可以 ...
parallels desktop网络初始化失败_秘籍在手，训练不愁！特斯拉AI负责人Karpathy的超全神经网络训练套路...
大数据文摘出品编译:周素云.宋欣仪.熊琰.ZoeY.顾晨波训练神经网络到底有诀窍和套路吗? Andrej Karpathy认为,还的确有. 这位特斯拉的人工智能研究负责人.李飞飞的斯坦福高徒刚刚难 ...
一文让你掌握神经网络训练技巧
神经网络训练是一个非常复杂的过程,在这过程中,许多变量之间相互影响,因此我们研究者在这过程中,很难搞清楚这些变量是如何影响神经网络的.而本文给出的众多tips就是让大家,在神经网络训练过程中,更加简单 ...
神经网络训练中的Tricks之高效BP（反向传播算法）
神经网络训练中的Tricks之高效BP(反向传播算法) zouxy09@qq.com http://blog.csdn.net/zouxy09 Tricks!这是一个让人听了充满神秘和好奇的词.对于我 ...
深入浅出图神经网络|GNN原理解析☄学习笔记（四）表示学习
深入浅出图神经网络|GNN原理解析☄学习笔记(四)表示学习文章目录深入浅出图神经网络|GNN原理解析☄学习笔记(四)表示学习表示学习表示学习的意义离散表示与分布式表示端到端学习基于重构损 ...
神经网络的三种训练方法,神经网络训练过程详解
如何训练神经网络 1.先别着急写代码训练神经网络前,别管代码,先从预处理数据集开始.我们先花几个小时的时间,了解数据的分布并找出其中的规律. Andrej有一次在整理数据时发现了重复的样本,还有一次发 ...

关于神经网络训练的一些建议笔记

关于神经网络训练的一些建议笔记相关推荐

最新文章

热门文章