神经网络不收敛的 11 个原因，加实践感悟

如果有说法不妥的，还望在评论区留言指点，切磋交流，十分感谢!

网上有朋友的博客：https://blog.csdn.net/lc013/article/details/116401778

列举了神经网络不收敛的 11 个原因及其解决办法

如果你的神经网络不收敛，应该怎么办呢？一般来说，神经网络不收敛的原因有以下 11 种原因：

忘记对你的数据进行归一化
忘记检查输出结果
没有对数据进行预处理
没有使用任何的正则化方法
使用了一个太大的 batch size
使用一个错误的学习率
在最后一层使用错误的激活函数
网络包含坏的梯度
网络权重没有正确的初始化
使用了一个太深的神经网络
隐藏层神经元数量设置不正确

接下来将一一解释以上11 种原因并给出对应的解决办法；

1. 忘记对你的数据进行归一化

问题描述

在神经网络训练中，如何对你的数据进行归一化是非常重要的。这是一个不能省略的步骤，几乎不可能在不进行归一化的前提下可以训练得到一个很好的网络模型。不过正因为这个步骤非常重要，而且在深度学习社区也很有名，所以很少人会提到它，但是对于初学者则是可能会犯下的一个错误。

原因

我们需要对数据进行归一化操作的原因

神经网络不收敛的 11 个原因，加实践感悟相关推荐

神经网络不收敛的 11 个原因及其解决办法
原文:http://theorangeduck.com/page/neural-network-not-working 原文标题:My Neural Network isn't working! Wh ...
深度学习（18）神经网络与全连接层一: 数据加载
深度学习(18)神经网络与全连接层一: 数据加载 1. 常用数据集 2. MNIST数据集 (1) MNIST样本 (2) MNIST加载案例 3. CIFAR10/100 (1) CIFAR10/1 ...
triplet loss后面不收敛_你的神经网络真的收敛了么？
1.为什么小模型的作为backbone效果会差? 在深度学习目标检测(图像分割)领域,我们发现当我们使用层数越深,并且在imagenet上表现越好的分类网络作为backbone时,它的检测和分割效果越 ...
神经网络不收敛的查缺补漏
数据归一化数据归一化包括三个内容:数据缩放的本质.区别,以及选择合适的缩放方法.缩放包括归一化和标准化,两者的本质都是一个线性变换,线性变换有很多良好的性质,这些性质决定了为什么对数据进行改变后竟然 ...
java pkcs#11读取证书加解密（初学-分享）
java pkcs#11读取证书加解密(初学-分享) http://www.cnblogs.com/sunfb/archive/2013/02/28/2937227.html 插入USB-KEY, 想 ...
JVM（Java SE 11版本）加载类和接口
本文介绍了Java虚拟机(Java SE 11版本)加载类和接口. 加载类和接口加载是指查找具有特定名称的类或接口类型的二进制形式的过程.典型的做法是,查找事先由Java编译器从源代码计算而来二进制 ...
神经网络测试集loss不下降_代码实践 | 全连接神经网络回归---房价预测
学习目录阿力阿哩哩:深度学习 | 学习目录zhuanlan.zhihu.com 前面我们介绍了: 阿力阿哩哩:深度学习开端|全连接神经网络zhuanlan.zhihu.com 4.7代码实践 & ...
梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？
文 | Summer Clover@知乎本文已获作者授权,禁止二次转载这是Deep Learning Theory里很基本也很核心的一个问题. 在这个问题上,初学者容易被入门教学误导,非此研究方向 ...
神经网络_训练loss不下降原因集合
一,train loss与test loss结果分析 train loss 不断下降,test loss不断下降,说明网络仍在学习; train loss 不断下降,test loss趋于不变,说明网 ...

神经网络不收敛的 11 个原因，加实践感悟

1. 忘记对你的数据进行归一化

问题描述

原因

神经网络不收敛的 11 个原因，加实践感悟相关推荐

最新文章

热门文章