神经网络为什么需要随机初始化模型参数

在神经网络中，通常需要随机初始化模型参数。下面解释一下这样做的原因。

设有一个多层感知机模型，假设输出层只保留一个输出单元o1o_1o1，且隐藏层使用相同的激活函数。如果将每个隐藏单元的参数都初始化为相等的值，那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值，并传递至输出层。

在反向传播中，每个隐藏单元的参数梯度值相等。因此，这些参数在使用基于梯度的优化算法迭代后值依然相等。之后的迭代也是如此。在这种情况下，无论隐藏单元有多少，隐藏层本质上只有一个隐藏单元在发挥作用。

因此，通常对神经网络的模型参数，特别是权重参数进行随机初始化。随机初始化模型参数的方法有很多，可以使用正态分布的随机初始化方式。

还有一种比较常用的随机初始化方法叫做Xavier随机初始化。假设某全连接层的输入个数为a，输出个数为b，Xavier随机初始化将使该层中权重参数的每个元素都随机采样于均匀分布U(−6a+b,6a+b)U(-\sqrt{\frac{6}{a+b}},\sqrt{\frac{6}{a+b}})U(−a+b6,a+b6)它的设计主要考虑到，模型参数初始化后，每层输出的方差不该受该层输入个数影响，且每层梯度的方差也不该受该层输出个数影响。

神经网络为什么需要随机初始化模型参数相关推荐

访问模型参数，初始化模型参数，共享模型参数方法
一. 访问模型参数对于使用Sequential类构造的神经网络,我们可以通过方括号[]来访问网络的任一层.回忆一下上一节中提到的Sequential类与Block类的继承关系. 对于Sequenti ...
初始化模型参数 python_pytorch 网络参数 weight bias 初始化详解_python_脚本之家
权重初始化对于训练神经网络至关重要,好的初始化权重可以有效的避免梯度消失等问题的发生. 在pytorch的使用过程中有几种权重初始化的方法供大家参考. 注意:第一种方法不推荐.尽量使用后两种方法. # ...
sklearn随机森林模型参数解释
n_estimators 随机森林决策树的数目,n_estimators越大越好,但占用的内存与训练和预测的时间也会相应增长,且边际效益是递减的,所以要在可承受的内存/时间内选取尽可能大的n_es ...
在真实数据集上的随机森林模型参数调优
向AI转型的程序员都关注了这个号
[pytorch、学习] - 4.2 模型参数的访问、初始化和共享
参考 4.2 模型参数的访问.初始化和共享在3.3节(线性回归的简洁实现)中,我们通过init模块来初始化模型的参数.我们也介绍了访问模型参数的简单方法.本节将深入讲解如何访问和初始化模型参数,以及 ...
（pytorch-深度学习系列）模型参数的初始化与访问操作-学习笔记
模型参数的初始化与访问操作学习如何初始化以及访问模型参数,以及如何在多层之间共享模型参数首先定义一个含有单个隐藏层的多层感知机,使用默认方式初始化该模型的参数,并且进行一次前向计算: impor ...
吴恩达深度学习 —— 3.11 随机初始化
当你训练神经网络的时候,随机初始化权重非常重要,对于逻辑回归,可以将权重初始化为零,但如果将神经网络的各参数数组全部初始化为0,再使用梯度下降算法那会完全无效,让我们看看是什么原因. 如上图,神经网络 ...
MXNET：深度学习计算-模型参数
我们将深入讲解模型参数的访问和初始化,以及如何在多个层之间共享同一份参数. 之前我们一直在使用默认的初始函数,net.initialize(). from mxnet import init, nd ...
神经网络的模型参数调优的方法有哪些
神经网络参数如何确定神经网络各个网络参数设定原则:①.网络节点网络输入层神经元节点数就是系统的特征因子(自变量)个数,输出层神经元节点数就是系统目标个数.隐层节点选按经验选取,一般设为输入层节点 ...

神经网络为什么需要随机初始化模型参数

神经网络为什么需要随机初始化模型参数相关推荐

最新文章

热门文章