Xavier参数初始化方法

2024-05-15 02:19:22

目录

1 梯度消失与梯度爆炸

2 Xavier方法

1 梯度消失与梯度爆炸

这是一个深度学习领域遇到的老问题了，即使是现在，任何一个新提出的模型，无论是MLP、CNN、还是RNN，随着深度的加深，这两个问题变得尤为严重。

梯度消失是指在深度学习训练的过程中，梯度随着链式求导逐层传递逐层减小，最后趋近于0，导致对某些层的训练失效；
梯度爆炸与梯度消失相反，梯度随着链式求导逐层传递逐层增大，最后趋于无穷，导致某些层无法收敛；

2 Xavier方法

接下来的推导基于假设:

激活函数在0周围的导数接近1(比如tanh);
偏置项b初始化为0，期望为0
参数初始化期望均为0

Xavier的目的：

在前向传播的时候满足，即对于每一个结点，它的输出的方差都相同；
用梯度反向传播的时候，，，和前向传播时一样希望结点输出的方差都相同；
前后传播的方差都相同

对于神经网络中的layer i，假设它的输入是，激活函数为 f ，满足，经过激活函数后的输出为。

假设在初始化之后，处于激活函数的线性区域，即，即。

因为，若都是0，那么。

（1）前向传播

在 W , Z , b 独立同分布，且为0的假设下，

所以。

这里是 layer i 的第k个node的输出，为 layer i−1的第j个node的输出，为 layer i−1与 layer i第k个node的连接权重。

我们希望的是在前向传播的时候满足，即对于每一个结点，它的输出的方差都相同，所以需要满足，所以可以从方差为的正态分布从采样得到。

（2）后向传播

当我们用梯度反向传播的时候，，和前向传播时一样希望结点输出的方差都相同，只是这时候需要从方差为的正态分布中采样得到。

（3）均相同

所以按照上述思路，我们无法保证前后传播的方差都相同，所以选择从方差为的正态分布中采样得到，或者从，的均匀分布中得到（均匀分布的方差为，边界可以按此公式推导得到）

但是之前有假设激活函数在0周围的导数接近1，所以忽略了激活函数的作用，不同激活函数在0周围的导数不同，需要给方差乘上导数的倒数：

神经网络初始化方法-Xavier/kaiming_转行的炼丹师的博客-CSDN博客

Xavier神经网络参数初始化方法 - 知乎

Xavier参数初始化方法相关推荐

DL之DNN优化技术：DNN中参数初始化【Lecun参数初始化、He参数初始化和Xavier参数初始化】的简介、使用方法详细攻略
DL之DNN优化技术:DNN中参数初始化[Lecun参数初始化.He参数初始化和Xavier参数初始化]的简介.使用方法详细攻略导读:现在有很多学者认为,随着BN层的提出,权重初始化可能已不再那么紧 ...
Paper：Xavier参数初始化之《Understanding the difficulty of training deep feedforward neural networks》的翻译与解读
Paper:Xavier参数初始化之<Understanding the difficulty of training deep feedforward neural networks>的 ...
pytorch中的参数初始化方法
参数初始化(Weight Initialization) PyTorch 中参数的默认初始化在各个层的 reset_parameters() 方法中.例如:nn.Linear 和 nn.Conv2D, ...
常见的参数初始化方法
常见的参数初始化方法我们常见的几种初始化方法是按照"正态分布随机初始化--对应为normal"和按照"均匀分布随机初始化--对应为uniform",这里就不再 ...
DL之DNN优化技术：采用三种激活函数(sigmoid、relu、tanh)构建5层神经网络，权重初始值(He参数初始化和Xavier参数初始化)影响隐藏层的激活值分布的直方图可视化
DL之DNN优化技术:采用三种激活函数(sigmoid.relu.tanh)构建5层神经网络,权重初始值(He参数初始化和Xavier参数初始化)影响隐藏层的激活值分布的直方图可视化目录
DL之DNN优化技术：自定义MultiLayerNet【5*100+ReLU】对MNIST数据集训练进而比较三种权重初始值（Xavier参数初始化、He参数初始化）性能差异
DL之DNN优化技术:自定义MultiLayerNet[5*100+ReLU]对MNIST数据集训练进而比较三种权重初始值(Xavier参数初始化.He参数初始化)性能差异导读 #思路:观察不同的权 ...
PyTorch常用参数初始化方法详解
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/cou ...
【神经网络参数初始化方法】
神经网络的参数学习.训练是一个凸优化的问题,在使用梯度下降算法进行优化时,参数初始值的选择会影响模型的泛化性能(局部最优解).优化效率(梯度消失.梯度爆炸),因此其选择十分关键. 神经网络参数初始化通 ...
pytorch tensor 初始化_Pytorch - nn.init 参数初始化方法
Pytorch 的参数初始化 - 给定非线性函数的推荐增益值(gain value):nonlinearity 非线性函数gain 增益 Linear / Identity1 Conv{1,2,3}D ...

最新文章

热门文章