bn层初始化参数_神经网络参数初始化方式

看了文章《Understanding the difficulty of training deep feedforward neural networks》,里面提出了两种参数初始化的方法：

以及normalized initialization——xavier方法：

最近做实验，发现网络的初始化太重要！其实神经网络本身就是一个dark box, 但是每一个参数怎么设置怎么调节是最有技术的。

几种可行的初始化方式：

1. pre-training+fine-tuning

如：先使用greedy layerwise auto-encoder做unsupervised pre-training，然后再做fine-tuning。

① pretraining: 将神经网络中的每一层取出，构造一个auto-encoder做训练，使得输入层和输出层保持一致。在这一过程中，参数得以更新，形成初始值

② fine-tuning：将pre-train过的每一层放回神经网络，利用pre-train阶段得到的参数初始值和训练数据对模型进行整体调整。在这一过程中，参数进一步被更新，形成最终模型。

2. random initialization: np.random.randn(m,n)

最常用的方法，但是也有弊端，一旦随机分布选择不当，就会陷入困境

3. Xavier initialization:

基本思想：保证输入和输出的方差一致，这样就可以避免所有输出值都趋向于0。虽然刚开始的推导基于线性函数，但是在一些非线性神经元也很有效。

tf.Variable(np.random.randn(node_in,node_out))/np.sqrt(node_in)

比较适合tanh

4. He initialization

RELU中非常适合：

tf.Variable(np.random.randn(node_in,node_out))/np.sqrt(node_in/2)

5. bengio还提出了一种

tf.Variable(np.random.randn(node_in,node_out))/np.sqrt((node_in+node_out)/2)

其实3、4、5三种方法都是Xavier的变体。

6. BN 其实不是初始化方法了，是一种巧妙而粗暴的削弱bad initialization的影响。

bn层初始化参数_神经网络参数初始化方式相关推荐

神经网络的输出层有哪些_神经网络算法—总结篇
本文是吴恩达<机器学习>视频笔记第57篇,对应第5周第7个视频. "Neural Networks Learning:--Putting it together" 前面 ...
深度神经网络调参数技巧,神经网络参数调节方法
1.神经网络算法中,参数的设置或者调整,有什么方法可以采用若果对你有帮助,请点赞. 神经网络的结构(例如2输入3隐节点1输出)建好后,一般就要求神经网络里的权值和阈值.现在一般求解权值和阈值,都是采 ...
js有默认参数的函数加参数_函数参数：默认，关键字和任意
js有默认参数的函数加参数 PYTHON开发人员的提示 (TIPS FOR PYTHON DEVELOPERS) Think that you are writing a function that ...
powerbuilder TriggerEvent 参数_静态参数-输入失调电压
对于运放的认知,初学者可能只记得虚短虚断.输入阻抗/开环增益无穷大,但是若要设计一个性能优良的放大器,熟悉运放其他一些参数指标必不可少.这些参数可分成两大类:静态参数和动态参数.静态参数主要描述运放的 ...
python神经网络调节参数_神经网络进阶-用python实现一个完整的神经网络框架并在CIFAR10数据集上调参...
上一个博客中讲解了用python实现一个简单的两层神经网络,我们是把所有的网络层都直接写在了类中.但是作为一个神经网络框架,网络的结构应该是可以由使用者自定义的,这样一来也就不用为每个网络结构都重写所 ...
吴恩达《机器学习》课程总结(8)_神经网络参数的反向传播算法
Q1代价函数 (1)假设神经网络的训练样本有m个,每一个包含一组输入x和一组输出信号y,L表示神经网络的层数,Sl表示每一层的神经元个数,SL代表最后一层中处理单元的个数. 则代价函数为(同样不对θ0 ...
连接mysql所必须参数_数据库连接参数使用方法详解
在设计数据库应用程序的时候,经常需要将一些信息从程序中独立出来,以保证程序的可移植性.其中最重要的信息就是数据库的连接参数. 在Delphi中,获得正确的数据库连接参数的方法十分简单,你只需要建立一个 ...
python代码设置超参数_超参数调优总结，贝叶斯优化Python代码示例
本文介绍超参数(hyperparameter)的调优方法. 神经网络模型的参数可以分为两类,模型参数,在训练中通过梯度下降算法更新: 超参数,在训练中一般是固定数值或者以预设规则变化,比如批大小(ba ...
cmd.exe_参数_启动参数
启动命令解释程序 Cmd.exe 的新范例.如果在不含参数的情况下使用,cmd 将显示操作系统的版本和版权信息. 语法 cmd [{/c | /k}] [/s] [/q] [/d] [{/a | /u ...

bn层初始化参数_神经网络参数初始化方式

bn层初始化参数_神经网络参数初始化方式相关推荐

最新文章

热门文章