selu激活函数和自归一化网络(SNN)

最近出现了一个新的激活函数：缩放指数线性单元（scaled exponential linear units，selu），根据该激活函数得到的网络具有自归一化功能。

首先给出文章地址：https://arxiv.org/pdf/1706.02515.pdf

然后大概讲一下这个激活函数的作用（个人理解，也有可能有误）。
一般在深度学习中，在每层添加批处理能够使得网络收敛的更快，同时在效果上也有提升。
这篇文章就在思考，能不能够提出一种激活函数，经过该激活函数后使得样本分布自动归一化到0均值和单位方差，在这篇文章中，作者给出了长达97的证明，证明了在满足以下两个条件的情况下，使用该激活函数后使得样本分布满足零均值和单位方差：
1 按照给定的参数对权重初始化：对于正态分布的初始化，初始化参数为0均值，方差为sqrt(1/n),n是输入的通道个数，在tensorflow里面提供的比较好的实现：
tf.initializers.variance_scaling_initializer(factor=1.0,model=’FAN_IN’)
也可以自己直接指定，详细的参数介绍可以看看下面的网站：http://www.cnblogs.com/denny402/p/6932956.html
2 按照给定的参数对样本计算激活函数：

其中lamada：1.0507009873554804934193349852946
alpha：1.6732632423543772848170429916717
这两个值是在文章中进行证明后得到的，如果需要得到归一化后得到指定均值和方差的lamada和alpha，文章中也给出了相应的计算公式。

下面给出tensorflow中实现的selu激活函数：

def selu(x):with ops.name_scope('elu') as scope:alpha = 1.6732632423543772848170429916717scale = 1.0507009873554804934193349852946return scale*tf.where(x>0.0,x,alpha*tf.nn.elu(x))

selu激活函数和自归一化网络(SNN)相关推荐

3.4 归一化网络的激活函数-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.3 超参数训练的实践: Pandas vs. Caviar 回到目录 3.5 将 Batch Norm 拟合进神经网络归一化网络的激活函数 (Normalizing A ...
ARTS-23（35. 搜索插入位置，SELU激活函数，本周几个问题，招商银行财报分析）
Algorithm https://leetcode-cn.com/problems/search-insert-position/ 35. 搜索插入位置给定一个排序数组和一个目标值,在数组中找到目 ...
SELU激活函数，scaled exponential linear units
SELU.ReLU.leaky ReLU对比: https://github.com/shaohua0116/Activation-Visualization-Histogram 关于SELU激活函数 ...
SELU︱在keras、tensorflow中使用SELU激活函数
arXiv 上公开的一篇 NIPS 投稿论文<Self-Normalizing Neural Networks>引起了圈内极大的关注,它提出了缩放指数型线性单元(SELU)而引进了自归一化 ...
【转载】SELU 激活函数
说明本文非本人所著,转载自 https://www.jianshu.com/p/3a43a6a860ef. 主要内容为李宏毅老师深度学习课程某次讲的 SELU 激活函数课程.由于课堂效果极好(实验部 ...
深度学习笔记（12） Batch归一化网络
深度学习笔记(12) Batch归一化网络 1. Batch归一化 2. 激活值归一化 3. 特殊情况不归一化 4. mini-batch上的Batch归一化 1. Batch归一化 Batch归一化 ...
R语言使用自定义函数编写深度学习Scaled Exponential Linear Unit (SELU)激活函数、并可视化SELU激活函数
R语言使用自定义函数编写深度学习Scaled Exponential Linear Unit (SELU)激活函数.并可视化SELU激活函数目录
深层神经网络和批归一化操作、selu激活函数、dropout
深层神经网络其实对比之前的分类模型,他的网络层数更深,层数更多,但是,有时候也会造成过拟合的风险因为参数过多,导致全部拟合完容易记住样本. model = keras.models.Sequentia ...

selu激活函数和自归一化网络(SNN)

selu激活函数和自归一化网络(SNN)相关推荐

最新文章

热门文章