Scaled Exponential Linear Unit

2024-04-28 06:54:06

https://www.bilibili.com/video/av9770302/?p=11

Relu

Leaky Relu

Parametric Relu就是把leaky部分的斜率学出来，而不是指定

还有一种变体是，Randomized Relu，就是说这个斜率是每次随机的

Exponential Linear Unit (ELU)

Scaled ELU

Scaled就是都乘上一个lamda

并且这里给出了alpha和lamda的取值，

这个是推导出来的

这里如果我们假设所有输入的a的分布为，mean=0， variance=1

所有参数w的分为也是，mean=0， variance=1/K (这个取值上面算出来的，为了保证z的variance为1)

就能得到z的分布也符合mean=0，variance=1

虽然这里对于a1...aK的分布没有假设，但是我们可以假设z的分布式是符合高斯分布的，根据中心极限定理

现在的问题是对于z经过SELU得到a，如果还要保证mean=0，variance=1，求alpha，lamda参数，求出来的值就是上面给出的

看这个推导有两个用处，

1. 知道使用Selu的前提假设，是有假设的，视频里面demo，在不满足假设的情况下，Selu没效果的

假设就是输入和参数的初始化必须要满足前面的分布假设

这里参数的初始化可以用lecun_normal，虽然参数后面会不断调整，但初始化还是很关键

2. 可以看出SELU让输出的分布满足mean=0， variance=1，这就可以达到BathNormalization的效果

可以看到作者的比较，SELU NN比用BatchNorm的效果要好，loss更低，而且也更平滑

因为BatchNorm，每次是用batch的mean和var，所以用局部代表全局，会有波动，因为每个batch可能有较大的差异

转载于:https://www.cnblogs.com/fxjwind/p/9230963.html

Scaled Exponential Linear Unit相关推荐

R语言使用自定义函数编写深度学习Scaled Exponential Linear Unit (SELU)激活函数、并可视化SELU激活函数
R语言使用自定义函数编写深度学习Scaled Exponential Linear Unit (SELU)激活函数.并可视化SELU激活函数目录
PELU激活函数的tensorflow实现（一） Parametric Exponential Linear Unit
PELU激活函数实现一.PELU简介二.PELU实现 1.PELU代码实现 2.测试PELU实现是否正确 3.实现PELU对 α\alphaα 求导 4.实现PELU对 β\betaβ 求导三. ...
SELU激活函数，scaled exponential linear units
SELU.ReLU.leaky ReLU对比: https://github.com/shaohua0116/Activation-Visualization-Histogram 关于SELU激活函数 ...
修正线性单元(Rectified linear unit，ReLU）
修正线性单元(Rectified linear unit,ReLU) Rectified linear unit 在神经网络中,常用到的激活函数有sigmoid函数f(x)=11+exp(−x).双曲 ...
【深度学习】论文导读：ELU激活函数的提出（FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)）
论文下载: FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)(2016,Djork-Arn´e Cl ...
GLU（Gated Linear Unit，门控线性单元）简介
前言简单介绍门控线性单元的结构. 原始论文 <Language Modeling with Gated Convolutional Networks> 提出GLU,2017年(第一版是2 ...
三维重建【一】——————（深度学习方式）
经典的计算机视觉问题是3-D重建. 基本上可以分成两种路径:一是多视角重建,二是运动重建.前者有一个经典的方法是多视角立体视觉(MVS,multiple view stereo),就是多帧的立体匹配, ...
吴恩达团队最新成果：用深度学习来改善临终关怀服务
翻译 | AI科技大本营(ID:rgznai100) 参与 | 尚岩奇,刘畅 AI可以是杀戮的武器,也可以是救世的良方. 上周,在日内瓦举行的联合国特定常规武器公约会议上,伯克利大学教授Stuart ...
深度学习在三维环境重建中的应用
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:计算机视觉联盟最经典的计算机视觉问题是3-D重建.基本 ...
汇总|目标检测中的数据增强、backbone、head、neck、损失函数
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者:Tom Hardy https://zhuanlan.zhihu.com/p/137769687 ...

最新文章

热门文章