softsign与tanh的比较

先来看两图：

容易看出tanh比softsign更容易饱和

softsign的导数

tanh的导数：

Softsign 是 Tanh 激活函数的另一个替代选择。就像 Tanh 一样，Softsign 是反对称、去中心、可微分，并返回-1 和 1 之间的值。其更平坦的曲线与更慢的下降导数表明它可以更高效地学习，比tanh更好的解决梯度消失的问题。另一方面，导数的计算比 Tanh 更麻烦；

在实践中，可以深度用softsign替代tanh激活函数

softsign与tanh的比较相关推荐

Softsign Tanh 速度对比
我最近对softsign这个函数比较偏爱,但是测试的时候,有时候发现其速度并不令人满意网上资料很少,搜到了一篇博客深度学习日常发问(三):激活函数性能对比_明曦君的博客-CSDN博客_mish激活 ...
A.深度学习基础入门篇[四]：激活函数介绍:tanh、sigmoid、ReLU、PReLU、ELU、softplus、softmax、swish等
[深度学习入门到进阶]必看系列,含激活函数.优化策略.损失函数.模型调优.归一化算法.卷积模型.序列模型.预训练模型.对抗神经网络等专栏详细介绍:[深度学习入门到进阶]必看系列,含激活函数.优化策略 ...
神经网络中的权重初始化一览：从基础到Kaiming
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达在进行各种小实验和思维训练时,你会逐步发现为什么在训练深度神经网络 ...
使用神经网络生成抽象随机艺术
http://blog.itpub.net/29829936/viewspace-2636099/ 随着深度神经网络作为分类或回归模型变得非常流行,这些模型也可以用作生成模型来创建人工数据,例如创建新 ...
Paddle内置的网络模型
简介: 本文根据文档模型组网中给出的信息,总结了在Paddle建立常见到的网络的三种方法. 关键词: paddle,net,内置网络 #mermaid-svg-Wdzr3isBaQEmNZ95 ...
xavier初始化_深入解读xavier初始化（附源码）
论文是Understanding the difficulty of training deep feedforward neural networks. 一篇感觉不错的翻译为[Deep Learni ...
神经网络初始化trick：大神何凯明教你如何训练网络！
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 来源 :towardsdatasci ...
深度学习中激活函数的优缺点
在神经网络中,激活函数决定来自给定输入集的节点的输出,其中非线性激活函数允许网络复制复杂的非线性行为. 为什么要使用非线性激活函数? 答:如果不使用激活函数,这种情况下每一层输出都是上一层输入的线性函 ...
深度学习之权重初始化
四种权重初始化方法: 把w初始化为0 对w随机初始化 Xavier initialization He initialization 把w初始化为0: 缺点: 因为如果把w初始化为0,那么每一层的神经 ...

softsign与tanh的比较

softsign与tanh的比较相关推荐

最新文章

热门文章