Sigmoid和tanh的异同

计算过程（若有误，请指正）：

1.sigmoid函数

公式：

定义域：R

值域：(0,1)

导数：

导函数定义域：R

导函数值域：(0,0.25]

图像：

2.tanh函数

公式：

定义域：R

值域：(-1,1)

导数：

导函数定义域：R

导函数值域：(0,1]

图像：

都是人工神经网络中的信息传输函数，或称激活函数。

俩函数之间的关系：

由它们的函数和导函数的取值区间可以看出它们为什么会被选做激活函数了。

它们之间存在的细微差别

观察sigmoid和tanh的函数曲线，sigmoid在输入处于[-1,1]之间时，函数值变化敏感，一旦接近或者超出区间就失去敏感性，处于饱和状态，影响神经网络预测的精度值。tanh的输出和输入能够保持非线性单调上升和下降关系，符合BP网络的梯度求解，容错性好，有界，渐进于0、1，符合人脑神经饱和的规律，但比sigmoid函数延迟了饱和期。

其他满足定义域为R，值域为(0,1)的函数

参考资料：

Sigmoid的维基百科链接https://en.wikipedia.org/wiki/Sigmoid_function

Tanh的维基百科链接https://en.wikipedia.org/wiki/Hyperbolic_function

http://blog.sina.com.cn/s/blog_6bb5e91b0102vbbr.html

Sigmoid和tanh的异同相关推荐

python Sigmoid和Tanh 可视化
最近在研究神经网络,用python绘制了一下常见的Sigmoid函数和Tanh函数,别的不多说,直接上代码: #!/usr/bin/python #encoding:utf-8 import math ...
神经网络激活函数sigmoid、tanh、Relu、LeakyRelu、Elu、PRelu、MaxOut的java实现
神经网络常用激活函数包括sigmoid.tanh.Relu.LeakyRelu.Elu.PRelu和MaxOut.对每一种函数采用java进行实现.前面四种激活函数是固定形式,后面三种激活函数部分参数 ...
激活函数之 Sigmoid、tanh、ReLU、ReLU变形和Maxout
Sigmoid函数 Sigmoid函数计算公式 sigmoid:x取值范围(-∞,+∞),值域是(0, 1). sigmoid函数求导这是sigmoid函数的一个重要性质. 图像代码 # -*- ...
【Deep Learning 三】神经网络中的非线性激活函数之间的优缺点：sigmoid、tanh、ReLu、Leaky ReLu...
1 什么是激活函数? 激活函数,并不是去激活什么,而是指如何把"激活的神经元的特征"通过函数把特征保留并映射出来(保留特征,去除一些数据中是的冗余),这是神经网络能解决非线性问题关 ...
激活函数(sigmoid、Tanh、ReLU、Leaky ReLU、ELU、Maxout)
sigmoid函数公式: 图像: sigmoid可以将数据压缩到[0,1]范围内,可看作神经元的饱和放电率.在历史上,sigmoid函数非常有用,这是因为它对神经元的激活频率有很好的解释:从完全不激 ...
PyTorch基础之激活函数模块中Sigmoid、Tanh、ReLU、LeakyReLU函数讲解（附源码）
需要源码请点赞关注收藏后评论区留言私信~~~ 激活函数是神经网络中的重要组成部分.在多层神经网络中,上层节点的输出和下层节点的输入之间有一个函数关系.如果这个函数我们设置为非线性函数,深层网络的表达能 ...
非线性激励函数sigmoid，tanh，softplus，Relu
目前有四种常见的非线性激励函数: sigmoid函数: tanh函数: softplus函数: Relu函数: 其对应得函数图像如下: 函数种类优点缺点 sigmoid函数在整个定义域内可导 g ...
LSTM 两个激励函数区别sigmoid 和tanh
欢迎关注本人: 推荐系统公众号:Tiany_RecoSystem 知乎主页:https://www.zhihu.com/people/shen-xiao-ming-77 sigmoid 用在了各种ga ...
小技巧（10）：使用Python绘制激活函数（Sigmoid、Tanh、ReLU、PReLU）图像
文章目录一.单张绘制 1.1 代码 1.2 绘制结果二.4张图绘制成1张图 2.1 代码 2.2 绘制结果一.单张绘制 1.1 代码 import numpy as np import matp ...

Sigmoid和tanh的异同

Sigmoid和tanh的异同相关推荐

最新文章

热门文章