Sigmoid Function

本系列文章由 @yhl_leo 出品，转载请注明出处。
文章链接： http://blog.csdn.net/yhl_leo/article/details/51734189

Sigmodi 函数是一种数学函数，函数图像具有“S”形状（也称Sigmoid curve）。一般，Sigmoid 函数指的是一种特殊的逻辑函数（logistic function）：

函数图像如图 1所示。

图 1 logistic curve

还有一些其他相似的函数，如今多种多样的sigmoid 函数被应用在人工神经网络中，作为激活函数（Activation Function）。

定义： Sigmoid函数是一种有界的可微实函数，函数曲线上的任一点对应的导数值均为正值。

A sigmoid function is a bounded differentiable real function that is defined for all real input values and has a positive derivative at each point.

使用数学语言可以如下描述：

其中R指的是实数集。该函数最重要的性质就是：

从定义就可以看出，只要满足上诉的三条性质的函数，都可以成为Sigmiod函数，例如 arctangent, hyperbolic tangent, Gudermannian function, error function等。

图 2 是一张几种常见的Sigmoid函数图像，图中的函数都进行了归一化，在原点处的曲线斜率都为1.

图 2 Some Sigmoid function compared

Sigmoid Function相关推荐

sigmoid function vs softmax function
DIFFERENCE BETWEEN SOFTMAX FUNCTION AND SIGMOID FUNCTION 二者主要的区别见于, softmax 用于多分类,sigmoid 则主要用于二分类: ...
Logistic Function == Sigmoid Function
Logistic function, 逻辑函数,逻辑斯谛函数,这些都是一个意思,指的也都是: Sigmoid函数.解释如下: --- Sigmoid函数是一个S型函数. Sigmoid函数的数学公式为 ...
人工神经网络中为什么ReLu要好过于tanh和sigmoid function？
先看sigmoid.tanh和RelU的函数图: 第一,采用sigmoid等函数,算激活函数时(指数运算),计算量大,反向传播求误差梯度时,求导涉及除法和指数运算,计算量相对大,而采用Relu激活函数 ...
深度学习——人工神经网络中为什么ReLu要好过于tanh和sigmoid function？
参考吴恩达的深度学习课程. 先看看各个激活函数图: 第一个问题:为什么引入非线性激励函数? 如果不用激励函数(其实相当于激励函数是f(x) = x),在这种情况下你每一层输出都是上层输入的线性函数,很 ...
人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
转自:https://www.zhihu.com/question/29021768 附:双曲函数类似于常见的(也叫圆函数的)三角函数.基本双曲函数是双曲正弦"sinh",双曲余弦 ...
python如何拟合函数_我们如何在Python中拟合一个sigmoid函数?(How do we fit a sigmoid function in Python?)...
由于可重现性的原因,我正在共享我在这里工作的简单数据集. 为了弄清楚我在做什么--从第2列开始,我读取当前行并将其与前一行的值进行比较.如果它更大,我会不断比较.如果当前值小于前一行的值,我想用当前值 ...
人工神经外网络中为什么ReLu要好过于Tanh和Sigmoid Function？
Cost Function
首先本人一直有一个疑问缠绕了我很久,就是吴恩达老师所讲的机器学习课程里边的逻辑回归这点,使用的是交叉熵损失函数,但是在进行求导推导时,google了很多的课件以及教程都是直接使用的,这个问题困扰了很久 ...
激活函数之logistic sigmoid函数介绍及C++实现
logistic sigmoid函数: logistic sigmoid函数通常用来产生Bernoulli分布中的参数ø,因为它的范围是(0,1),处在ø的有效取值范围内.logisitic sigm ...

Sigmoid Function

Sigmoid Function相关推荐

最新文章

热门文章