神经网络中经常使用的激活函数–sigmoid函数σ(x)

sigmoid函数（σ）

sigmoid函数原型

sigmoid函数是机器学习中的一个比较常用的函数，其函数原型如下图所示：

sigmoid函数的函数曲线以及其导数曲线如下图所示：

通过上图可以看出在趋于正无穷或负无穷时，sigmoid函数都趋近平滑状态。当x趋近负无穷时，y趋近于0；趋近于正无穷时，y趋近于1。由于sigmoid函数输出范围为（0，1），所以二分类的概率常常用使用这个函数。

sigmoid函数求导

Sigmoid函数的导数是其本身的函数，即：
f′(x)=f(x)(1−f(x))f′(x)=f(x)(1−f(x)) f′(x)=f(x)(1−f(x))
这个公式是如何推导的呢，很简单。
f(x)=(1+e−x)−1=(−1)∗(1+e−x)−2∗e−x∗(−1)=(1+e−x)−2∗e−x=e−x(1+e−x)2=(1+e−x−1)(1+e−x)2=(1+e−x)(1+e−x)2−1(1+e−x)2=1(1+e−x)−1(1+e−x)2=1(1+e−x)(1−1(1+e−x))\begin{aligned} f(x)&={(1 + {e^{ - x}})^{ - 1}} \\ &=(-1)*(1+e^{ - x})^{ - 2}*e^{ - x}*(-1) \\ &=(1+e^{ - x})^{ - 2}*e^{ - x} \\ &=\frac{e^{ - x}}{(1+e^{ - x})^{ 2}} \\ &=\frac{(1+e^{- x}-1)}{(1+e^{ - x})^{ 2}} \\ &=\frac{(1+e^{ - x})}{(1+e^{ - x})^{ 2}}-\frac1{(1+e^{ - x})^{ 2}} \\ &=\frac1{(1+e^{ - x})}-\frac1{(1+e^{ - x})^{ 2}} \\ &=\frac1{(1+e^{ - x})}(1-\frac1{(1+e^{ - x})}) \end{aligned} f(x)=(1+e−x)−1=(−1)∗(1+e−x)−2∗e−x∗(−1)=(1+e−x)−2∗e−x=(1+e−x)2e−x=(1+e−x)2(1+e−x−1)=(1+e−x)2(1+e−x)−(1+e−x)21=(1+e−x)1−(1+e−x)21=(1+e−x)1(1−(1+e−x)1)

sigmoid总结

为什么要用sigmoid函数

其作用就是引入非线性。

sigmoid优点

1、值域在0和1之间；

2 、函数具有非常好的对称性。

3、sigmoid的优点在于输出范围有限，所以数据在传递的过程中不容易发散。当然也有相应的缺点，就是饱和的时候梯度太小。

4、求导容易。

神经网络中经常使用的激活函数--sigmoid函数相关推荐

神经网络常用的三大激活函数sigmoid函数、tanh函数、relu函数对比讲解
在我们学习神经网络的时候经常要用到激活函数,但是我们对于为什么要使用这一个,它们之间的区别和优缺点各是什么不太了解.下面,我们来详细说一说这三个激活函数. - sigmoid函数 sigmoid函数也 ...
神经网络中的神经元常见激活函数绘制
近年来,神经网络方法在多个领域表现出优于传统算法的特点,其使用神经元的组合来提取数据中的深度特征,在非线性任务中表现出优越的性能. 神经元的非线性,主要是通过其激活函数f(x),将wx+b进行非线性化 ...
有关logistic(sigmoid)函数回归
在神经网络中,经常用到sigmoid函数,y = 1 / (1+e-x) 作为下一级神经元的激活函数,x也就是WX(下文,W以θ符号代替)矩阵计算结果. 这个函数通常用在进行分类,通常分为1或0的逻辑 ...
【深度学习】——神经网络中常用的激活函数：sigmoid、Relu、Tanh函数
激活函数实际中的很多事情并不能简单的用线性关系的组合来描述.在神经网络中,如果没有激活函数,那么就相当于很多线性分类器的组合,当我们要求解的关系中存在非线性关系时,无论多么复杂的网络都会产生欠拟 ...
【Deep Learning 三】神经网络中的非线性激活函数之间的优缺点：sigmoid、tanh、ReLu、Leaky ReLu...
1 什么是激活函数? 激活函数,并不是去激活什么,而是指如何把"激活的神经元的特征"通过函数把特征保留并映射出来(保留特征,去除一些数据中是的冗余),这是神经网络能解决非线性问题关 ...
sigmoid函数解决溢出_常见激活函数优缺点与dead relu problem
转载自: G-kdom:温故知新--激活函数及其各自的优缺点zhuanlan.zhihu.com 1.什么是激活函数? 所谓激活函数(Activation Function),就是在人工神经网络的神 ...
神经网络中的激活函数介绍
转载请注明出处:http://blog.csdn.net/gamer_gyt 博主微博:http://weibo.com/234654758 Github:https://github.com/thi ...
机器学习入门（03）— 激活函数分类（阶跃函数和 sigmoid 函数的理论、实现、显示以及区别、非线性函数、ReLU 函数、tanh 函数）
各种激活函数介绍,请参考下面链接: https://en.wikipedia.org/wiki/Activation_function 1. 阶跃函数 1.1 理论式(3.3)表示的激活函数以阈值为 ...
神经网络中隐藏层为什么需要使用激活函数？
如果不用激活函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合,即W = W3*[W2*(W1*x)]. 如果隐藏层不使用激活函数,仅在输出层使用sigmoid函数, ...

神经网络中经常使用的激活函数--sigmoid函数