Sigmoid函数为logistic回归、神经网络等模型的激活函数。

函数图像如下：

定义域是从 (−∞,+∞)，值域是（0,1）。

函数： ${\color{Red} }f(x) = \frac{1}{1+e^{-x}}$

导数： $f(x) ^{'}= f(x) * (1-f(x)){\color{Red} }$

$f(x) ^{'} = ( \frac{1}{1+e^{-x}})^{'} = [(1+e^{-x})^{-1}]^{'} = (-1) * (1+e^{-x})^{-1-1} * e^{-x} *(-1) = (1+e^{-x})^{-2} * e^{-x} = \frac{e^{-x}}{(1+e^{-x})^{2}} = \frac{1+e^{-x}-1}{(1+e^{-x})^{2}} = \frac{1}{1+e^{-x}} * \frac{1+e^{-x}-1}{1+e^{-x}} = \frac{1}{1+e^{-x}} * (1-\frac{1}{1+e^{-x}}) = f(x) *(1-f(x))$

推导过程为：

${\color{Red} }f(x)^{'}$

$= (\frac{1}{1+e^{-x}})^{'}$ （1）

$= [(1+e^{-x})^{-1}]^{'}$ （2）

其中，第一步到第二步可以看成 $(\frac{1}{A})^{'}$ 的形式。即： $(\frac{1}{A})^{'} =(A^{-1}) ^{'}$

$= (-1)*(1+e^{-x})^{-1-1}*e^{-x}*(-1)$ （3）

第二步到第三步是复合函数求导。

复合函数求导：先对外层函数求导再依次往里进行求导。

（1）外层可以看成 $A^{-1}$ 的形式。 $A^{-1}$ 的导数为： $(A^{-1})^{'} = -1 *A ^{-1-1} = -A ^{-2}$

$1+e^{-x}$ 等价于A。即：外层 $(1+e^{-x})^{-1}$ 求导为 $(-1)*(1+e^{-x})^{-1-1} = -(1+e^{-x})^{-2}$

（2）再乘以内层的导数。内层又是一个1+ $e^{u}$ 的形式。 $(e^{u})^{'} = e^{u} * u^{'}$

所以 $1+e^{-x}$ 的导数为：0 + $e^{-x}*(-x)^{'} = e^{-x}*(-1) = -e^{-x}$

（3）外部和内部相乘为： $-(1+e^{-x})^{-2} *(-e^{-x}) = (1+e^{-x})^{-2} *e^{-x}$ ，即为第四步。

$= (1+e^{-x})^{-2} * e^{-x}$ （4）

$= \frac{e^{-x}}{(1+e^{-x})^{2}}$

$= \frac{1+e^{-x}-1}{(1+e^{-x})^{2}}$

$= \frac{1}{1+e^{-x}} * \frac{1+e^{-x}-1}{1+e^{-x}}$

$= \frac{1}{1+e^{-x}} * (1-\frac{1}{1+e^{-x}})$

$= f(x) * (1-f(x))$

最详细的Sigmoid函数的求导推导过程相关推荐

sigmoid函数的求导过程
sigmoid函数的求导过程涉及"链式求导"和"自然指数"的求导.
Sigmoid 函数的求导过程
Sigmoid 函数的公式如下: σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1 + e^{-x}} σ(x)=1+e−x1 求导之前,先看一下 x x x ...
Softmax及其损失函数求导推导过程
Softmax激活函数的损失函数求导过程推导 Softmax函数介绍 Softmax的损失函数:交叉熵 Softmax求导过程损失函数求导 Softmax函数介绍在深度学习领域,多分类问题的激活函 ...
逻辑回归损失函数求导推导过程
逻辑回归--分类算法代价函数的寻找 sigmoid函数的非线性会导致损失函数变得非线性,无法找到全局最优值,所以需要进行损失函数替换. 代价函数的合理性分析预测正确,损失较小:预测错误,损失较大 ...
sigmoid函数手动求导
二次型x^TAx梯度(求导)推导过程
y=xTAxy=x^TAxy=xTAx,其中x是n维向量,A是n阶方阵,求dy/dxdy/dxdy/dx 记A=[aij]A=\left[a_{i j}\right]A=[aij].x∈Rn,x=( ...
sigmoid函数、tanh函数、softmax函数及求导
sigmoid函数和tanh函数都是激活函数,接收一个输入,产生一个输出.这里的求导是对激活函数求导.而softmax函数是一个多输入多输出的激活函数,这里提到的求导是对经过softmax函数后进行交 ...
卷积神经网络系列之softmax loss对输入的求导推导
我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等.虽然现在已经开源了很多深度学习框架(比如MxNet,Caf ...
softmax loss对输入的求导推导
转载自: https://blog.csdn.net/u014380165/article/details/79632950 我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CN ...

最详细的Sigmoid函数的求导推导过程

函数图像如下：

推导过程为：

最详细的Sigmoid函数的求导推导过程相关推荐

最新文章

热门文章