sigmoid函数求导与自然指数

在神经网络里经常使用sigmoid做激活函数，它的导数是怎么样求解呢？因为要使用它的导数来计算梯度下降。

这个过程如下：

1. sigmoid

函数：f(z) = 1 / (1 + exp( − z))

导数：f(z)' = f(z)(1 − f(z))

求导过程如下：

网上有不少关于sigmoid函数求导的文章（比如来自CSDN的博文sigmoid函数求导与自然指数），但是求导过程中对于怎么由(1/(1+exp(-x)))'一下推导至exp(-x)/(1+exp(-x))^2没有提及。虽然对于熟练函数求导的朋友们不难，但对于刚接触函数求导或者隔了若干年忘记函数求导的朋友们还是有不少疑惑。

这里借助函数的和的求导法则(f(x)+g(x))'=f(x)'+g(x)'，复合函数的求导法则f(g(x))'=f(u)'g(x)'，u=g(x)以及把(1/(1+exp(-x)))'转成((1+exp(-x))^-1)'，那么求导过程就清楚多了：

(1/(1+exp(-x)))'=((1+exp(-x))^-1)'=(-1)((1+exp(-x))^-2)(1+exp(-x))'=(-1)((1+exp(-x))^-2)(exp(-x))'

而(exp(-x))'可以先转成(exp(x)^-1)'，于是她又是一个复合函数的求导，即(exp(x)^-1)对exp(x)的导数再乘上exp(x)对x的导数，又基本初等函数求导公式告诉我们，(exp(x))'=exp(x)，所以(exp(-x))'=(exp(x)^-1)'=(-1)(exp(x)^-2)(exp(x))'=(-1)(exp(x)^-2)exp(x)=(-1)(exp(x)^-1)=(-1)exp(-x)

那么：

(-1)((1+exp(-x))^-2)(exp(-x))'=(-1)((1+exp(-x))^-2)(-1)exp(-x)=exp(-x)((1+exp(-x))^-2)=exp(-x)/((1+exp(-x))^2)

至此，sigmoid函数求导的步骤补充完毕。

原文：https://blog.csdn.net/csdn_zf/article/details/72897617

sigmoid函数求导与自然指数相关推荐

sigmoid函数求导_交叉熵损失函数的求导(Logistic回归)
目录前言交叉熵损失函数交叉熵损失函数的求导前言最近有遇到些同学找我讨论sigmoid训练多标签或者用在目标检测中的问题,我想写一些他们的东西,想到以前的博客里躺着这篇文章(2015年读研时机 ...
sigmoid函数求导-只要四步
sigmoid函数的导数是f′(x)=f(x)(1−f(x))f ^ { \prime } ( x ) =f ( x ) ( 1 - f ( x ) ) f′(x)=f(x)(1−f(x)) 推 ...
复杂函数求导/对数指数幂公式
指数.对数公式 https://wenku.baidu.com/view/69653d53f01dc281e53af0ba.html 求导公式 https://wenku.baidu.com/view ...
matlab用辛普森公式求积分_变限积分函数求导以及高阶导数求法的一些总结
感谢 @聚创考研的张帆老师,给我上了一堂生动的课.特此总结一下课上求导数的方法(怕自己忘了). 1.变限积分函数求导变限积分函数求导简单的分为三类: 第一类(或者形如这种)可以直接得到 ,第二. ...
softmax及函数求导
softmax 1. 概念 softmax 的核心在于 soft,而 soft 有软的含义,与之相对的是 hard 硬.很多场景中需要我们找出数组所有元素中值最大的元素,是指上都是求的 hardmax ...
第二章：1、函数求导
机器学习中问题的求解往往转化为优化问题. 1.函数极限函数的导数是通过极限来定义和表达的.极限理解: 向量的2范数:表示点到原点的欧氏距离,就是向量的长度.点的邻域表示以点a为心,以为半径的一个d维 ...
python求导函数的值_python怎么实现函数求导
python实现函数求导的方法是:1.利用sympy库中的symbols方法传入x和y变量:2.利用sympy库中的diff函数传入需要求导的函数即可返回求导之后的结果. python利用sympy库 ...
python numpy 多项式函数求导求根
python numpy 多项式函数求导求根 """求出多项式的导函数与根 """import numpy as np import m ...
sympy 符号函数求导
原文链接: sympy 符号函数求导上一篇: python 一阶线性拟合下一篇: python 非线性方程组使用sympy 对指定函数表达式求值和求指定位置的导数 from sympy impo ...

sigmoid函数求导与自然指数

sigmoid函数求导与自然指数

sigmoid函数求导与自然指数相关推荐

最新文章

热门文章