Sigmoid函数求导

标签（空格分隔）： ML

sigmoid函数是神经网络中常用的激活函数之一，其定义为
σ(x)=11+e−x\sigma(x) = \frac{1}{1 + e^{-x}}σ(x)=1+e−x1
该函数的定义域为(−∞,+∞)(-\infty,+\infty)(−∞,+∞),值域为(0,1)(0,1)(0,1)

sigmoid函数的导函数具有以下形式
σ′(x)=σ(x)[1−σ(x)]\sigma'(x) = \sigma(x)[1-\sigma(x)]σ′(x)=σ(x)[1−σ(x)]
求导过程如下：
dσ(x)d(x)=d((1+e−x)−1)d(x)=e−x(1+e−x)2=σ2(x)×1−σ(x)σ(x)=σ(x)[1−σ(x)]\frac{\mathrm{d}\sigma(x)}{\mathrm{d}(x)} = \frac{\mathrm{d}((1+e^{-x})^{-1})}{\mathrm{d}(x)} = \frac{e^{-x}}{(1+e^{-x})^2} = \sigma^2(x)\times\frac{1-\sigma(x)}{\sigma(x)} = \sigma(x)[1-\sigma(x)]d(x)dσ(x)=d(x)d((1+e−x)−1)=(1+e−x)2e−x=σ2(x)×σ(x)1−σ(x)=σ(x)[1−σ(x)]
函数lnσ(x)ln\sigma(x)lnσ(x)和ln(1−σ(x))ln(1-\sigma(x))ln(1−σ(x))的导函数分别为：
[ln⁡σ(x)]′=1−σ(x),[ln⁡(1−σ(x))]′=−σ(x)[\ln\sigma(x)]' = 1 - \sigma(x),[\ln(1-\sigma(x))]' = -\sigma(x)[lnσ(x)]′=1−σ(x),[ln(1−σ(x))]′=−σ(x)
求导过程如下：
dln⁡σ(x)d(x)=(ln⁡1)′−(ln⁡(1+e−x))′=0−11+e−x×(e−x)′=e−x1+e−x=1−σ(x)\frac{\mathrm{d}\ln\sigma(x)}{\mathrm{d}(x)} = (\ln 1)' - (\ln(1 + e^{-x}))' = 0 - \frac{1}{1 + e^{-x}} \times (e^{-x})' = \frac{e^{-x}}{1+e^{-x}} = 1 - \sigma(x)d(x)dlnσ(x)=(ln1)′−(ln(1+e−x))′=0−1+e−x1×(e−x)′=1+e−xe−x=1−σ(x)
dln⁡(1−σ(x))d(x)=(ln⁡−e−x)′−(ln⁡(1+e−x))′=−1+e−x1+e−x=−σ(x)\frac{\mathrm{d}\ln(1-\sigma(x))}{\mathrm{d}(x)} = (\ln-e^{-x})' - (\ln(1+e^{-x}))' = -1 + \frac{e^{-x}}{1+e^{-x}} = -\sigma(x)d(x)dln(1−σ(x))=(ln−e−x)′−(ln(1+e−x))′=−1+1+e−xe−x=−σ(x)

Sigmoid函数求导相关推荐

sigmoid函数求导与自然指数
sigmoid函数求导与自然指数在神经网络里经常使用sigmoid做激活函数,它的导数是怎么样求解呢?因为要使用它的导数来计算梯度下降. 这个过程如下: 1. sigmoid 函数:f(z) = 1 ...
sigmoid函数求导_交叉熵损失函数的求导(Logistic回归)
目录前言交叉熵损失函数交叉熵损失函数的求导前言最近有遇到些同学找我讨论sigmoid训练多标签或者用在目标检测中的问题,我想写一些他们的东西,想到以前的博客里躺着这篇文章(2015年读研时机 ...
sigmoid函数求导-只要四步
sigmoid函数的导数是f′(x)=f(x)(1−f(x))f ^ { \prime } ( x ) =f ( x ) ( 1 - f ( x ) ) f′(x)=f(x)(1−f(x)) 推 ...
第二章：1、函数求导
机器学习中问题的求解往往转化为优化问题. 1.函数极限函数的导数是通过极限来定义和表达的.极限理解: 向量的2范数:表示点到原点的欧氏距离,就是向量的长度.点的邻域表示以点a为心,以为半径的一个d维 ...
python求导函数的值_python怎么实现函数求导
python实现函数求导的方法是:1.利用sympy库中的symbols方法传入x和y变量:2.利用sympy库中的diff函数传入需要求导的函数即可返回求导之后的结果. python利用sympy库 ...
python numpy 多项式函数求导求根
python numpy 多项式函数求导求根 """求出多项式的导函数与根 """import numpy as np import m ...
sympy 符号函数求导
原文链接: sympy 符号函数求导上一篇: python 一阶线性拟合下一篇: python 非线性方程组使用sympy 对指定函数表达式求值和求指定位置的导数 from sympy impo ...
函数求导及求微分的基本公式
函数求导及求微分的基本公式
python 求导实现_python怎么实现函数求导
python实现函数求导的方法是:1.利用sympy库中的symbols方法传入x和y变量:2.利用sympy库中的diff函数传入需要求导的函数即可返回求导之后的结果. python利用sympy库 ...
线性代数之矩阵求导（2）标量函数求导基本法则与公式
线性代数之矩阵求导(2)基本法则与公式前言基本约定标量对向量求导基本法则公式标量对矩阵求导基本法则公式后记前言上篇矩阵求导(1)解决了求导时的布局问题,也是矩阵求导最基础的求导 ...

Sigmoid函数求导

Sigmoid函数求导

Sigmoid函数求导相关推荐

最新文章

热门文章