Sigmoid 函数的求导过程

Sigmoid 函数的公式如下：

σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1 + e^{-x}} σ(x)=1+e−x1

求导之前，先看一下 x x x 是如何一步一步变化到 σ ( x ) \sigma(x) σ(x)的：

σ : x → − x → e − x → 1 + e − x → ( 1 + e − x ) − 1 \sigma : x\rightarrow-x \rightarrow e^{-x} \rightarrow 1 + e^{-x} \rightarrow (1+e^{-x})^{-1} σ:x→−x→e−x→1+e−x→(1+e−x)−1

假设有如下四个函数：
f : x → − x f : x\rightarrow -x f:x→−x
g : f → e f g : f\rightarrow e^{f} g:f→ef
h : g → 1 + g h : g\rightarrow 1 + g h:g→1+g
σ : h → h − 1 \sigma: h\rightarrow h^{-1} σ:h→h−1

那么有：
σ ( x ) = h ∘ g ∘ f ( x ) \sigma(x) = h \circ g \circ f(x) σ(x)=h∘g∘f(x)

根据链式求导法则：
∂ σ ∂ x = ∂ σ ∂ h ∂ h ∂ g ∂ g ∂ f ∂ f ∂ x \frac{\partial{\sigma}}{\partial{x}} = \frac{\partial{\sigma}}{\partial{h}}\frac{\partial{h}}{\partial{g}}\frac{\partial{g}}{\partial{f}}\frac{\partial{f}}{\partial{x}} ∂x∂σ=∂h∂σ∂g∂h∂f∂g∂x∂f

其中
∂ σ ∂ h = − h − 2 \frac{\partial{\sigma}}{\partial{h}} = -h^{-2} ∂h∂σ=−h−2
∂ h ∂ g = 1 \frac{\partial{h}}{\partial{g}} = 1 ∂g∂h=1
∂ g ∂ f = e f \frac{\partial{g}}{\partial{f}} = e^{f} ∂f∂g=ef
∂ f ∂ x = − 1 \frac{\partial{f}}{\partial{x}} = -1 ∂x∂f=−1

所以：
∂ σ ∂ x = − h − 2 ⋅ 1 ⋅ e f ⋅ ( − 1 ) \frac{\partial{\sigma}}{\partial{x}} =-h^{-2}\cdot1\cdot e^{f}\cdot(-1) ∂x∂σ=−h−2⋅1⋅ef⋅(−1)
其中：
h = 1 + e − x h = 1+e^{-x} h=1+e−x
f = − x f=-x f=−x

所以：

即：
∂ σ ∂ x = σ ( x ) ⋅ ( 1 − σ ( x ) ) \frac{\partial{\sigma}}{\partial{x}}=\sigma{(x)}\cdot(1-\sigma{(x)}) ∂x∂σ=σ(x)⋅(1−σ(x))

Sigmoid 函数的求导过程相关推荐

sigmoid函数的求导过程
sigmoid函数的求导过程涉及"链式求导"和"自然指数"的求导.
最详细的Sigmoid函数的求导推导过程
Sigmoid函数为logistic回归.神经网络等模型的激活函数. 函数图像如下: 定义域是从 (−∞,+∞),值域是(0,1). 函数: 导数: 推导过程为: ...
sigmoid函数手动求导
sigmoid函数、tanh函数、softmax函数及求导
sigmoid函数和tanh函数都是激活函数,接收一个输入,产生一个输出.这里的求导是对激活函数求导.而softmax函数是一个多输入多输出的激活函数,这里提到的求导是对经过softmax函数后进行交 ...
激活函数汇总，包含公式、求导过程以及numpy实现，妥妥的万字干货
文章目录 1.激活函数的实现 1.1 sigmoid 1.1.1 函数 1.1.2 导数 1.1.3 代码实现 1.2 softmax 1.2.1 函数 1.2.2 导数 1.2.3 代码实现 1.3 ...
Deep Learning基础--Softmax求导过程
一.softmax函数 softmax用于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类! 假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个 ...
数学----常见函数求导过程
常见函数求导过程前言看了之前的导数,有了一个结论,一般导函数的表示如下: f ′ ( t ) = lim ⁡ Δ t → 0 f ( t + Δ t ) − f ( t ) Δ t f'(t) = ...
高等数学——复杂函数的求导方法
本文始发于个人公众号:TechFlow,原创不易,求个关注上一篇文章我们复习了函数求导的定义和一些常见函数的导数,今天这篇文章我们回顾一下复杂函数的求导方法.先强调一下,今天的文章很重要,想要看懂机 ...
变限积分函数的求导（终极版神器）
变限积分函数的求导(终极版神器) 在一定程度上,我们可以将积分和求导当成互逆运算. 可是如果为变限积分也即在积分上下限中也存在变量的情况下,就不是简单地将积分号去掉这么简单了,该如何运算呢. 一般教辅 ...

Sigmoid 函数的求导过程

Sigmoid 函数的求导过程相关推荐

最新文章

热门文章