深度学习数学基础之激活函数与导数

活动地址：CSDN21天学习挑战赛

函数与导数

函数

神经网路最常听到的一个名词就是激活函数，那激活函数是什么呢？

百度百科是这样说的，函数，最早由中国清朝数学家李善兰翻译，出于其著作《代数学》。之所以这么翻译，他给出的原因是“凡此变数中函彼变数者，则此为彼之函数”，也即函数指一个量随着另一个量的变化而变化，或者说一个量中包含另一个量。

其实，函数是一种映射关系，通过函数，可以将一个变量转化成另一个变量，而在神经网路中，这个变量是矩阵，是张量。

激活函数

常见的激活函数有：

sigmoid函数：
f(x)=11+e−xf(x) = \frac{1}{1+e^{-x}} f(x)=1+e−x1
双曲正切函数：
f(x)=tanh(x)=21+e−2x−1f(x) = tanh(x)= \frac{2}{1+e^{-2x}}-1 f(x)=tanh(x)=1+e−2x2−1
ReLU函数：
f(x)={max(0,x),x≥00f(x) = \begin{cases} max(0,x),\quad x \ge 0 \\ 0 \end{cases} f(x)={max(0,x),x≥00
用matplotlib简单的画一下三个激活函数，如下

import matplotlib.pyplot as pltx=np.arange(-5,5)
f1=1/ (1+np.exp(-x))
f2=2/(1+np.exp(-2*x))-1
def ReLu2(x):return max(0,x) if x>=0 else 0
vec=np.vectorize(ReLu2)plt.plot(x,f1,'.-b', label='sigmoid')
plt.plot(x,f2, '-r',label='tanh')
plt.plot(x,vec(x), '-g',label='ReLU')
plt.grid()
plt.legend()
plt.show()

导数

导数(Derivative)，也叫导函数值。又名微商，是微积分中的重要基础概念。当函数y=f(x)y=f(x)y=f(x)的自变量 xxx 在一点 x0x_0x0 上产生一个增量 △x\bigtriangleup x△x 时，函数输出值的增量 △y\bigtriangleup y△y 与自变量增量 △x\bigtriangleup x△x 的比值在 △x\bigtriangleup x△x 趋于0时的极限 aaa 如果存在，aaa 即为在 x0x_0x0 处的导数，记作 f′(x0){f}' (x_0)f′(x0) 或 $ \frac {df(x_0)}{dx}$，即
f′(x0)=lim⁡△x→0△y△x=lim⁡△x→0f(x0+△x)−f(x0)△x{f}' (x_0) = \lim_{\bigtriangleup x \to 0} \frac{\bigtriangleup y}{\bigtriangleup x} = \lim_{\bigtriangleup x \to 0} \frac{f(x_0 + \bigtriangleup x) - f(x_0)}{\bigtriangleup x} f′(x0)=△x→0lim△x△y=△x→0lim△xf(x0+△x)−f(x0)

所以激活函数sigmoid函数的导数为：

f′(x)=(11+e−x)′=ex(1+e−x)2=f(x)1+ex−11+e−x=f(x)(1−f(x))f'(x) = (\frac{1}{1+e^{-x}})'= \frac{e^x}{(1+e^{-x})^2}=f(x) \frac{1+e^x-1}{1+e^{-x}}=f(x)(1-f(x)) f′(x)=(1+e−x1)′=(1+e−x)2ex=f(x)1+e−x1+ex−1=f(x)(1−f(x))