神经网络中激活函数对比

神经网络中的常用激活函数

文章目录

神经网络中的常用激活函数
- 1.Sigmoid函数
- 2.Relu(修正线性单元)
- 3.Tanh

在神经网络中，每个神经元需要将加权求和后的值作为激活函数的输入值，然后输出作为下一个神经元的输出。激活函数使得神经网络可以应用到非线性的模型中。本文将介绍几种常用的激活函数。

1.Sigmoid函数

公式如下：
f(x)=11+e−xf(x)=\frac{1}{1+e^{-x}} f(x)=1+e−x1
函数图像：

Sigmoid的输出范围在0-1之间，当神经网络进行反向传播时，函数的输出接近0或者1，梯度接近于0。梯度接近为0时，将导致神经元权重更新变慢，或者不再更新，这种现象叫做梯度消失。函数本身不是以0为中心，函数的所有输出值都大于0，会导致zigzag现象。

2.Relu(修正线性单元)

公式如下：
f(x)=max(0,x)f(x)=max(0,x) f(x)=max(0,x)
示意图：

当x<0时，函数的输出值为y=0，当x≥0时，函数的输出值为y=x。当x≥0时，Relu函数可以使得网络快速收敛，但是当输入小于0的时候，也会存在梯度消失的现象。其比较适合用于隐藏的神经元。

3.Tanh

公式如下：
f(x)=ex−e−xex+e−xf(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}} f(x)=ex+e−xex−e−x
示意图：

Tanh解决了zigzag的问题，但是也同样无法避免梯度消失。

绘图代码:

# !/usr/bin/env python
# -*- coding: utf-8 -*-
###########################################
# 来自panda
###########################################import matplotlib.pyplot as plt
import numpy as npdef sigmoid(x):# 直接返回sigmoid函数return 1. / (1. + np.exp(-x))def relu(x):if x < 0:return 0else:return xdef tanh(x):return (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))def plot_sigmoid():x = np.arange(-10, 10, 0.1)y = sigmoid(x)plt.plot(x, y)ax = plt.gca()ax.spines['right'].set_color('none')ax.spines['top'].set_color('none')ax.spines['bottom'].set_position(('data', 0))ax.spines['left'].set_position(('data', 0))ax.xaxis.set_ticks_position('bottom')plt.title('Sigmoid')plt.grid()plt.show()def plot_relu():x = np.arange(-10, 10, 0.1)y=[]for i in x:y.append(relu(i))plt.plot(x, y)ax = plt.gca()ax.spines['right'].set_color('none')ax.spines['top'].set_color('none')# 把下面的和左面的线设置成（0，0）ax.spines['bottom'].set_position(('data', 0))ax.spines['left'].set_position(('data', 0))ax.xaxis.set_ticks_position('bottom')#    plt.axis('off')plt.title('Relu')plt.grid()plt.show()def plot_tanh():x=np.arange(-10,10,0.2)y=tanh(x)plt.plot(x, y)ax = plt.gca()ax.spines['right'].set_color('none')ax.spines['top'].set_color('none')# 把下面的和左面的线设置成（0，0）ax.spines['bottom'].set_position(('data', 0))ax.spines['left'].set_position(('data', 0))ax.xaxis.set_ticks_position('bottom')#    plt.axis('off')plt.title('Tanh')plt.grid()plt.show()if __name__ == '__main__':plot_sigmoid()plot_relu()plot_tanh()