神经网络的知识

1. 激活函数 y=f(Wx+b)

常用的激活函数有sigmoid、tanh、ReLu、LeakyReLU等

​

为什么需要激活函数(这里说的激活函数一般指非线性激活)，假设不用激活函数(相当于激活函数f(x)=x​, 这是每一层的节点的输入都是上一层输出的线性函数，很容易证明，无论神经网络有多少层，输出都是输入的线性组合，与没有隐含层的效果相当，这种情况就是原始的感知器(Perceptron)，那么网络的逼近能力是相当有限的。因此，需要引入非线性函数作为激活函数，这样深层的神经网络具有更强的逼近能力(不在是输入的线性组合，理论上神经网络基本可以逼近任意函数)

Sigmoid函数：

Sigmoid函数值常用的非线性激活函数，它的数学形式如下：

几何图像如下：

特点：它能把输入的连续实值变换为0和1之间的输出，特别地，当输入如果是非常大的负数，那么输出就是0，反之，如果输入非常大的正数，输出就是1.。且sigmoid的导数为f(z)*(1-f(z))

缺点：(1)在深度神经网络中梯度的反向传播是导致梯度爆炸/梯度消失，梯度爆炸发生的概率较少，梯度消失的概率很大。

​

如果我们初始化神经网络的权值为 [0,1] 之间的随机值，由反向传播算法的数学推导可知，梯度从后向前传播时，每传递一层梯度值都会减小为原来的0.25倍，如果神经网络隐层特别多，那么梯度在穿过多层后将变得非常小接近于0，即出现梯度消失现象；当网络权值初始化为 (1,+∞) (1,+∞)(1,+∞) 区间内的值，则会出现梯度爆炸情况。

(2)其解析式中含有幂运算，计算机求解时相对来讲比较耗时。对于规模比较大的深度网络，这会较大地增加训练时间。

适用于：当我们尝试将值分类到特定的类时，使用Sigmoid函数非常理想。

ReLU函数

数学表达式：

Relu函数及其导数的图像如下图所示:

​ReLU函数其实就是一个取最大值函数，注意这并不是全区间可导的，但是我们可以取sub-gradient，如上图所示。ReLU虽然简单，但却是近几年的重要成果，有以下几大优点：

1) 解决了gradient vanishing问题 (在正区间)

2)计算速度非常快，只需要判断输入是否大于0

3)收敛速度远快于sigmoid和tanh

ReLU也有几个需要特别注意的问题：

1)ReLU的输出不是zero-centered

2)Dead ReLU Problem，指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生: (1) 非常不幸的参数初始化，这种情况比较少见 (2) learning rate太高导致在训练过程中参数更新太大，不幸使网络进入这种状态。解决方法是可以采用Xavier初始化方法，以及避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法。

尽管存在这两个问题，ReLU目前仍是最常用的activation function，在搭建人工神经网络的时候推荐优先尝试！

优点：不会同时激活所有的神经元，这意味着，在一段时间内，只有少量的神经元被激活，神经网络的这种稀疏性使其变得高效且易于计算。

缺点：x＜0时，梯度是零。随着训练的进行，可能会出现神经元死亡，权重无法更新的情况。也就是说，ReLU神经元在训练中不可逆地死亡了。

Tanh函数

数学表达式：

tanh函数及其导数的几何图像如下图:

​tanh解决了Sigmoid函数的不是zero-centered输出问题，然而，梯度消失(gradient vanishing)的问题和幂运算的问题仍然存在。解决了sigmoid的大多数缺点，仍然有两边学习率太低的缺点

如何选择正确的激活函数？

根据问题的性质，我们可以为神经网络更快更方便地收敛作出更好的选择。

用于分类器时，Sigmoid函数及其组合通常效果更好。

由于梯度消失问题，有时要避免使用sigmoid和tanh函数。

ReLU函数是一个通用的激活函数，目前在大多数情况下使用。

如果神经网络中出现死神经元，那么PReLU函数就是最好的选择。

请记住，ReLU函数只能在隐藏层中使用。

一点经验：你可以从ReLU函数开始，如果ReLU函数没有提供最优结果，再尝试其他激活函数。