激活函数（sigmoid、tanh、ReLU、leaky ReLU）

2024-05-29 22:58:17

为了保证神经元的计算包含简洁性和功能性，神经元的计算包括线性计算和非线性计算。

今天主要讲集中非线性计算（即激活函数），包括:

sigmoid

tanh

ReLU

leaky ReLU

1、sigmoid函数

sigmoid函数可以将输出映射到（0,1）的区间，适合做二分类任务。

sigmoid函数公式：

其导数为：

sigmoid函数图形为：

sigmoid函数具有平滑易于求导的优点，但是它的计算量大，反向传播时，容易出现梯度消失的情况，从未无法完成深层网络训练。

2、tanh函数

tanh函数和sigmoid函数十分相似，不同的是tanh会将输出映射到（-1,1）。

tanh函数公式：

tanh函数导数：

tanh函数图形为：

sigmoid函数和tanh函数是最早被研究的激活函数，tanh是sigmoid函数的改进版，改进了sigmoid函数不是以零为中心的问题，加快了收敛速度。因此在实际使用中，更多地是采用tanh函数。

梯度消失问题：

虽然tanh在一定程度上改进了sigmoid函数，但是观察这两种函数的图像会发现，当自变量很大或很小时，图形的斜率是接近0的。也就是说，当输入绝对值非常大的值时，输出值的变化不明显，这就是梯度消失问题。

3、ReLU

为了解决梯度消失问题，通常采用ReLU（Linear rectification function 修正线性单元）。

ReLU公式：

ReLU导数：

ReLU图形形状：

4、leaky ReLU

leaky ReLU是ReLU的一个变种，当x<0时，函数的梯度不为0，而是一个很小的常数，如0.01。

leaky ReLU公式：

leaky ReLU导数：

leaky ReLU图形：

在神经网络中，不同层可以有不同的激活函数，在二元分类任务时，我们可以在最后一层（即输出层）采用sigmoid函数，其它层采用ReLU或leaky ReLU。

激活函数（sigmoid、tanh、ReLU、leaky ReLU）相关推荐

激活函数总结sigmoid,tanh,relu,Leaky ReLU,RRelu,ELU,PRelu,SELU,swish
本文总结深度学习的损失函数及其优缺点. 激活函数是深度学习模型的重要成分,目的是将线性输入转换为非线性.常见的激活函数有sigmoid,tanh,ReLU等 1.sigmoid Sigmoid 非线性 ...
【Pytorch神经网络理论篇】 07 激活函数+Sigmoid+tanh+ReLU+Swish+Mish+GELU
①激活函数:主要通过加入非线性因素,你不线性模型表达能力不足的缺陷,因为神经网络中的数学基础是处处可微分的函数,故要求激活函数也应该保证数据的输入与输出是可微分. ②激活函数可以分为饱和激活函数与不饱 ...
三种激活函数——Sigmoid,Tanh, ReLU以及卷积感受野的计算
1. 三种激活函数--Sigmoid, Tanh, ReLU 1.1 Sigmoid 1.1.1 公式 S ( x ) = 1 1 + e − x S(x) = \frac{1}{1 + e^{-x} ...
[Pytorch 常用函数] 激活函数Relu, Leaky Relu
修正线性单元(Rectified linear unit,ReLU)是神经网络中最常用的激活函数.它保留了 step 函数的生物学启发(只有输入超出阈值时神经元才激活),不过当输入为正的时候,导数不为 ...
R语言使用自定义函数编写深度学习Leaky ReLU激活函数、并可视化Leaky ReLU激活函数
R语言使用自定义函数编写深度学习Leaky ReLU激活函数.并可视化Leaky ReLU激活函数目录
【卷积神经网络】12、激活函数 | Tanh / Sigmoid / ReLU / Leaky ReLU / ELU / SiLU / Mish
文章目录一.Tanh 二.Sigmoid 三.ReLU 四.Leaky ReLU 五.ELU 六.SiLU 七.Mish 本文主要介绍卷积神经网络中常用的激活函数及其各自的优缺点最简单的激活函数被 ...
【深度学习】激活函数：原理+常见激活函数（Sigmoid\Tanh\ReLU\Leaky ReLU\Softmax）
首先需要知道为什么要引入激活函数:激活函数是用来加入非线性因素的,因为线性模型的表达能力不够.引入非线性激活函数,可使深层神经网络的表达能力更加强大. 在深度学习中,线性模型只需要简单的全连接层就能实 ...
激活函数详解（ReLU/Leaky ReLU/ELU/SELU/Swish/Maxout/Sigmoid/tanh）
神经网络中使用激活函数来加入非线性因素,提高模型的表达能力. ReLU(Rectified Linear Unit,修正线性单元) 形式如下: ReLU公式近似推导:: 下面解释上述公式中的softp ...
激活函数--Sigmoid,tanh,RELU,RELU6,Mish,Leaky ReLU等
激活函数目前自己使用比较多的激活函数RELU, RELU6; LeakyReLU; SELU; Mish :激活函数看:计算量:准确率: 大多数激活函数pytorch里有已经包装好了: Non-li ...
Python画Sigmoid、Relu、Softmax、Tanh、Leaky relu等函数（1）
看鱼书有感,记录一下: 批处理的好处及小批量概念(2) Python(Numpy)实现均方差.交叉熵损失函数等(3) 纯Python实现:函数求导切线图.求偏导.梯度下降法(4) 纯Python实现反 ...

最新文章

热门文章