[Pytorch 常用函数] 激活函数Relu, Leaky Relu
修正线性单元(Rectified linear unit,ReLU)是神经网络中最常用的激活函数。它保留了 step 函数的生物学启发(只有输入超出阈值时神经元才激活),不过当输入为正的时候,导数不为零,从而允许基于梯度的学习(尽管在 x=0 的时候,导数是未定义的)。使用这个函数能使计算变得很快,因为无论是函数还是其导数都不包含复杂的数学运算。然而,当输入为负值的时候,ReLU 的学习速度可能会变得很慢,甚至使神经元直接无效,因为此时输入小于零而梯度为零,从而其权重无法得到更新,在剩下的训练过程中会一直保持静默。
综上可知,ReLu激活函数的优点是:
1,相比Sigmoid/tanh函数,使用梯度下降(GD)法时,收敛速度更快
2,相比Sigmoid/tanh函数,Relu只需要一个门限值,即可以得到激活值,计算速度更快
缺点是:
Relu的输入值为负的时候,输出始终为0,其一阶导数也始终为0,这样会导致神经元不能更新参数,也就是神经元不学习了,这种现象叫做“Dead Neuron”。
为了解决Relu函数这个缺点,在Relu函数的负半区间引入一个泄露(Leaky)值,所以称为Leaky Relu函数,如下图所示:
带泄露修正线性单元(Leaky ReLU)函数是经典(以及广泛使用的)的ReLu激活函数的变体,该函数输出对负值输入有很小的坡度。由于导数总是不为零,这能减少静默神经元的出现,允许基于梯度的学习(虽然会很慢),解决了Relu函数进入负区间后,导致神经元不学习的问题。
Andrew Ng说:
1,Leaky ReLU函数比ReLU函数效果好,但实际中Leaky ReLU并没有ReLU用的多。
2,除了输出层是一个二元分类问题外,基本不用Sigmoid函数
3,Relu是最常用的默认激活函数,若不确定用哪个激活函数,就使用Relu或者Leaky Relu
转载自作者:LabVIEW_Python
原文链接:https://www.jianshu.com/p/7c57e42e88e8
[Pytorch 常用函数] 激活函数Relu, Leaky Relu相关推荐
- 激活函数总结sigmoid,tanh,relu,Leaky ReLU,RRelu,ELU,PRelu,SELU,swish
本文总结深度学习的损失函数及其优缺点. 激活函数是深度学习模型的重要成分,目的是将线性输入转换为非线性.常见的激活函数有sigmoid,tanh,ReLU等 1.sigmoid Sigmoid 非线性 ...
- 激活函数、Sigmoid激活函数、tanh激活函数、ReLU激活函数、Leaky ReLU激活函数、Parametric ReLU激活函数详细介绍及其原理详解
相关文章 梯度下降算法.随机梯度下降算法.动量随机梯度下降算法.AdaGrad算法.RMSProp算法.Adam算法详细介绍及其原理详解 反向传播算法和计算图详细介绍及其原理详解 激活函数.Sigmo ...
- 全新开源,《Pytorch常用函数函数手册》开放下载!内含200余个函数!
近期有很多小伙伴在后台咨询有没有关于Pytorch函数使用的学习资料.Pytorch是目前常用的深度学习框架之一,深受学生党的喜爱,小白本人也是使用的Pytorch框架.为了帮助更多小伙伴,小白学视觉 ...
- 哈工大博士历时半年整理的《Pytorch常用函数函数手册》开放下载!内含200余个函数!...
近期有很多小伙伴在公众号后台咨询有没有关于Pytorch函数使用的学习资料.Pytorch是目前常用的深度学习框架之一,深受学生党的喜爱,小白本人也是使用的Pytorch框架.为了帮助更多小伙伴,小白 ...
- 【卷积神经网络】12、激活函数 | Tanh / Sigmoid / ReLU / Leaky ReLU / ELU / SiLU / Mish
文章目录 一.Tanh 二.Sigmoid 三.ReLU 四.Leaky ReLU 五.ELU 六.SiLU 七.Mish 本文主要介绍卷积神经网络中常用的激活函数及其各自的优缺点 最简单的激活函数被 ...
- 【深度学习】激活函数:原理+常见激活函数(Sigmoid\Tanh\ReLU\Leaky ReLU\Softmax)
首先需要知道为什么要引入激活函数:激活函数是用来加入非线性因素的,因为线性模型的表达能力不够.引入非线性激活函数,可使深层神经网络的表达能力更加强大. 在深度学习中,线性模型只需要简单的全连接层就能实 ...
- 常用的激活函数sigmoid,relu,tanh
1.什么是激活函数? 在神经网络中,我们经常可以看到对于某一个隐藏层的节点,该节点的激活值计算一般分为两部: (1)输入该节点的值为x1,x2时,在进入这个隐藏节点后,会先进行一个线性变换,计算出值z ...
- 激活函数详解(ReLU/Leaky ReLU/ELU/SELU/Swish/Maxout/Sigmoid/tanh)
神经网络中使用激活函数来加入非线性因素,提高模型的表达能力. ReLU(Rectified Linear Unit,修正线性单元) 形式如下: ReLU公式近似推导:: 下面解释上述公式中的softp ...
- 深度学习中的一些常见的激活函数集合(含公式与导数的推导)sigmoid, relu, leaky relu, elu, numpy实现
文章目录 Sigmoid(x) 双曲正切 线性整流函数 rectified linear unit (ReLu) PReLU(Parametric Rectified Linear Unit) Lea ...
最新文章
- 虚拟机WIN7显示主机ubuntu的文件
- 科研|Science回应中国燃料电池研究“造假”:发函重点关注,之前撤稿率100%
- 2寸的照片长宽各是多少_贵州公务员考试照片尺寸要求是多少
- Trick(十)——any/all 实现
- Android与物联网设备通信-网络模型分层
- mac 安装 mongo 及基本命令
- 三列自适应布局(圣杯布局)
- python win32com 字体选择_用python的win32com模块替换word中的文字搞定批量打印奖状...
- sqlserver字符串拼接
- linux 安装java环境
- C语言按行列加密解密(英文文本)
- 关于visio安装时出现出现回滚更改以至于安装失败的解决办法
- 防止 跨站请求伪造(CSRF)
- C# 海康人脸识别设备初开发(二)话不多说以下完整例子
- 3.项目立项管理+信息系统项目管理+野马合集
- 异常System.AccessViolationException的处理方式
- DOTA2人机决战:2:0!OpenAI击败世界冠军OG
- Qlikview配置ODBC连接SQL SERVER/ORACLE
- linux-ramparse-v2 for qcom
- 北京科技大学 计算机考研真题,北京科技大学计算机系统结构和组成原理考研真题...
热门文章
- C# 实现类似SMSS的执行脚本的功能
- insert 插入数据
- Deinterlacer(影像解交错)概念与解析
- gpu显示off_GPU常见故障及排查方法
- 3种侧链压缩方法让音乐鼓点更有力—FL Studio教程
- easyRtc设置视频清晰度的方法
- Linux中用 grep查找特定进程,屏蔽grep进程本身(也就是不出现grep --color=auto)【转载】
- etcdctl-管理操作etcd集群
- Android 源码 PackageManagerService 启动流程分析
- ZigBee-CC2530单片机 - 实现计算机串口通讯控制LED发光二极管