激活函数变种(Sigmoid、Hard-Sigmoid、Tanh、ReLU、Leaky ReLU、ELU、SELU、ReLU6、Swish、Hard-Swish、Mish)
激活函数的作用：提供网络的非线性表达建模能力。
- 线性可分数据：可以通过机器学习(感知机、SVM)找到的线性方程来进行划分。
- 非线性可分数据：找不到一种线性方程来划分数据，此时需要引入非线性函数。
什么样的激活函数是好的激活函数：有上界，无下界，连续，非单调，响应均值为0，无梯度消失和梯度爆炸，易于计算。
Sigmoid
图中，梯度软饱和表示区域零但是没有到0；输出均值不为0，则网络收敛较慢。
Hard-Sigmoid
Tanh
Hard-Tanh
ReLU
Leaky ReLU(a为人为设置)和PReLU(a为学习获得)
ELU
SELU
ReLU6
Swish
Hard-Swish
Mish
总结
在深度不是特别深的CNN中，激活函数的影响一般不会太大。
网络输出层使用Sigmoid
网络中间层优先使用ReLU
深层网络使用Mish、Swish
float16/int8时使用ReLU6
轻量级网络可以将Sigmoid换成Hard-Sigmoid，Swish换成Hard-Swish
激活函数变种(Sigmoid、Hard-Sigmoid、Tanh、ReLU、Leaky ReLU、ELU、SELU、ReLU6、Swish、Hard-Swish、Mish)相关推荐
- 【卷积神经网络】12、激活函数 | Tanh / Sigmoid / ReLU / Leaky ReLU / ELU / SiLU / Mish
文章目录 一.Tanh 二.Sigmoid 三.ReLU 四.Leaky ReLU 五.ELU 六.SiLU 七.Mish 本文主要介绍卷积神经网络中常用的激活函数及其各自的优缺点 最简单的激活函数被 ...
- 激活函数总结sigmoid,tanh,relu,Leaky ReLU,RRelu,ELU,PRelu,SELU,swish
本文总结深度学习的损失函数及其优缺点. 激活函数是深度学习模型的重要成分,目的是将线性输入转换为非线性.常见的激活函数有sigmoid,tanh,ReLU等 1.sigmoid Sigmoid 非线性 ...
- python不支持prelu_python实现并绘制 sigmoid函数，tanh函数，ReLU函数，PReLU函数
python实现并绘制 sigmoid函数,tanh函数,ReLU函数,PReLU函数 # -*- coding:utf-8 -*- from matplotlib import pyplot as ...
- python：实现并绘制 sigmoid函数，tanh函数，ReLU函数，PReLU函数
python实现并绘制 sigmoid函数,tanh函数,ReLU函数,PReLU函数 # -*- coding:utf-8 -*- from matplotlib import pyplot as ...
- sigmoid函数和tanh函数和relu函数和leaky_relu函数
sigmoid函数,tanh函数,relu函数,leaky_relu函数原理与实现 import numpy as np import pandas as pd import matplotlib ...
- 激活函数详解（ReLU/Leaky ReLU/ELU/SELU/Swish/Maxout/Sigmoid/tanh）
神经网络中使用激活函数来加入非线性因素,提高模型的表达能力. ReLU(Rectified Linear Unit,修正线性单元) 形式如下: ReLU公式近似推导:: 下面解释上述公式中的softp ...
- 【深度学习】激活函数：原理+常见激活函数（Sigmoid\Tanh\ReLU\Leaky ReLU\Softmax）
首先需要知道为什么要引入激活函数:激活函数是用来加入非线性因素的,因为线性模型的表达能力不够.引入非线性激活函数,可使深层神经网络的表达能力更加强大. 在深度学习中,线性模型只需要简单的全连接层就能实 ...
- Python画Sigmoid、Relu、Softmax、Tanh、Leaky relu等函数（1）
看鱼书有感,记录一下: 批处理的好处及小批量概念(2) Python(Numpy)实现均方差.交叉熵损失函数等(3) 纯Python实现:函数求导切线图.求偏导.梯度下降法(4) 纯Python实现反 ...
- 深度学习中的一些常见的激活函数集合（含公式与导数的推导）sigmoid, relu, leaky relu, elu， numpy实现
文章目录 Sigmoid(x) 双曲正切 线性整流函数 rectified linear unit (ReLu) PReLU(Parametric Rectified Linear Unit) Lea ...
- 神经网络常用的三大激活函数sigmoid函数、tanh函数、relu函数对比讲解
在我们学习神经网络的时候经常要用到激活函数,但是我们对于为什么要使用这一个,它们之间的区别和优缺点各是什么不太了解.下面,我们来详细说一说这三个激活函数. - sigmoid函数 sigmoid函数也 ...
最新文章
- python numpy安装-Python--Numpy安装
- ceo for one month final around
- 论文推荐 | 2018中国卫星导航年会论文集
- oracle怎样修改表名、列名、字段类型、添加表列、删除表列
- oracle宕机原因排查,oracle不定期的出现宕机的问题诊断
- 没有用户的可用性测试
- 我是如何提升 Rust 编译器的速度？
- LAMP组合之服务分离部署
- NVMe驱动解析-DMA传输
- 阿里巴巴2020春招暑期实习笔试题
- Android Studio Offline work mode
- Java Session对象的钝化和活化
- 获取post请求的数据
- 圆梦之旅 – 日本（一）攻略篇
- eclipse中文版 中英文切换 + 全语言转换
- 透彻理解BN(Batch Normalization)层
- python path包的使用详解
- 位数不足前面补0mysql语句_SQL语句 不足位数补0
- [软件人生]从应聘到骂人
- DG备库delay设置备库延时apply archivelog 但不延时传送归archivelog