各种activation function(激活函数) 简介
之前在使用activation function的时候只是根据自己的经验来用，例如二分类使用sigmoid或者softmax，多分类使用softmax，Dense一般都是Relu，例如tanh几乎没用过，最近在复线别人代码的时候发现别人Dense层使用的tanh激活函数，所以决定系统的看一下各类激活函数以及其优缺点。
激活函数分类线性和非线性，例如Dense层如果不指定激活函数则会默认activation = ‘linear’，常见的非线性激活函数有sigmoid、softmax、relu、tanh等。
一、Sigmoid函数
sigmoid激活函数的优点是它是便于求导的平滑函数，但是缺点有：
1、容易出现梯度消散现象
2、函数的输出并不是zero-centered的
3、幂运算相对耗时
二、tanh函数
tanh函数解决了zero-centered问题，但是梯度消散和幂运算问题依旧存在。
三、ReLu函数
ReLU函数其实就是取最大值，虽然很简单但是有很多优点：
1、解决了梯度消散的问题（在正区间）
2、计算速度快
3、收敛速度快
但是ReLU也有一些问题：
1、ReLU的输出不是zero-cemtered
2、可能会导致某些神经元永远不会被激活，从而导致对应的参数不能被更新。主要有两种可能导致这种现象的情况：(1)非常不幸的参数初始化 (2)学习率太高
但是整体来看目前最好用的还是ReLU！！！
各种activation function(激活函数) 简介相关推荐
- 激活函数 activation function
文章目录 激活函数 activation function Sigmoid Sigmoid 反向传播 Tanh ReLU Dead ReLU Problem 产生的原因 激活函数 activation ...
- 激活函数（activation function）
激活函数activation function 激活函数的介绍 阶跃函数(Step Function)--- 最简单的二分类非线性激活函数开始 mish激活函数 激活函数的介绍 首先看一个普通的神经网 ...
- 激活函数（Activation Function）及十大常见激活函数
目录 1 激活函数的概念和作用 1.1 激活函数的概念 1.2 激活函数的作用 1.3 通俗地理解一下激活函数(图文结合) 1.3.1 无激活函数的神经网络 1.3.2 带激活函数的神经网络 2 神经 ...
- 深度学习中常见的10种激活函数（Activation Function）总结
目录 一:简介 二:为什么要用激活函数 三:激活函数的分类 四:常见的几种激活函数 4.1.Sigmoid函数 4.2.Tanh函数 4.3.ReLU函数 4.4.Leaky Relu函数 4.5.P ...
- Homepage Machine Learning Algorithm 浅谈深度学习中的激活函数 - The Activation Function in Deep Learning
原文地址:http://www.cnblogs.com/rgvb178/p/6055213.html 版权声明:本文为博主原创文章,未经博主允许不得转载. 激活函数的作用 首先,激活函数不是真的要去激 ...
- MXNet 定义新激活函数（Custom new activation function）
https://blog.csdn.net/weixin_34260991/article/details/87106463 这里使用比较简单的定义方式,只是在原有的激活函数调用中加入. 准备工作 下 ...
- [TensorFlow 学习笔记-06]激活函数(Activation Function)
[版权说明] TensorFlow 学习笔记参考: 李嘉璇 著 TensorFlow技术解析与实战 黄文坚 唐源 著 TensorFlow实战郑泽宇 顾思宇 著 TensorFlow实战Googl ...
- 浅谈深度学习中的激活函数 - The Activation Function in Deep Learning
原文地址:http://www.cnblogs.com/rgvb178/p/6055213.html 版权声明:本文为博主原创文章,未经博主允许不得转载. 激活函数的作用 首先,激活函数不是真的要去激 ...
- 【机器学习】神经网络-激活函数-面面观(Activation Function)
神经网络之激活函数(Activation Function) 本博客仅为作者记录笔记之用,不免有很多细节不对之处. 还望各位看官能够见谅,欢迎批评指正. 更多相关博客请猛戳:http://blog.c ...
最新文章
- MySQL 语句整理 2019-5-3
- http 400错误
- Dispatch 方法简介
- 蓝图中实现人物移动1
- linux内核的I2C子系统详解4——i2c-s3c2410.c文件中的adapter、algorithm
- mac mysql-share_mac下安装mysql
- Python模拟新浪微博登录转载，是我的那篇资料来源
- android 签名打包 Invalid keystore format
- 1口百兆光纤收发器工业导轨式发送机接收机1百兆光1百兆电工业以太网光纤收发器
- 产品经理如何写好一份简历
- 简历推荐_5位AI产品经理
- 产品读书《人类简史》
- [内附完整源码和文档] 基于Java的人事档案管理系统
- 计算机点击桌面无反应,为什么鼠标点击桌面图标没反应？
- mysql每秒写入量_MySQL每秒可以插入多少条记录？影响MySQL插入速度的因素有哪些？...
- Mac conda 使用
- 11.组合查询union
- 工控系统主动安全防御体系的构建
- Oracle中where后面加if,SQL：WHERE子句中的IF子句
- “事件营销”不等于“活动营销”