深度学习中的sigmod函数、tanh函数、ReLU函数

1. sigmod核函数
sigmod函数的数学公式为:

函数取值范围(0,1),函数图像下图所示:

二. tanh(x) 函数
tanh(x)函数的数学公式为：

函数取值范围(-1,1),函数图像下图所示：

三. ReLU（校正线性单元：Rectified Linear Unit）激活函数

ReLU函数公式为 :

图像为：

四、高斯核函数（RBF）
又称径向基函数，公式如下所示：

高斯径向基函数是一种局部性强的核函数，其可以将一个样本映射到一个更高维的空间内，该核函数是应用最广的一个，无论大样本还是小样本都有比较好的性能，而且其相对于多项式核函数参数要少，因此大多数情况下在不知道用什么核函数的时候，优先使用高斯核函数。

参考文献

[1] https://zhuanlan.zhihu.com/p/21462488?refer=intelligentunit 函数说明
[2] http://meta.math.stackexchange.com/questions/5020/mathjax-basic-tutorial-and-quick-reference 公式书写
[3] https://en.wikipedia.org/wiki/Modern_Greek 阿拉伯字母
[4]http://baike.baidu.com/linkurl=7PMqoeME8neZbhn6hsV0YPZWz1Acv2kr41WpFfTJmaqqvmjX43SkvYcrzuwN08OQHNGEFRzHiBj164Lp9JWwmatanh(x)说明

深度学习中的sigmod函数、tanh函数、ReLU函数相关推荐

深度学习中的损失函数总结以及Center Loss函数笔记
北京上海巡回站 | NVIDIA DLI深度学习培训 2018年1月26/1月12日 NVIDIA 深度学习学院带你快速进入火热的DL领域阅读全文 ...
sigmoid函数_深度学习中激活函数总结
一.前言前段时间通过引入新的激活函数Dice,带来了指标的提升,借着这个机会,今天总结下常用的一些激活函数. 激活函数在深度学习中起着非常重要的作用,本文主要介绍下常用的激活函数及其优缺点.主要分为 ...
深入理解深度学习中的激活函数
1. 什么是激活函数? 生物神经网络是人工神经网络的起源.然而,人工神经网络(ANNs)的工作机制与大脑的工作机制并不是十分的相似.不过在我们了解为什么把激活函数应用在人工神经网络中之前,了解一下激活 ...
深度学习中 Internal Covariate Shift 问题以及 Batch Normalization 的作用
深度学习中 Internal Covariate Shift 问题以及 Batch Normalization 的作用前言一.Batch Normalization是什么? 1.1 Interna ...
深度学习中的注意力机制（二）
作者 | 蘑菇先生来源 | NewBeeNLP 目前深度学习中热点之一就是注意力机制(Attention Mechanisms).Attention源于人类视觉系统,当人类观察外界事物的时候,一般不 ...
深度学习中的注意力机制（一）
作者 | 蘑菇先生来源 | NewBeeNLP 头图 | CSDN下载自视觉中国目前深度学习中热点之一就是注意力机制(Attention Mechanisms).Attention源于人类视觉系统 ...
【NLP】四万字全面详解 | 深度学习中的注意力机制（二）
NewBeeNLP原创出品公众号专栏作者@蘑菇先生知乎 | 蘑菇先生学习记前情提要:四万字全面详解 | 深度学习中的注意力机制(一) 目前深度学习中热点之一就是注意力机制(Attention ...
【NLP】全面详解 | 深度学习中的注意力机制（一）
NewBeeNLP原创出品公众号专栏作者@蘑菇先生知乎 | 蘑菇先生学习记目前深度学习中热点之一就是注意力机制(Attention Mechanisms).Attention源于人类视觉系统,当 ...
Homepage Machine Learning Algorithm 浅谈深度学习中的激活函数 - The Activation Function in Deep Learning
原文地址:http://www.cnblogs.com/rgvb178/p/6055213.html 版权声明:本文为博主原创文章,未经博主允许不得转载. 激活函数的作用首先,激活函数不是真的要去激 ...

深度学习中的sigmod函数、tanh函数、ReLU函数

深度学习中的sigmod函数、tanh函数、ReLU函数相关推荐

最新文章

热门文章