激活函数逻辑回归_神经网络激活函数：sigmoid、tanh、ReLU、softmax

神经网络激活函数：sigmoid、tanh、ReLU、softmax

发布时间：2018-10-07 21:32,

浏览次数：874

, 标签：

sigmoid

tanh

ReLU

softmax

激活函数作用：

将权值结果转化成分类结果。常用于

* 逻辑回归(Logistic Regression)

* 神经网络(Neural Network)

这两处，激活函数都用于计算一个线性函数的结果。

sigmoid函数：

在机器学习中可用在分类问题上，如逻辑回归模型分类器，将输出值映射到(0,1)

总和为1，可以从概率角度理解，则输出时选择值最大的(概率最大)作为预测值

Sigmoid函数的导数是其本身的函数，即 f ′ (x)=f(x) (1−f(x) )

推导：

又

sigmod函数关于(0,0.5)成中心对称，值域为(0,1)与概率值[0,1]对应，因此可与概率分布联系起来

(sigmod函数由伯努利分布推出：对于分类问题，尤其是二分类，都假定服从伯努利分布)

softmax

用于多分类过程，把多个神经元输出值映射到(0,1)总和为1，可以从概率角度理解，则输出时选择值最大的(概率最大)作为预测值

tanh:双曲正切

奇函数，值域:(-1,1)

导数：f '(x)=1 - f(x)^2

()

ReLU

ReLU(x)=max(0, x)

加快了训练速度，克服了梯度消失(层数太大)问题

区别主要在负数端ReLU(x)=max(0, x),Softplus(x)=ln(1+ex):softplus 是对 ReLU 的平滑逼近的解析函数形式。

BP神经网络常用函数：

Log-sigmoid型函数的输入值可取任意值，输出值在0和1之间；tan-sigmod型传递函数tansig的输入值可取任意值，输出值在-1到+1之间；线性传递函数purelin的输入与输出值可取任意值。BP网络通常有一个或多个隐层，该层中的神经元均采用sigmoid型传递函数，输出层的神经元则采用线性传递函数，整个网络的输出可以取任意值。

logsig

tansig

tansig(n)=2/(1+exp(-2*n))-1

传输函数的选择，这个怎么说，假设你想预测的结果是几个固定值，如1,0等，满足某个条件输出1，不满足则0的话，首先想到的是hardlim函数，阈值型的，当然也可以考虑其他的。

假如网络是用来表达某种线性关系时，用purelin---线性传输函数；若是非线性关系的话，用别的非线性传递函数，多层网络时，每层不一定要用相同的传递函数，可以是三种配合，可以使非线性和线性，阈值的传递函数等

compet---竞争型传递函数；

hardlim---阈值型传递函数；

hardlims---对称阈值型传输函数；

logsig---S型传输函数

poslin---正线性传输函数；

purelin---线性传输函数；

radbas---径向基传输函数；

satlin---饱和线性传输函数；

satlins---饱和对称线性传输函数；

softmax---柔性最大值传输函数；

tansig---双曲正切S型传输函数；

tribas---三角形径向基传输函数；

激活函数逻辑回归_神经网络激活函数：sigmoid、tanh、ReLU、softmax相关推荐

三种激活函数——Sigmoid,Tanh, ReLU以及卷积感受野的计算
1. 三种激活函数--Sigmoid, Tanh, ReLU 1.1 Sigmoid 1.1.1 公式 S ( x ) = 1 1 + e − x S(x) = \frac{1}{1 + e^{-x} ...
逻辑回归和线性回归的区别_机器学习简介之基础理论- 线性回归、逻辑回归、神经网络...
本文主要介绍一些机器学习的基础概念和推导过程,并基于这些基础概念,快速地了解当下最热技术AI的核心基础-神经网络. 主要分为三大部分:线性回归,逻辑回归,神经网络. 首先看下机器学习的定义及常用的分类 ...
机器学习简介之基础理论- 线性回归、逻辑回归、神经网络
http://blog.itpub.net/29829936/viewspace-2640084/ 本文主要介绍一些机器学习的基础概念和推导过程,并基于这些基础概念,快速地了解当下最热技术AI的核心基 ...
python逻辑回归_逻辑回归：使用Python的简化方法
逻辑回归的目标是什么? 在逻辑回归中,我们希望根据一个或多个自变量(X)对因变量(Y)进行建模.这是一种分类方法.此算法用于分类的因变量.Y使用一个函数建模,该函数为X的所有值提供0到1之间的输出.在 ...
【Pytorch神经网络理论篇】 07 激活函数+Sigmoid+tanh+ReLU+Swish+Mish+GELU
①激活函数:主要通过加入非线性因素,你不线性模型表达能力不足的缺陷,因为神经网络中的数学基础是处处可微分的函数,故要求激活函数也应该保证数据的输入与输出是可微分. ②激活函数可以分为饱和激活函数与不饱 ...
【深度学习】激活函数：原理+常见激活函数（Sigmoid\Tanh\ReLU\Leaky ReLU\Softmax）
首先需要知道为什么要引入激活函数:激活函数是用来加入非线性因素的,因为线性模型的表达能力不够.引入非线性激活函数,可使深层神经网络的表达能力更加强大. 在深度学习中,线性模型只需要简单的全连接层就能实 ...
常见激活函数持续更新)sigmoid Tanh Relu Leaky-ReLU RReLU
激活函数是来向神经网络中引入非线性因素的,通过激活函数,神经网络就可以拟合各种曲线. sigmoid 公式: 函数图像: Sigmoid函数也叫 Logistic 函数,用于隐层神经元输出,取值范 ...
常用的激活函数汇总-Sigmoid, tanh, relu, elu
激活函数(又叫激励函数,后面就全部统称为激活函数)是模型整个结构中的非线性扭曲力,神经网络的每层都会有一个激活函数.那他到底是什么,有什么作用?都有哪些常见的激活函数呢? 深度学习的基本原理就是基于人 ...
激活函数总结sigmoid,tanh,relu,Leaky ReLU,RRelu,ELU,PRelu,SELU,swish
本文总结深度学习的损失函数及其优缺点. 激活函数是深度学习模型的重要成分,目的是将线性输入转换为非线性.常见的激活函数有sigmoid,tanh,ReLU等 1.sigmoid Sigmoid 非线性 ...

激活函数逻辑回归_神经网络激活函数：sigmoid、tanh、ReLU、softmax

激活函数逻辑回归_神经网络激活函数：sigmoid、tanh、ReLU、softmax相关推荐

最新文章

热门文章

激活函数 逻辑回归_神经网络激活函数：sigmoid、tanh、ReLU、softmax

激活函数 逻辑回归_神经网络激活函数：sigmoid、tanh、ReLU、softmax相关推荐

最新文章

热门文章

激活函数逻辑回归_神经网络激活函数：sigmoid、tanh、ReLU、softmax

激活函数逻辑回归_神经网络激活函数：sigmoid、tanh、ReLU、softmax相关推荐