什么是激励函数（Activation Functions）

简而言之，激励函数是为了解决我们日常生活中无法用线性方程所概括的问题

将人工神经网络转化为数学模型，可以看作是y=Wx，y是输出值，x是输入值，W就是y到x的一种映射关系（为一个参数）

那么，对于线性问题，W是很容易计算出来的，而且它一般是一个常数值，对于非线性问题，在二维坐标系上，函数图像并不是一条直线，而是一条曲线，此时求出W是一个非常难的问题，所以引入激励函数，令y=AF（Wx），其中，AF（）为激励函数，即一些非线性方程（relu、sigmoid、tanh等）

sigmoid，tanh比较常见于全连接层，relu常见于卷积层

比如，sigmoid的函数表达式如下

其中 z 是一个线性组合，比如 z 可以等于：b + w1*x1 + w2*x2

通过代入很大的正数或很小的负数到g(z)函数中可知，其结果趋近于0或1

因此，sigmoid函数g(z)的图形表示如下（横轴表示定义域，纵轴表示值域）：

也就是说，sigmoid函数的功能是相当于把一个实数压缩至0到1之间

当z是非常大的正数时，g(z)会趋近于1，而z是非常小的负数时，则g(z)会趋近于0

压缩至0到1有何用处呢？用处是这样一来便可以把激活函数看作一种“分类的概率”，比如激活函数的输出为0.9的话便可以解释为90%的概率为正样本，如此达到分类的目的

激励函数也是可自己创建的，根据实际问题，但是要保证创建的激励函数是可微分的，因为在误差反向传播时，只有这些可微分的激励函数才能将误差传递回去。

在网络层数不多时，可自由选择激励函数；在网络层数较多时，则需要考虑选择哪种激励函数，因为当网络较深时，会涉及到梯度爆炸以及梯度消失的问题

什么是激励函数（Activation Functions）相关推荐

Linear Regression、Logistic Regression、激励函数activation function（relu,sigmoid, tanh, softplus）
1.5.2.Linear Regression 1.5.2.1.Linear Regression 1.5.2.1.1.案例1 1.5.2.1.2.案例2 1.5.2.1.3.案例3源码(带有保存模型 ...
#Paper Reading# Implicit Neural Representations with Periodic Activation Functions
论文题目: Implicit Neural Representations with Periodic Activation Functions 论文地址: https://arxiv.org/abs ...
1. 激活函数（Activation functions）
1.1 激活函数(Activation functions) 选择激活函数的经验法则如果输出是0.1值(二分类问题),则输出层选择sigmoid函数,然后其它的所有单元都选择Relu函数. 这是很多 ...
隐式神经表示一：神经网络拟合图像Implicit Neural Representations with Periodic Activation Functions
文章目录 1. Implicit Neural Representations with Periodic Activation Functions 0. 什么是隐式神经表示 1. 了解SineLay ...
激活函数（Activation Functions）
神经网络结构的输出为所有输入的加权和,这导致整个神经网络是一个线性模型.如果将每一个神经元的输出通过一个非线性函数,那么整个神经网络的模型也就不再是线性的了,使得神经网络可以更好地解决较为复杂的问题. ...
通俗理解神经网络之激励函数(Activation Function)
本文整理自博客.知乎上关于激励函数的博客和回答.部分图片引用自知乎,如有侵权,请联系作者. 关于神经网络激励函数的作用,常听到的解释是:不使用激励函数的话,神经网络的每层都只是做线性变换,多层输入叠加 ...
Pytorch专题实战——激活函数(Activation Functions)
文章目录 1.激活函数的两种用法 1.1.softmax激活函数 1.2.sigmoid激活函数 1.3.tanh激活函数 1.4.relu激活函数 1.5.leaky_relu激活函数 2.用激活函 ...
TFLearn初探之Activation与Dropout
# Activation [Activation解释](http://tflearn.org/layers/core/#activation) [Activation源码](https://githu ...
Homepage Machine Learning Algorithm 浅谈深度学习中的激活函数 - The Activation Function in Deep Learning
原文地址:http://www.cnblogs.com/rgvb178/p/6055213.html 版权声明:本文为博主原创文章,未经博主允许不得转载. 激活函数的作用首先,激活函数不是真的要去激 ...

什么是激励函数（Activation Functions）

什么是激励函数（Activation Functions）相关推荐

最新文章

热门文章