【干货】通俗理解神经网络中激活函数作用

推荐阅读时间8min~13min

主要内容：通俗理解激活函数，主要来自我在学习会的slides，讲解了激活函数的非线性能力和组合特征的作用

下面我分别对激活函数的两个作用进行解释。

加入非线性因素，解决非线性问题

好吧，很容易能够看出，我给出的样本点根本不是线性可分的，一个感知器无论得到的直线怎么动，都不可能完全正确的将三角形与圆形区分出来，那么我们很容易想到用多个感知器来进行组合，以便获得更大的分类问题，好的，下面我们上图，看是否可行

好的，我们已经得到了多感知器分类器了，那么它的分类能力是否强大到能将非线性数据点正确分类开呢~我们来分析一下：

如果我们的每一个结点加入了阶跃函数作为激活函数的话，就是上图描述的

那么随着不断训练优化，我们也就能够解决非线性的问题了~

所以到这里为止，我们就解释了这个观点，加入激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。

下面我来讲解另一个作用

激活函数可以用来组合训练数据的特征，特征的充分组合

我们可以通过上图可以看出，立方激活函数已经将输入的特征进行相互组合了。

通过泰勒展开，我们可以看到，我们已经构造出立方激活函数的形式了。

于是我们可以总结如下：

总结

这就把原来需要领域知识的专家对特征进行组合的情况，在激活函数运算后，其实也能够起到特征组合的作用。（只要激活函数中有能够泰勒展开的函数，就可能起到特征组合的作用）

这也许能给我们一些思考。

【干货】通俗理解神经网络中激活函数作用相关推荐

PNAS | 理解单个神经元在深度神经网络中的作用
本次报道论文为发表于PNAS的Understanding the role of individual units in a deep neural network.众所周知,深度神经网络擅长查找可解 ...
通俗理解神经网络BP反向传播算法
转载自通俗理解神经网络BP反向传播算法通俗理解神经网络BP反向传播算法在学习深度学习相关知识,无疑都是从神经网络开始入手,在神经网络对参数的学习算法bp算法,接触了很多次,每一次查找资料学习 ...
【机器学习算法面试题】四.深度神经网络中激活函数有哪些？
欢迎订阅本专栏:<机器学习算法面试题> 订阅地址:https://blog.csdn.net/m0_38068876/category_11810806.html [机器学习算法面试题]一 ...
神经网络中激活函数的真正意义？
神经网络中激活函数的真正意义?一个激活函数需要具有哪些必要的属性?还有哪些属性是好的属性但不必要的? (1)非线性:即导数不是常数.这个条件是多层神经网络的基础,保证多层网络不退化成单层线性网络.这也 ...
通俗理解神经网络之激励函数(Activation Function)
本文整理自博客.知乎上关于激励函数的博客和回答.部分图片引用自知乎,如有侵权,请联系作者. 关于神经网络激励函数的作用,常听到的解释是:不使用激励函数的话,神经网络的每层都只是做线性变换,多层输入叠加 ...
通俗理解神经网络之激励函数
关于神经网络激励函数的作用,常听到的解释是:不使用激励函数的话,神经网络的每层都只是做线性变换,多层输入叠加后也还是线性变换.因为线性模型的表达能力不够,激励函数可以引入非线性因素. 其实很多时候我们 ...
激活函数设计vhdl_浅谈神经网络中激活函数的设计
激活函数是神经网络中非线性的来源,因为如果去掉这些函数,那么整个网络就只剩下线性运算,线性运算的复合还是线性运算的,最终的效果只相当于单层的线性模型. 那么,常见的激活函数有哪些呢?或者说,激活函数的 ...
[深度学习]人工神经网络中激励函数作用详解
前言业余时间,看了关于深度学习方面的知识,对人工神经网络中激励函数存在疑惑,查阅资料,总结给大家,一起学习. 激励函数作用不使用激励函数的话,神经网络的每层都只是做线性变换,多层输入叠加后也还是线 ...
三个变量中怎么找出中间值_一文理解神经网络中的偏差和方差
在深度学习中,数据过拟合,欠拟合的问题很常见,先总结一下:过拟合称为高方差,欠拟合称为高偏差. 可能只看偏差,方差不是很理解,下面先来个百度百科看一下. 偏差(统计学概念) 偏差又称为表观误差,是指个 ...

【干货】通俗理解神经网络中激活函数作用

【干货】通俗理解神经网络中激活函数作用相关推荐

最新文章

热门文章