神经网络——激活函数的作用

激活函数是神经网络的一个重要组成部分。如果不用激活函数（即相当于激活函数为f(x)=x），在这种情况下，网络的每一层的输入都是上一层的线性输出，因此，无论该神经网络有多少层，最终的输出都是输入的线性组合，与没有隐藏层的效果相当，这种情况就是最原始的感知机。

激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。

例如，对于一个二分类问题，如下图：

利用单层的感知机, 用它可以划出一条线, 把平面分割开：

上图直线是由 $w_{1}x_{1} + w_{2}x_{2}+b=0$ 得到，那么该感知器实现预测的功能步骤如下，就是我已经训练好了一个感知器模型，后面对于要预测的样本点，带入模型中，如果 $y>0$ ,那么就说明是直线的右侧，也就是正类（我们这里是三角形），如果 $y<0$ ,那么就说明是直线的左侧，也就是负类（我们这里是圆形）。

很容易能够看出，我给出的样本点根本不是线性可分的，一个感知器无论得到的直线怎么动，都不可能完全正确的将三角形与圆形区分出来，那么我们很容易想到用多个感知器来进行组合，以便获得更大的分类问题，好的，下面我们上图，看是否可行：

好的，我们已经得到了多感知器分类器了，那么它的分类能力是否强大到能将非线性数据点正确分类开呢~我们来分析一下：

我们能够得到 $y=w_{2-1}(w_{1-11}x_{1}+ w_{1-21}x_{2}+b_{1-1} )+ w_{2-2}(w_{1-12}x_{1}+ w_{1-22}x_{2}+b_{1-2} )+w_{2-3}(w_{1-13}x_{1}+ w_{1-23}x_{2}+b_{1-3} )$

上面公式合并同类项后等价于下面公式：

$y=x_{1}(w_{2-1}w_{1-11}+w_{2-2}w_{1-12} +w_{2-3}w_{1-13} )+x_{2} (w_{2-1}w_{1-21}+w_{2-2}w_{1-22} +w_{2-3}w_{1-23} )+w_{2-1} b_{1-1} +w_{2-2} b_{1-2}+w_{2-3} b_{1-3}$

不管它怎么组合，最多就是线性方程的组合，最后得到的分类器本质还是一个线性方程，该处理不了的非线性问题，它还是处理不了。

就好像下图，直线无论在平面上如果旋转，都不可能完全正确的分开三角形和圆形点：

既然是非线性问题，总有线性方程不能正确分类的地方~

那么抛开神经网络中神经元需不需要激活函数这点不说，如果没有激活函数，仅仅是线性函数的组合解决的问题太有限了，碰到非线性问题就束手无策了.那么加入激活函数是否可能能够解决呢？

在上面线性方程的组合过程中，我们其实类似在做三条直线的组合，如下图：

下面我们来讲一下激活函数，我们都知道，每一层叠加完了之后，我们需要加入一个激活函数（激活函数的种类也很多，如sigmoid等等~）这里就给出sigmoid例子，如下图：

通过这个激活函数映射之后，输出很明显就是一个非线性函数！能不能解决一开始的非线性分类问题不清楚，但是至少说明有可能啊，上面不加入激活函数神经网络压根就不可能解决这个问题~

同理，扩展到多个神经元组合的情况时候，表达能力就会更强~对应的组合图如下：（现在已经升级为三个非线性感知器在组合了）

跟上面线性组合相对应的非线性组合如下：

最后再通过最优化损失函数的做法，我们能够学习到不断学习靠近能够正确分类三角形和圆形点的曲线。

那么随着不断训练优化，我们也就能够解决非线性的问题了.

因此，加入激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。

神经网络——激活函数的作用相关推荐

形象的解释神经网络激活函数的作用是什么
转载自形象的解释神经网络激活函数的作用是什么神经网络中激活函数的作用查阅资料和学习,大家对神经网络中激活函数的作用主要集中下面这个观点: 激活函数是用来加入非线性因素的,解决性模型所不能解决的 ...
【深度学习的数学】激活函数的作用是什么？
转载文章:神经网络激活函数的作用是什么? Donlta备注不带激活函数的单层感知机是一个线性分类器,无法解决线性不可分(分类)问题不带激活函数的多层感知机(带隐藏层)合并后也是一个线性分类器,也无 ...
机器学习入门（02）— 由感知机到神经网络的过渡进化，激活函数在神经网络中的作用
1. 神经网络示例用图来表示神经网络的话,如图3-1 所示.我们把最左边的一列称为输入层,最右边的一列称为输出层,中间的一列称为中间层.中间层有时也称为隐藏层."隐藏"一词的意思 ...
神经网络中的激活函数的作用和选择
如果不用激励函数(其实相当于激励函数是f(x) = x),在这种情况下你每一层输出都是上层输入的线性函数,很容易验证,无论你神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,这种情况就是 ...
神经网络激活函数对数函数_神经网络中的激活函数
神经网络激活函数对数函数 Activation function, as the name suggests, decides whether a neuron should be activated ...
激活函数的作用及选择
线性模型的表达能力不够,无法解决非线性问题,激活函数的作用是加入非线性因素. 1.Sigmoid函数,函数表达式如下: f ( x ) = 1 1 + e − x f(x)=\frac{1}{1+e^ ...
激活函数的作用是什么
激活函数的作用 ##一.激活函数出现的原因思考这么一个问题: 现在有一个二分类问题,我们要将下面的三角形和圆点进行正确的分类,如图1所示.我们试着用神经网络解决这个问题.跟大家说明一下,这是一个线性 ...
线性模型和非线性模型的区别，以及激活函数的作用
线性模型和非线性模型的区别,以及激活函数的作用线性模型和非线性模型的区别? a. 线性模型可以用曲线拟合样本,线性模型可以是用曲线拟合样本,但是分类的决策边界一定是直线的,例如logistics模型 ...
神经网络激励函数的作用是什么？有没有形象的解释？
来自 | 知乎地址 | https://www.zhihu.com/question/22334626/answer/103835591 神经网络激励函数的作用是什么?有没有形象的解释? 颜沁睿 h ...
机器学习：神经网络激活函数总结
神经网络各种激活函数总结 1. 激活函数基本概念 1.1 激活函数的作用激活函数向神经元中引入了非线性因素,使得神经网络可以逼近任意非线性函数,能应用到诸多非线性场景中. 1.2 激活函数的饱和性 ...

神经网络——激活函数的作用

激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。

神经网络——激活函数的作用相关推荐

最新文章

热门文章