BP神经网络——激活函数

转载：https://www.zhihu.com/question/22334626

作者：忆臻
链接：https://www.zhihu.com/question/22334626/answer/147543436
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

查阅资料和学习，大家对神经网络中激活函数的作用主要集中下面这个观点：

激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。

下面我分别从这个方面通过例子给出自己的理解~

@lee philip@颜沁睿俩位的回答已经非常好了，我举的例子也是来源于他们，在这里加入了自己的思考，更加形象通俗的讲一下~

开讲~

首先我们有这个需求，就是二分类问题，如我要将下面的三角形和圆形点进行正确的分类，如下图：

利用我们单层的感知机, 用它可以划出一条线, 把平面分割开：

上图直线是由 $w_{1}x_{1} + w_{2}x_{2}+b=0$ 得到，那么该感知器实现预测的功能步骤如下，就是我已经训练好了一个感知器模型，后面对于要预测的样本点，带入模型中，如果,那么就说明是直线的右侧，也就是正类（我们这里是三角形），如果,那么就说明是直线的左侧，也就是负类（我们这里是圆形），虽然这和我们的题目关系不大，但是还是提一下~

好吧，很容易能够看出，我给出的样本点根本不是线性可分的，一个感知器无论得到的直线怎么动，都不可能完全正确的将三角形与圆形区分出来，那么我们很容易想到用多个感知器来进行组合，以便获得更大的分类问题，好的，下面我们上图，看是否可行：

好的，我们已经得到了多感知器分类器了，那么它的分类能力是否强大到能将非线性数据点正确分类开呢~我们来分析一下：

我们能够得到

$y=w_{2-1}(w_{1-11}x_{1}+ w_{1-21}x_{2}+b_{1-1} )+ w_{2-2}(w_{1-12}x_{1}+ w_{1-22}x_{2}+b_{1-2} )+w_{2-3}(w_{1-13}x_{1}+ w_{1-23}x_{2}+b_{1-3} )$ 哎呀呀，不得了，这个式子看起来非常复杂，估计应该可以处理我上面的情况了吧，哈哈哈哈~不一定额，我们来给它变个形.上面公式合并同类项后等价于下面公式：

$y=x_{1}(w_{2-1}w_{1-11}+w_{2-2}w_{1-12} +w_{2-3}w_{1-13} )+x_{2} (w_{2-1}w_{1-21}+w_{2-2}w_{1-22} +w_{2-3}w_{1-23} )+w_{2-1} b_{1-1} +w_{2-2} b_{1-2}+w_{2-3} b_{1-3}$

啧啧，估计大家都看出了，不管它怎么组合，最多就是线性方程的组合，最后得到的分类器本质还是一个线性方程，该处理不了的非线性问题，它还是处理不了。

就好像下图，直线无论在平面上如果旋转，都不可能完全正确的分开三角形和圆形点：

既然是非线性问题，总有线性方程不能正确分类的地方~

那么抛开神经网络中神经元需不需要激活函数这点不说，如果没有激活函数，仅仅是线性函数的组合解决的问题太有限了，碰到非线性问题就束手无策了.那么加入激活函数是否可能能够解决呢？

在上面线性方程的组合过程中，我们其实类似在做三条直线的组合，如下图：

下面我们来讲一下激活函数，我们都知道，每一层叠加完了之后，我们需要加入一个激活函数（激活函数的种类也很多，如sigmoid等等~）这里就给出sigmoid例子，如下图：

通过这个激活函数映射之后，输出很明显就是一个非线性函数！能不能解决一开始的非线性分类问题不清楚，但是至少说明有可能啊，上面不加入激活函数神经网络压根就不可能解决这个问题~

同理，扩展到多个神经元组合的情况时候，表达能力就会更强~对应的组合图如下：（现在已经升级为三个非线性感知器在组合了）

跟上面线性组合相对应的非线性组合如下：

这看起来厉害多了，是不是~最后再通过最优化损失函数的做法，我们能够学习到不断学习靠近能够正确分类三角形和圆形点的曲线，到底会学到什么曲线，不知道到底具体的样子，也许是下面这个~

那么随着不断训练优化，我们也就能够解决非线性的问题了~

所以到这里为止，我们就解释了这个观点，加入激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。

注：参考于@lee philip@颜沁睿俩位的回答，以上图片大部分摘自于@颜沁睿

文章更新在知乎专栏：知乎专栏

感谢郭江师兄，森栋师兄，德川的讨论交流~

希望知友提出问题一起交流~

最近开通了个人公众号 [机器学习算法与自然语言处理] 或者微信号 [yizhennotes]，用于记录自己在本科，硕士甚至博士期间关于ml，nlp学习和生活的笔记和感悟，可能没有很难很偏的知识，但一定是我理解的干货~欢迎扫描下面二维码关注一波~期待和你一起学习交流~

BP神经网络——激活函数相关推荐

基于遗传算法改进的BP神经网络电网负荷预测，GA-BP神经网络电网负荷预测，1000案例之14
摘要节能减排,降低谈排放,降低电网传输的损耗电力负荷预测是以电力负荷为对象进行的一系列预测工作.从预测对象来看,电力负荷预测包括对未来电力需求量(功率)的预测和对未来用电量(能量)的预测以及对负荷 ...
基于MATLAB编程的萤火虫FA优化BP神经网络的回归分析
目录 BP神经网络的原理 BP神经网络的定义 BP神经网络的基本结构 BP神经网络的神经元 BP神经网络激活函数及公式 SVM应用实例,基于fa-svm分类预测代码结果分析展望 BP神经网络的原 ...
深度学习--TensorFlow（4）BP神经网络（损失函数、梯度下降、常用激活函数、梯度消失梯度爆炸）
目录一.概念与定义二.损失函数/代价函数(loss) 三.梯度下降法二维w与loss: 三维w与loss: 四.常用激活函数 1.softmax激活函数 2.sigmoid激活函数 3.tanh ...
深入理解BP神经网络的细节
神经网络之BP算法文章目录神经网络之BP算法前言一.BP算法的流程二.搭建神经网络总结前言 BP神经网络是Back Propagation的简写,它是最简单的前馈神经网络之一通常用于 ...
DL练习1：基于boston_house_prices的BP神经网络
基于波士顿房价的预测的BP神经网络在Pycharm上测试可以跑的通. # -*- coding: utf-8 -*- # Import libraries necessary for this pr ...
第二章：3、BP神经网络
BP神经网络:BackPropagation Neuron NetWok BP 神经网络是一类基于误差逆向传播 (BackPropagation, 简称 BP) 算法的多层前馈神经网络,BP算法是迄今 ...
BP神经网络公式推导及实现(MNIST)
BP神经网络的基础介绍见:http://blog.csdn.net/fengbingchun/article/details/50274471,这里主要以公式推导为主. BP神经网络又称为误差反向传播 ...
BP神经网络的线性本质的理解和剖析-卷积小白的随机世界
https://www.toutiao.com/a6674387399058915852/ 在完成上篇(第三十一篇)感知机的理解文章后,本想开始梳理SVM(支持向量机),不想感知机也是深度学习神经网络 ...
bp神经网络应用实例_人工智能BP神经网络学习神器——AISPACE
未经许可请勿转载更多数据分析内容参看这里今天我们来介绍一套小工具--AISPACE,它有助于你学习BP神经网络运作的过程及原理.AISPACE涉及的一系列工具用于学习和探索人工智能的概念,它们是在 ...
BP神经网络与卷积神经网络（CNN）
BP神经网络与卷积神经网络(CNN) 1.BP神经网络 1.1 神经网络基础神经网络的基本组成单元是神经元.神经元的通用模型如图 1所示,其中常用的激活函数有阈值函数.sigmoid函数和双曲正 ...

BP神经网络——激活函数

BP神经网络——激活函数相关推荐

最新文章

热门文章