直观理解神经网络和感知机

大家都知道神经网络的基本单元是感知机。
那么感知机为什么能够组合成神经网络呢？感知机和神经网络又是如何工作的呢？
这就得先来谈谈感知机是什么。

感知机

如图这种形式就叫感知机，它是由两部分组成，一部分叫做线性函数，另一部分是激活函数。
感知机其实就是分类的工具，只能处理二分类的问题，而且只能进行线性划分。比如现在有一个数据集只有身高和体重这二个属性，那么感知机的目的是找出一条分界线，来区分胖瘦。

那么线性函数的作用就是在画那条线，激活函数以后的部分则是在分类，输出的结果只能是正负。因为是二分类，输出的结果只能是是胖或者不是胖。
感知机的缺陷：不能处理异或运算，但是可以处理与、或、非逻辑运算。成功的解决了不能处理异或运算这一问题，为神经网络的崛起提供了动力。

这是感知机的数学公式，是和最上面的图是对应关系，公式里面的t表示输出，输出的结果可以是+1或者-1。激活函数就是f，表示的是一种判断功能

这是激活函数具体的数学表达式，这个激活函数判断的是分界线的本身和求和后的结果是在分界线的那一边。
那么这个线性函数到底和分界线有什么关系呢？我们常见的线性函数表达式是ax+by+c=0（二维的），ax+by+cz+d=0(三维的)，那么扩展到n维呢？
就可以写成
，将其进行简化，也就是这种那么为什么感知机的公式里面没有这个=0，根据初中的知识，我们可以知道当它=0，表示的是所有点都在这个线上，当它>0，表示的是所有点都在这条线的上端。感知机就是判断它是大于0还是小于0。

这个符号函数表达的是用矩阵的形式，两个矩阵点积，矩阵的点积简单来说就是前面矩阵的行和后面矩阵的列相乘再求和之后的结果成了新矩阵里面的值。

那么感知机的数学公式含义大概了解清楚了！

那么感知机的缺陷（不能处理异或运算）是为什么呢？

与非或运算都能找出一条线来区分，而异或运算则需要画个圈才能区分开来。举个例子，就第一个与运算来说，只能当全为1时候才为1，其他情况都为0，那么图中虚线的位置可以很容易的画出，在（1，1）点和（1，0）、（0，1）点之间，斜率方向与图中同号即可。
放在生活中的话就像这张图一样
找不到一条直线将这两个物体区分开来。这是异或运算的表达式，异或运算是由与或非三种逻辑运算推导出来的等价于那么这个表达式需要用到三个感知机来解决，第一个感知机1处理第二个感知机2处理最后一个感知机3将前两个感知机处理后得结果进行或（V）运算。那么经过三个感知机以后怎么就线性可分呢？

因为这里只有两个输入x1和x2，那么对应得取值只有四种情况（0，0），（0，1），（1，0），（1，1）。这里就可以发现感知机1和感知机2在（0，0）和（1，1）时候取值都是0，属于重复情况，那么在（1，1）时候得情况就可以并到在（0，0）时候。于是导致感知机3可以线性可分。由多个感知机就可以将原本无法线性可分的转化为了可以线性可分,可以理解为降维或者升维。

神经网络

神经网络其实就是由一个个感知机组成的
神经网络由输入层、隐藏层、输出层组成，严格意义上来说，隐藏层才是由感知机组成的。输出层的节点个数可以自由的增加，
输出层是起到判断是属于那个分类的，每个输出层都共享同样的输入层和隐藏层。这种神经网络还有这样的特点，这里的每个节点都和下一层节点全部相连，又称为全连接网络，数据传输的方向是单向的并且一直向前传播，也叫做前馈神经网络。比如卷积神经网络就不是全连接网络，循环神经网络就是不前馈神经网络。
神经网络到底是如何判断一个数据是属于哪一类的呢？
举个例子：
如图想要判断输入的图片是狗还是猫，可以先看第一个特征-耳朵。假设狗的耳朵都比猫的要大，那么经过隐藏层处理之后，此时的传到输出层的权重（假设权重和为1），是狗的权重为0.9，是猫的权重为0.1，输出的结果很明显就是狗。很显然现实情况并不是这样，只根据单一的特征很难判断出到底是哪一类，需要根据多个特征，然后得到权重之和进行判断。想要判断输入的到底是属于哪一类，可以通过增加感知机的个数，准确的判断出结果。

感知机里面的线性函数可以理解成对某个类型里的标准模型的描述，比如说，我们不是要识别出狗吗，那么对这个狗的标准模型怎么描述呢？就是那个线性函数了。激活函数其实是一个判断的标准，判断你给的数据到底符不符合这个标准。那么神经网络则是要经历许多次的描述+判断，使得判断的结果无限逼近于真相。

参考视频：
https://www.bilibili.com/video/BV1uB4y1M7Ju?spm_id_from=333.999.0.0
https://www.bilibili.com/video/BV1Yo4y1k7yU?spm_id_from=333.999.0.0

直观理解神经网络和感知机相关推荐

18张图，直观理解神经网络、流形和拓扑
大约十年前开始,深度神经网络在计算机视觉等领域取得了突破性成果,引起了极大的兴趣和关注. 然而,仍有一些人对此表示忧虑.原因之一是,神经网络是一个黑匣子:如果神经网络训练得很好,可以获得高质量的结果, ...
直观理解神经网络和梯度下降
来张图吧 Repeat{ for j=1 to m{ theta_i = theta_i - alpha * J'(theta) # 这个就是上面写的更新公式 } } 好了这个和神经网络的反向传播啥关 ...
RNN循环神经网络的直观理解：基于TensorFlow的简单RNN例子
RNN 直观理解一个非常棒的RNN入门Anyone Can learn To Code LSTM-RNN in Python(Part 1: RNN) 基于此文章,本文给出我自己的一些愚见基于此文 ...
3.7 注意力模型直观理解-深度学习第五课《序列模型》-Stanford吴恩达教授
注意力模型直观理解 (Attention Model Intuition) 在本周大部分时间中,你都在使用这个编码解码的构架(a Encoder-Decoder architecture)来完成机器翻 ...
【AI初识境】从头理解神经网络-内行与外行的分水岭
文章首发于微信公众号<有三AI> [AI初识境]从头理解神经网络-内行与外行的分水岭这是专栏<AI初识境>的第2篇文章.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方 ...
BP反向传播算法的思考和直观理解 -卷积小白的随机世界
https://www.toutiao.com/a6690831921246634504/ 2019-05-14 18:47:24 本篇文章,本来计划再进一步完善对CNN卷积神经网络的理解,但在对卷积 ...
3.10 直观理解反向传播-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.9 神经网络的梯度下降法回到目录 3.11 随机初始化直观理解反向传播 (Backpropagation Intuition (Optional)) 这个视频主要是推 ...
深度学习与计算机视觉（四）反向传播及其直观理解
四.反向传播及其直观理解 4.1 引言问题描述和动机: 大家都知道,其实我们就是在给定的图像像素向量x和对应的函数f(x)f(x)f(x),然后我们希望能够计算fff在x上的梯度∇f(x)" ...
梯度的直观理解_BP反向传播算法的思考和直观理解 -卷积小白的随机世界
本篇文章,本来计划再进一步完善对CNN卷积神经网络的理解,但在对卷积层反向传播算法的理解中,越发觉得之前对于BP反向传播算法的理解是不到位的.小白近日觉得,对于深度神经网络,"反向传播&qu ...

直观理解神经网络和感知机

感知机

神经网络

直观理解神经网络和感知机相关推荐

最新文章

热门文章