3-感知机的局限性与多层感知机

1. 异或门

仅当x1或x2中的一方为 1时，才会输出1。

实际上，用前面介绍的感知机是无法实现这个异或门的。
为什么用感知机可以实现与门、或门，却无法实现异或门呢？下面我们尝试通过画图来思考其中的原因。
将或门的动作形象化。或门的情况下，当权重参数(b, w1,w2) = (−0.5, 1.0, 1.0) 时可以满足真值表条件。此时，感知机可用下图表示。

图中，○表示0，△表示1；
可以看出，只有在(x1,x 2) = (0, 0)时输出0，而在 (x1,x2) 为 (0,1)、(1,0)、(1,1)时输出1。
如果想制作或门，用直线把图中的○和△分开就可以了。实际上，上面那条直线就将这4个点正确地分开了。

那么，换成异或门的话会如何呢？能否像或门那样，用一条直线作出分割下图中的○和△的空间呢

很明显，用一条直线是无法将○和△分开的。

2. 线性和非线性

虽然上面第二个图无法用直线将○和△分开，但可以用曲线，如图：

感知机的局限性就在于它只能表示由一条直线分割的空间

由这样的曲线分割而成的空间称为 非线性空间，由直线分割而成的空间称为线性空间。

3. 多层感知机

感知机不能表示异或门让人深感遗憾，但也无需悲观。实际上，感知机的绝妙之处在于它可以“叠加层“

异或门可通过组合我们前面做好的与门、与非门、或门进行配置得到。

异或门的真值表：

x 1 x_1 x1	x 2 x_2 x2	s 1 s_1 s1	s 2 s_2 s2	y y y
0	0	1	0	0
1	0	1	1	1
0	1	1	1	1
1	1	0	1	0

4. 异或门的实现

使用之前定义的 AND函数、NAND函数、OR函数，可以像下面这样（轻松地）实现。

def XOR(x1, x2):   s1 = NAND(x1, x2) s2 = OR(x1, x2)  y = AND(s1, s2)    return y#预期结果：
XOR(0, 0) # 输出0
XOR(1, 0) # 输出1
XOR(0, 1) # 输出1
XOR(1, 1) # 输出0

异或门是一种多层结构的神经网络。这里，将最左边的一列称为第0层，中间的一列称为第1层，最右边的一列称为第2层，共3层

图2-13 所示的感知机与前面介绍的与门、或门的感知机形状不同。

实际上，与门、或门是单层感知机，而异或门是2层感知机（不过，有的文献认为图2-13的感知机是由3层构成的，故也称为3层感知机）。叠加了多层的感知机也称为多层感知机

3-感知机的局限性与多层感知机相关推荐

机器学习入门（01）— 感知机概念、实现、局限性以及多层感知机
1. 感知机概念下图是一个接收两个输入信号的感知机的例子. x1 . x2 是输入信号, y 是输出信号, w1 . w2 是权重( w 是 weight 的首字母).图中的 ○ 称为"神 ...
动手学习深度学习 04：多层感知机
文章目录 01 多层感知机 1.感知机总结 2.多层感知机 2.1.隐藏层 2.1.1 线性模型可能会出错 2.1.2 在网络中加入隐藏层 2.1.3 从线性到非线性 2.1.4 通用近似定理 3. ...
深度学习笔记其三：多层感知机和PYTORCH
深度学习笔记其三:多层感知机和PYTORCH 1. 多层感知机 1.1 隐藏层 1.1.1 线性模型可能会出错 1.1.2 在网络中加入隐藏层 1.1.3 从线性到非线性 1.1.4 通用近似定理 1 ...
多层感知机总结-PyTorch
动手学深度学习-多重感知机笔记多层感知机多层感知机的从零开始实现多层感知机的简洁实现范数与权重衰减(weight decay) 暂退法(Dropout) 前向传播和反向传播梯度消失和梯度爆炸 ...
【神经网络】多层感知机
多层感知机多层感知机隐藏层激活函数 ReLU函数 sigmoid函数 tanh函数多层感知机小结具体实现多层感知机我们已经介绍了包括线性回归和softmax回归在内的单层神经网络.然而 ...
前馈神经网络（多层感知机）基础
前馈神经网络(多层感知机)基础 1. 神经网络介绍 1.1 神经网络的生物学背景 1.2 人工神经元与感知机 1.3 常用激活函数 1.3.1 线性函数(Linear Function) 1.3.2 ...
DL之Perceptron：Perceptron感知器(感知机/多层感知机/人工神经元)的简介、原理、案例应用(相关配图)之详细攻略
DL之Perceptron:Perceptron感知器(感知机/多层感知机/人工神经元)的简介.原理.案例应用(相关配图)之详细攻略目录 Perceptron的简介.原理多层感知机实现代码案例 ...
多层感知机深度神经网络_使用深度神经网络和合同感知损失的能源产量预测...
多层感知机深度神经网络 in collaboration with Hsu Chung Chuan, Lin Min Htoo, and Quah Jia Yong. 与许忠传,林敏涛和华佳勇合作. ...
深度学习——感知机：多层感知机（multi-layered perceptron）图文详解
多层感知机一,多层感知机 1.1 现在已有的门电路组合 1.2 异或门的实现二,从与非门到计算机三,总结一,多层感知机在上一篇深度学习--感知机(perceptron)图文详解中我们已经 ...