单神经元解决XOR问题

有两个输入的单个神经元的使用得到的决策边界是输入空间的一条直线。在这条直线的一边的所有的点，神经元输出1；而在这条直线的另一边的点，神经元输出0。在输入空间中，这条直线的位置和方向有两个输入节点相连的神经元的突触权值和它的偏置决定。由于输入模式（0,0）和（1,1）是位于单位正方形相对的两个角，输入模式（0,1）和（1,0）也一样，很明显不能做出这样一条直线作为决策边界可以使（0,0）和（1,1）在一个区域而（0,1）和（1,0）在另一个区域。换句话说，通常一个基本单层感知器不能解决XOR问题，也就是说原始Rosenblatt感知器不能解决XOR问题，所以可以采用多层感知器通过隐藏层来进行维度分块来解决XOR问题。

下面是构造的一个使用一层有两个神经元的隐藏层来解决异或问题，假设

每个神经元都由一个McCulloch-Pitts模型表示，使用阈值函数作为他的激活函数。

比特符号0和1分别有水平0和+1表示。

网络结构和信号流图如下：

其中神经元1，神经元2，和神经元1 2共同构造的边界如下图：

第二种方式是采用非线性映射（高斯函数）解决线性映射模式不可分问题（不增加空间维度）。同时依然保持单个神经元的网络结构。

要求建立一个模式分类产生二值输出相应，（1,1）（0，0）->0 （1,0）（0,1）->1，因此在此输入空间中依Hamming距离最近的点映射到输出空间中最大分离的区域，一个序列的Hamming距离定义为二值序列中从符号1变为符号0的个数，反之亦然。因此，11和00的Hamming距离是0,01和10的Hamming距离是1。

定义一对高斯函数如下：

结果如下：

Tip:cover定理：

将低维线性不可分问题，非线性的投射到高维（甚至同维）空间，使其更容易线性可分（这个以后细说）。

神经网络与机器学习笔记—单神经元解决XOR问题相关推荐

神经网络与机器学习笔记—LMS（最小均方算法）和学习率退火
神经网络与机器学习笔记-LMS(最小均方算法)和学习率退火 LMS算法和Rosenblatt感知器算法非常想,唯独就是去掉了神经元的压制函数,Rosenblatt用的Sgn压制函数,LMS不需要压制 ...
神经网络与机器学习笔记—基本知识点（下）
神经网络与机器学习笔记-基本知识点(下) 0.1 网络结构: 神经网络中神经元的构造方式与用于训练网络的学习算法有着密切的联系,有三种基本的网络结构: 0.7 知识表示 ...
神经网络与机器学习笔记—基本知识点（上）
神经网络与机器学习笔记-基本知识点(上) 0.1 什么是神经网络: 神经网络是由简单处理单元构成的大规模并行分布处理器,天然具有存储经验知识和使之可用的特性.神经网络在两个方面与大脑类似. 神经网络 ...
神经网络与机器学习笔记—小规模和大规模学习问题
监督学习的可行性依赖于下面的关键问题: 由N个独立同分布的样本(X1,D1),(X2,D2),-,(Xn,Dn) 组成的训练样本是否包含了构造具有良好泛化性能的机器学习的足够信息? 计算考虑: 神经网 ...
神经网络与机器学习笔记—时序模式、非线性滤波
时序模式.非线性滤波以多层感知器为例的静态神经网络的原型应用是结构化模式识别.时序模式识别或飞翔性滤波要求对随时间演化的模式进行处理,对特定的时刻的相应不仅依赖于输入的当前值,还依赖于以前的值.简单 ...
神经网络与机器学习笔记—卷积神经网络（CNN）
卷积神经网络之前的一些都是考虑多层感知器算法设计相关的问题,这次是说一个多层感知器结构布局相关的问题.来总结卷积神经网络.对于模式分类非常合适.网络的提出所隐含的思想收到了神经生物学的启发. 第一个 ...
神经网络与机器学习笔记—多层感知器（MLP）
多层感知器(MLP) Rosenblatt感知器和LMS算法,都是单层的并且是单个神经元构造的神经网络,他们的局限性是只能解决线性可分问题,例如Rosenblatt感知器一直没办法处理简单异或问题.然 ...
神经网络与机器学习笔记—支持向量机（SVM）(上)
支持向量机(SVM)的主要思想: 给定训练样本,支持向量机建立一个超平面作为决策曲面,使得正例和反例之间的隔离边缘被最大化. 线性可分模式的最优超平面训练样本{(xi,di)}^N i=1 ,其中x ...
神经网络与机器学习笔记—核方法和径向基函数网络（上）
对于神经网络的监督学习有多种不同方法.之前一直总结整理的多层感知器反向传播算法,可以看做是递归技术的应用,这种技术在统计学中通称为随机逼近. 这次是采用不同的途径,通过包含如下两个阶段的混合方式解决非 ...

神经网络与机器学习笔记—单神经元解决XOR问题

单神经元解决XOR问题

神经网络与机器学习笔记—单神经元解决XOR问题相关推荐

最新文章

热门文章

神经网络与机器学习 笔记—单神经元解决XOR问题

单神经元解决XOR问题

神经网络与机器学习 笔记—单神经元解决XOR问题相关推荐

最新文章

热门文章

神经网络与机器学习笔记—单神经元解决XOR问题

神经网络与机器学习笔记—单神经元解决XOR问题相关推荐