证：单层感知机不能表示异或逻辑

转载于http://blog.csdn.net/panda07100/article/details/38580993

对于a XOR b ，其真值表为：

a	b	y
0 0 1 1	0 1 0 1	0 1 1 0

从数据集线性可分性的角度证明XOR逻辑是非线性的：

设数据集T为：
　　　　

其中：
　　　　
假设T是线性可分的，则存在超平面对T中的4个实例正确分类
则
　　
注：这里的大于小于零与y的取值无关，它与参考系有关，表示两个类别，所以也并不要求y的取值是正1和负1.

设
对上式进行化简
　　
四个式子相互之间是矛盾的，所以异或逻辑是非线性问题，得证。
　另外，感知机的学习策咯是极小化误分类点到超平面S的总距离，即经验风险最小化。对于线性不可分数据集，由于总是存在误分类点，算法将不能够收敛。事实上，最后的迭代（随机梯度下降）将发生震荡，证明过程见Novikoff定理。
　
异或逻辑图像

综上所述：单层感知机不能表示异或逻辑。

参考资料：《统计学习方法》李航

证：单层感知机不能表示异或逻辑相关推荐

学习日志（四）：单层感知机+激活函数
感知机与多层网络声明:在阅读本文时,手里最好配备一本<机器学习>,以做好前期的一些理论知识铺垫. 在阅读书中(<机器学习>,周志华)的第5章时,文中主要以逻辑与.或.非,以及 ...
matlab中逻辑非运算,MATLAB：图像的与、或、非、异或逻辑运算（、|、~、xor）
图像的与.或.非.异或逻辑运算涉及到了&.|.~和xor符号 close all;%关闭当前所有图形窗口,清空工作空间变量,清除工作空间所有变量 clc; clear all; I=imrea ...
初探神经网络（二）单层感知机的Rosenblatt算法原理
本期大量干货,配合线性代数和较扎实的统计知识食用更佳. 介绍过了M-P模型,也了解到了M-P模型本质上是对生物上神经元的抽象模型.在上一章,我反复在强调这只是一个生物学的概念,我相信看到这篇文章的人绝 ...
TensorFlow单层感知机实现
TensorFlow单层感知机实现简单感知机是一个单层神经网络.它使用阈值激活函数,正如 Marvin Minsky 在论文中所证明的,只能解决线性可分的问题.虽然限制了单层感知机只能应用于线性可分 ...
【深度学习的数学】单层感知机是什么？
参考文章:深度学习-31:单层感知机
PyTorch教程（十）：单层感知机以及梯度更新
单层感知机模型 y=XW+by=∑xi∗wi+by = XW + b \\ y = \sum x_i*w_i+ b y=XW+by=∑xi∗wi+b 单层感知机模型的每一个输入节点xix_ixi ...
pytorch梯度下降函数_Pytorch学习笔记6：激活函数/单层感知机/梯度下降求最小值实例...
#添加到学习笔记2末尾,直接运行.代码意义可以看注释. #需要import以下库 import torch import numpy as np from matplotlib import pypl ...
TensorFlow2.0:单层感知机梯度计算
** 一单层单输出感知机梯度计算 ** 单层感知机指的是输入有多个节点,输出只有一个节点. 其实质为二分类,即将样本的多个特征值作为输入,输出为二分类. 假设输入有5个样本,每个样本有3个特征参数, ...
基于双月数据集单层感知机_python
前言一.单层感知机二.双月数据集三.程序 1.引入库 2.主函数总结完整程序前言本文主要针对双月数据集实现二分类问题. 一.单层感知机单层感知机目标是将被感知数据集划分为两类的分离超平 ...
单片机c语言或运算,单片机avr c语言位运算与或非异或逻辑运算介绍详解
位运算是指按二进制位进行的运算.在单片机中位运算通常用于I/O端口的输入输出控制和逻辑判断. C语言提供的位运算符有: 运算符含义功能 & 按位与如果两个相应的二进制位都为1,则该位的结 ...

证：单层感知机不能表示异或逻辑

证：单层感知机不能表示异或逻辑相关推荐

最新文章

热门文章