神经网络早期的感知机模型

上篇文章接受了40年代的MP模型，现在来50年代的感知机模型，即Perceptron。

最早感知器模型由Roseblatt提出。这个模型和之前的MP模型改进不是在模型上，而是给出了训练的概念，并提出了训练方法。
即，模型还是和MP一样，都是一层的。而且变成了纯线性，不需要激活函数，下面的θ\thetaθ是阈值，可以理解为偏置，但是注意是减号，即y=w1x1+w2x2−θy=w_1x_1+w_2x_2-\thetay=w1x1+w2x2−θ，这才符合阈值的定义。

注1：上面的xxx是xix_ixi。其他没有什么可解释的，因为这个训练规则对不对，你自己举个例子就知道了，可以拿我上面给的那个模型。

注2：这个时候提出的单层训练方法不止这一个，但是这个具有代表性。

渐渐的，发展起来了多层感知器，同时也加上了非线性激活函数，也就是我们现在的前馈神经网络FNN，但是，不幸的是，即使不加入激活函数，对于多层感知器而言，上述训练方法也不再适用了。因为，中间层的期望输出根本不知道是什么，只知道最后一层的期望输出，所以根本训练不了。

所以只能使用单层感知器，但是却又解决不了异或问题。即：两输入，单输出，相当于只有三个权重可以选取，只是一个线性函数，根本解决不了。

所以主打的找到了训练方法，但是却只适用于线性函数的参数确定。对于异或问题，如果在输出那里加入一个特殊的激活函数（现有的单调的激活函数都不行），可以做到解决异或问题，但是这属于定制，换个非线性问题，这个激活函数就不管用了。

所以与其普适性仍然违背，总结就是：只找到了线性函数（线性可分）参数确定的普适的训练方法，但是对于现实中大量的非线性问题，不管用。

从而，火了一段时间后，神经网络进入冷冬。

神经网络早期的感知机模型相关推荐

吴裕雄 python 机器学习——人工神经网络与原始感知机模型
import numpy as npfrom matplotlib import pyplot as plt from mpl_toolkits.mplot3d import Axes3D from ...
感知机模型[神经网络入门]
感知机模型为神经网络入门所学 O = f(∑wij * Sj - θi) 利用感知机,模拟一个简单的二值逻辑加法测试数据: x1 x2 y 1 1 1 1 0 1 0 1 ...
机器学习历程——人工智能基础与应用导论（8）（神经网络——感知机模型）
一.概念 1.感知机模型--线性分类器,用于二分类问题.(正类+1.负类-1) 2.物理意义将输入的空间划分为正负两类分离超平面y={+1,-1}. 3.定义函数 f(x) = sign(wx+b) ...
【神经网络】多层感知机
多层感知机多层感知机隐藏层激活函数 ReLU函数 sigmoid函数 tanh函数多层感知机小结具体实现多层感知机我们已经介绍了包括线性回归和softmax回归在内的单层神经网络.然而 ...
前馈神经网络（多层感知机）基础
前馈神经网络(多层感知机)基础 1. 神经网络介绍 1.1 神经网络的生物学背景 1.2 人工神经元与感知机 1.3 常用激活函数 1.3.1 线性函数(Linear Function) 1.3.2 ...
史上最全！27种神经网络简明图解：模型那么多，我该怎么选？
27种?!神经网络竟有那么多种?这篇文章将逐一介绍下面这张图片中的27种神经网络类型,并尝试解释如何使用它们.准备好了吗?让我们开始吧! 神经网络的种类越来越多,可以说是在呈指数级地增长.我们需要一个 ...
深度神经网络（DNN）模型与前向传播算法
深度神经网络(Deep Neural Networks, 以下简称DNN)是深度学习的基础,而要理解DNN,首先我们要理解DNN模型,下面我们就对DNN的模型与前向传播算法做一个总结. 1. 从感知机 ...
统计学习笔记（2）——感知机模型
感知机学习旨在求出将训练数据集进行线性划分的分类超平面,为此,导入了基于误分类的损失函数,然后利用梯度下降法对损失函数进行极小化,从而求出感知机模型.感知机模型是神经网络和支持向量机的基础.下面分别从 ...
花书+吴恩达深度学习（一）前馈神经网络（多层感知机 MLP）
目录 0. 前言 1. 每一个神经元的组成 2. 梯度下降改善线性参数 3. 非线性激活函数 4. 输出单元 4.1. 线性单元 4.2. sigmoid 单元 4.3. softmax 单元 5. ...

神经网络早期的感知机模型

神经网络早期的感知机模型相关推荐

最新文章

热门文章