回顾感知器学习算法，其核心思想是梯度下降法，即以训练样本被错分的程度为目标函数，训练中每次出现错误时便使权系数朝着目标函数相对于权系数负梯度方向更新，知道目标中没有被错分的样本为止。

而多层感知器模型中，神经元传递函数是阶跃函数，输出端的无耻只能对最后一个神经元系数求梯度，无法对其他权系数求梯度，所以无法利用梯度下降的方法学习其他的权值。

Sigmoid函数

BP算法提出主要由于Sigmoid函数的出现，代替之前的阈值函数来构造神经元。

Sigmoid函数是单调递增的非线性函数，无限次可微。当且仅当权值较大时可以逼近阈值函数，当权值较小时逼线性函数。

Sigmoid函数通常写作如下形式：

取值范围是（-1,1），代替神经元阶跃函数可写作：

由于采用Sigmoid函数作为神经元传递函数，不管网络结构多么复杂，总可以通过计算梯度来考察各个参数。这就是多层感知器反向传播算法的基本思想。

反向传播（back-propagation，BP）

BP算法就是通过迭代优化网络的权值使得输出与输入之间的实际映射关系与所期望的映射关系一致，采用梯度下降算法通过调整各层权值求目标函数最小化。网络在某个或所有训练样本上的预测输出和期望输出的误差平方和：

由输出层误差逐层反向计算各层各单元的误差，并基于梯度下降法修正各权值：

其中，δj(k)是第k层第j单元的局部梯度，或敏感度(sensitivity) 。

（转载请注明作者和出处：http://blog.csdn.net/xiaowei_cqu 未经允许请勿用于商业用途）

反向传播神经网络 BPNN相关推荐

【模式识别】反向传播神经网络 BPNN
回顾感知器学习算法,其核心思想是梯度下降法,即以训练样本被错分的程度为目标函数,训练中每次出现错误时便使权系数朝着目标函数相对于权系数负梯度方向更新,知道目标中没有被错分的样本为止. 而多层感知器模型 ...
反向传播神经网络（BPNN）的实现（Python，附源码及数据集）
文章目录一.理论基础 1.前向传播 2.反向传播 3.激活函数 4.神经网络结构二.BP神经网络的实现 1.训练过程(BPNN.py) 2.测试过程(test.py) 3.测试结果 4.参考源码及 ...
反向传播神经网络 demo源码
反向传播神经网络(有代码) 找了很多资料,觉得就这篇博客讲的最好,原文如下,有非常详细的推导过程.http://www.hankcs.com/ml/back-propagation-neural-ne ...
图片1---前馈神经网络+反向传播神经网络
声明: 记录自己认为好的图片------以方便后续的使用或者是改进来源论文: <一种金融市场预测的深度学习模型: FEPA> (1)前馈神经网络 (2)反向传播神经网络的大致的架构- ...
Arduino前馈反向传播神经网络
本文介绍了为Arduino Uno微控制器板开发的人工神经网络. 这里描述的网络是前馈反向传播网络,可能是最常见的类型. 它被认为是有监督或无监督学习的良好通用网络. 该项目的代码以Arduino S ...
Java Back Propagation Neural Network(JAVA反向传播神经网络)
EDITOR: KJ021320 BLOG: http://blog.csdn.net/kj021320 TEAM: I.S.T.O 好久没写东西了,随便记一下~~如果不记录忘记了真是很浪费啊~ 下面 ...
cs231n笔记5—反向传播/神经网络
反向传播神经网络反向传播问题陈述:这节的核心问题是,给定函数f(x),其中x是输入数据的向量,需要计算函数f关于x的梯度,也就是∇f(x). 反向传播是利用链式法则递归计算表达式的梯度的方法.理 ...
人工神经网络反向传播,神经网络后向传播
如何理解神经网络里面的反向传播算法反向传播算法(Backpropagation)是目前用来训练人工神经网络(ArtificialNeuralNetwork,ANN)的最常用且最有效的算法. 其主要思 ...
BP神经网络（back propagation，反向传播神经网络)
BP神经网络就是一个"万能的模型+误差修正函数",每次根据训练得到的结果与预想结果进行误差分析,进而修改权值和阈值,一步一步得到能输出和预想结果一致的模型.举一个例子:比如某厂商生 ...

反向传播神经网络 BPNN

Sigmoid函数

反向传播（back-propagation，BP）

（转载请注明作者和出处：http://blog.csdn.net/xiaowei_cqu 未经允许请勿用于商业用途）

反向传播神经网络 BPNN相关推荐

最新文章

热门文章