BP神经网络的原理及简单应用

BP神经网络中应用到了梯度下降法，所以先介绍下梯度下降法。

梯度下降法

梯度下降法，也叫最速下降法，是求解无约束最优化问题的一种常用方法。标量场中，某一点上的梯度指向标量场增长最快的方向，梯度的长度是这个最大的变化率。梯度下降是迭代算法，每一步需要求解目标函数的梯度向量。由于沿着负梯度方向，函数值下降最快所以在迭代的每一步，以梯度负方向更新X的值。

求出第k+1次迭代值

其中，

是搜索方向，取负梯度方向

是步长，由一维搜索确定，即

使得

BP算法

假设

神经网络的输出层为第K层

符号定义

: 第l层第j个节点的输入。

: 第l-1层第i个节点到第l层第j个节点的权值。

:Sigmoid函数

:第l层第j个节点的偏置，亦有称神经元内部阈值。

:第l层第j个节点的输出Output

:输出层第j个节点的目标值

神经元的激活函数采用：

（1）

给定训练集（

）和模型输出

,输出层的均方误差为：

（2）

训练的目标是通过调整权值

，使误差

最小化。BP算法基于梯度下降法，以目标的负方向梯度方向对参数进行调整。所以先求解梯度。

输出层权值反馈调整

对于输出层权值

，由（1）式知：

由于权值

仅影响输出层的节点k一个节点，所以：

由于

，所以：

对于Sigmoid函数

，有

，所以：

因为

，

，所以：

最终：

(3)

其中：

隐藏层权值反馈调整

对于输出层权值

，由（1）式知：

由于权值

仅影响输出层的所具节点，所以上式的∑是不可去除的，所以：

同样

，所以

变形：

其中

由于

，所以：

由于

，

，所以：

Image [50].png (1.82 KB, 下载次数: 0)

下载附件

2016-11-6 11:46 上传

由于

最终可得：

或者：

(3)

其中：

偏置（阈值）反馈调整

输出层：

对于输出层阈值

，由（1）式知：

因为

，所以：

最终：

(4)

其中：

隐藏层：

对于输出层权值

，由（1）式知：

变形：

其中

由于

，所以：

由于

或者：

(5)

其中：

综上所述：

（6）

（7）

（8）

（9）

其中

（10）

（11）

BP算法过程：

-------------------------------------------------------------------------------------------------

输入：训练集D={

}，学习率

过程：

1：在（0，1）范围内随机初始化网络中所有链接权值和阈值

2：repeat

3： for all

4: 根据当前参数和式(1),计算当前样本的输出

;

5: 根据式（10计算神经元的梯度项

；

6 根据式（11算神经元的梯度项

；

7: 根据式（6）-（9），更新权值

、

与阈值

、

8: endfor

9:until 达到停止条件

输出：连接权和阈值确定的多层前馈神经网络

-------------------------------------------------------------------------------------------------

简单BP算法代码：一个使用反向传播训练的神经网络尝试使用输入去预测输出：

0	0	1	0
1	1	1	1
1	0	1	1
0	1	1	0

import numpy as np# sigmoid function
def nonlin(x,deriv=False):if(deriv==True):return x*(1-x)return 1/(1+np.exp(-x))# input dataset
X = np.array([  [0,0,1],[0,1,1],[1,0,1],[1,1,1] ])# output dataset
y = np.array([[0,0,1,1]]).T# seed random numbers to make calculation
# deterministic (just a good practice)
np.random.seed(1)# initialize weights randomly with mean 0
syn0 = 2*np.random.random((3,1)) - 1for iter in xrange(10000):# forward propagationl0 = Xl1 = nonlin(np.dot(l0,syn0))# how much did we miss?l1_error = y - l1# multiply how much we missed by the # slope of the sigmoid at the values in l1l1_delta = l1_error * nonlin(l1,True)# update weightssyn0 += np.dot(l0.T,l1_delta)print "Output After Training:"
print l1

BP神经网络的原理及简单应用相关推荐

BP神经网络理解原理——用Python编程实现识别手写数字(翻译英文文献)
BP神经网络理解原理--用Python编程实现识别手写数字备注,这里可以用这个方法在csdn中编辑公式: https://www.zybuluo.com/codeep/note/163962 一 ...
bp神经网络预测模型原理,BP神经网络预测模型
深度学习与神经网络有什么区别深度学习与神经网络关系2017-01-10最近开始学习深度学习,基本上都是zouxy09博主的文章,写的蛮好,很全面,也会根据自己的思路,做下删减,细化. 五.DeepL ...
人工神经网络与bp神经网络,BP神经网络算法原理
BP神经网络原理人工神经网络有很多模型,但是日前应用最广.基本思想最直观.最容易被理解的是多层前馈神经网络及误差逆传播学习算法(ErrorBack-Prooaeation),简称为BP网络. 在19 ...
matlab神经网络的简单程序设计,BP神经网络设计的matlab简单实现
例1 采用动量梯度下降算法训练 BP 网络.用matlab自带的神经网络训练样本定义如下: 输入矢量为 p =[-1 -2 3 1 -1 1 5 -3] 目标矢量为 t = [-1 -1 1 ...
bp神经网络_BP神经网络的原理介绍
神经网络是深度学习的基础,在机器学习和深度学习中应用比较广泛,如函数逼近,模式识别,分类模型,图像分类.基于深度学习的CTR预估,数据压缩,数据挖掘等都离不开神经网络.下面主要介绍BP神经网络的原理. ...
BP神经网络python简单实现
BP神经网络的原理在网上有很详细的说明,这里就不打算细说,这篇文章主要简单的方式设计及实现BP神经网络,并简单测试下在恒等计算(编码)作测试. BP神经网络模型图如下 BP神经网络基本思想 BP神经网 ...
bp神经网络原理实现过程,bp神经网络的应用案例
如何建立bp神经网络预测模型 . 建立BP神经网络预测模型,可按下列步骤进行:1.提供原始数据2.训练数据预测数据提取及归一化3.BP网络训练4.BP网络预测5.结果分析现用一个实际的例子,来预测2 ...
BP神经网络原理及其应用,bp神经网络的工作原理
1.BP神经网络的工作原理人工神经网络就是模拟人思维的第二种方式.这是一个非线性动力学系统,其特色在于信息的分布式存储和并行协同处理.虽然单个神经元的结构极其简单,功能有限,但大量神经元构成的网络系 ...
深度学习（神经网络） —— BP神经网络原理推导及python实现
深度学习(神经网络) -- BP神经网络原理推导及python实现摘要 (一)BP神经网络简介 1.神经网络权值调整的一般形式为: 2.BP神经网络中关于学习信号的求取方法: (二)BP神经网络原理 ...
BP神经网络原理与异或实例分析
文章目录 BP神经网络原理介绍一.BP神经网络算法原理是什么? 二.激活函数 1.激活函数作用三.BP神经网络异或实例分析 1.问题: 2.分析: 3.代码总结 BP神经网络原理介绍 BP神经网 ...

BP神经网络的原理及简单应用

BP神经网络的原理及简单应用相关推荐

最新文章

热门文章