BP（Back Propagation）神经网络

1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络。BP神经网络可以说是整个人工神经网络体系的精华所在，广泛应用于分类识别、逼近、回归、压缩等领域。实际应用中，近八成的BP网络或BP网络的变化形式。

一个3层BP神经网络结构：

图1、3层神经网络结构

每一个单独节点，可以看成一个单层感知器，图1中输入节点：（x1，x2，x3，x4，x5）；输出节点：（y1，y2）；权向量：（w11，w12,w13，w21，...，w51，w52，w53）；偏置因子：（b1，b2，...,b8,b9）;

利用下面的神经网络进行推导BP算法：

图2、两层层神经网络

模型参数声明：

1、前向传播（Forward propagation）推导（没有加上偏置因子）

2、反向传播（Backward propagation）推导

BP算法的思想就是：通过梯度下降来搜索可能的值的假设空间，以找到最佳的拟合样本的权值。具体而言，即利用损失函数，每次向损失函数负梯度方向移动，直到损失函数取得最小值。也可以这么理解，反向传播算法，是根据损失函数，求出损失函数关于每一层的权值及偏置项的偏导数，也称为梯度，用该值更新初始的权值和偏置项，一直更新到损失函数取得最小值或是设置的迭代次数完成为止。以此来计算神经网络中的最佳的参数。

损失（代价）函数（Cost/Lost function）E;
权值更新变化值，可以通过梯度下降法来最小化E的值 ；
激活函数：
推导过程：
梯度下降法的图形显示：

3、小结

BP神经网络无论在网络理论还是在性能方面已比较成熟。其突出优点就是具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。但是BP神经网络也存在以下的一些主要缺陷。

①学习速度慢，即使是一个简单的问题，一般也需要几百次甚至上千次的学习才能收敛。

②容易陷入局部极小值。

③网络层数、神经元个数的选择没有相应的理论指导,过多训练效率慢，过少又会得到较差的效果。

④网络推广能力有限。

对于上述问题，目前已经有了许多改进措施，研究最多的就是如何加速网络的收敛速度和尽量避免陷入局部极小值的问题。

BP神经网络之BP算法手写推导相关推荐

python实现神经网络数字识别_PYTHON搭建BP神经网络，并实现手写数字识别
基本思路: 1.定义神经网络:定义输入层→定义隐藏层→定义输出层→找到权重和偏差→设置学习率→设置激活函数 2.定义训练网络:根据训练样本给出输出→根据输出结果,计算误差,根据误差反向更新隐藏层权重 ...
【手写数字识别】基于matlab GUI BP神经网络单个或连续手写数字识别系统【含Matlab源码 2296期】
⛄一.手写数字识别技术简介 1 案例背景手写体数字识别是图像识别学科下的一个分支,是图像处理和模式识别研究领域的重要应用之一,并且具有很强的通用性.由于手写体数字的随意性很大,如笔画粗细.字体大小. ...
BP神经网络(反向传播算法原理、推导过程、计算步骤)
BP神经网络 1.反向传播算法的原理 2.反向传播算法参数学习的推导 3.反向传播算法参数更新案例 3.1 反向传播的具体计算步骤 3.1.1 计算输出层的误差 3.1.2 计算隐藏层误差 3.1.3 ...
bp神经网络算法的优缺点,bp神经网络与bp算法区别
前馈神经网络.BP神经网络.卷积神经网络的区别与联系一.计算方法不同1.前馈神经网络:一种最简单的神经网络,各神经元分层排列.每个神经元只与前一层的神经元相连.接收前一层的输出,并输出给下一层．各层 ...
基于蝙蝠算法优化BP神经网络的数据分类算法及其MATLAB实现-附代码
基于蝙蝠算法优化BP神经网络的数据分类算法及其MATLAB实现-附代码文章目录基于蝙蝠算法优化BP神经网络的数据分类算法及其MATLAB实现-附代码 1 蝙蝠算法与BP神经网络分类模型 1.1 蝙 ...
蚁群算法优化BP神经网络回归预测的算法设计-附代码
蚁群算法ACO优化BP神经网络回归预测的算法设计及其MATLAB代码实现文章目录蚁群算法ACO优化BP神经网络回归预测的算法设计及其MATLAB代码实现 1. 蚁群算法简介 2. 蚁群算法优化BP ...
鲸鱼优化算法优化BP神经网络回归预测的算法设计-附代码
鲸鱼优化算法WOA优化BP神经网络回归预测模型以及MATLAB代码实现文章目录鲸鱼优化算法WOA优化BP神经网络回归预测模型以及MATLAB代码实现 1. 算法描述 2. 鲸鱼优化算法优化BP神经 ...
前馈神经网络与支持向量机实战 --- 手写数字识别
前馈神经网络与支持向量机实战 - 手写数字识别文章目录前馈神经网络与支持向量机实战 --- 手写数字识别一.前馈神经网络介绍二.支持向量机介绍三.数据集说明四.环境准备五.实验要求六. ...
基于神经网络的蒙文手写字母识别的一些研究（综述）
基于神经网络的手写蒙古字母识别(小结) 各位博友大家好!我是PennyWu,让大家久等了,这次学习从宏观角度梳理手写蒙古字母识别. 功能结构手写蒙古文字母识别系统主要通过五个主模块和三个辅助模块来共 ...
bp神经网络中bp是什么意思,bp神经网络是什么网络
神经网络plotperform三条不同颜色的曲线表示什么意思比较随便的截图,纵坐标是误差平方的均值,绿色指的是验证集,红色指的是测试集,蓝色指的是训练集. 一般是用来观察训练集.验证集和测试集的最小 ...

BP神经网络之BP算法手写推导

BP（Back Propagation）神经网络

一个3层BP神经网络结构：

1、前向传播（Forward propagation）推导（没有加上偏置因子）

2、反向传播（Backward propagation）推导

3、小结

BP神经网络之BP算法手写推导相关推荐

最新文章

热门文章