神经网络是深度学习的基础，在机器学习和深度学习中应用比较广泛，如函数逼近，模式识别，分类模型，图像分类、基于深度学习的CTR预估，数据压缩，数据挖掘等都离不开神经网络。下面主要介绍BP神经网络的原理。

一. 认识BP神经网络

一个最简单的三层BP神经网络如下图

包含输入层、隐含层、输出层，节点与节点之间有权重。一个样本有m个输入特征，包括ID特征或连续特征。隐含层可以有多个，关于隐含层节点个数的选取，一般设置为2的n次方，例如512，256，128，64，32等。n个输出结果，通常输出结果就一个，例如分类模型或回归模型。

在1989年，Robert Hecht-Nielsen证明了对于任何闭区间内的一个连续函数都可以用一个隐含层的BP网络来逼近，这就是万能逼近定理。所以一个三层的BP网络就可以完成任意的m维到n维的映射。BP神经网络主要分为两个过程

工作信号正向传递子过程
误差信号反向传递子过程

二. 工作信号正向传递子过程

设节点i与节点j之间的权重为ω_{ij}，节点j的偏置为b_{j}，每个节点的输出值为x_{j}，每个节点的输出值是根据上层所有节点的输出值、当前节点与上一层所有节点的权值和当前节点的偏置还有激活函数来计算的。具体计算公式如下

其中f为激活函数，一般选取S型函数或tanh函数。正向传递过程比较简单，从前往后计算即可。

三. 误差信号反向传递子过程

在BP神经网络中，误差信号反向传递子过程比较复杂，它是基于Widrow-Hoff学习规则的。假设输出层的所有结果为d_{j}，回归模型的误差函数如下

BP神经网络的主要目的是反复修正权值和偏置，使得误差函数值达到最小。Widrow-Hoff学习规则是通过沿着相对误差平方和的最速下降方向，连续调整网络的权值和偏置，根据梯度下降法，权值矢量的修正正比于当前位置上E(w,b)的梯度，对于第j个输出节点有

假设选择激活函数为

对激活函数求导，得到

那么接下来针对ω_{ij}，有

其中

同样对于b_{j}，有

这就是著名的δ学习规则，通过改变神经元之间的连接权值来减少系统实际输出和期望输出的误差，这个规则又叫做Widrow-Hoff学习规则或者纠错学习规则。

上面是对隐含层和输出层之间的权值和输出层的偏置计算调整量，而针对输入层和隐含层和隐含层的偏置调整量的计算更为复杂。假设ω_{ki}是输入层第k个节点和隐含层第i个节点之间的权值，那么有

其中有

有了上述公式，根据梯度下降法，那么对于隐含层和输出层之间的权值和偏置调整如下

而对于输入层和隐含层之间的权值和偏置调整同样有

上述就是BP神经网络原理的公式推导。

bp神经网络_BP神经网络的原理介绍相关推荐

bp神经网络_BP 神经网络驱动的手写体数字识别软件 EasyOCR
EasyOCR 项目介绍本软件是一个手写体数字识别软件,采用BP神经网络,基于colt数学库,有完整源码,可以保存训练结果,基于开源例程neuralnetwork-sample,原作可以在GitHu ...
【机器学习】5：谱聚类算法原理介绍
前言:学习谱聚类,最好有一些图论.矩阵分解(SVD)方面的知识,这样会更加有利于谱聚类的学习.当然,谱聚类理解起来并不困难,实际操作也大多是谱聚类+K-means聚类联合使用的. –--------- ...
【深度学习入门系列】径向基函数（RBF）神经网络原理介绍及pytorch实现（内含分类、回归任务实例）
文章目录 1 RBF神经网络 1.1 简介 1.2 步骤输入 rbf层核函数中心点求解方法输出 1.3 几个问题 2 分类 2.0 数据集 2.1 网络架构 2.2 代码 2.3 结果 3 回 ...
卷积神经网络（CNN）详细介绍及其原理详解
文章目录前言一.什么是卷积神经网络二.输入层三.卷积层四.池化层五.全连接层六.输出层七.回顾整个过程总结前言本文总结了关于卷积神经网络(CNN)的一些基础的概念,并且对于其中的 ...
机器学习算法-09-深度学习、BP神经网络、Hopfield神经网络、基于数学原理的神经网络、径向基函数RBF(B站一条会说666的咸鱼)
Deep Learning 深度学习的概念源于人工神经网络的研究,含多隐层的多层感知器就是有一种深度学些的结构 ,深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征的 ...
循环神经网络(RNN, Recurrent Neural Networks)介绍
循环神经网络(RNN, Recurrent Neural Networks)介绍循环神经网络(Recurrent Neural Networks,RNNs)已经在众多自然语言处理(Natural ...
bp神经网络和神经网络,bp神经网络是什么网络
神经网络BP模型一.BP模型概述误差逆传播(Error Back-Propagation)神经网络模型简称为BP(Back-Propagation)网络模型. Pall Werbas博士于1974年 ...
解析深度神经网络背后的数学原理！
作者 | Piotr Skalski 译者 | 巧克力编辑 | Jane 出品 | AI科技大本营 [导读]为了更好地理解神经网络的运作,今天只为大家解读神经网络背后的数学原理.而作者写这篇文章的目 ...
循环神经网络（RNN）原理通俗解释
循环神经网络(RNN)原理通俗解释 1.RNN怎么来的? 2.RNN的网络结构及原理 3.RNN的改进1:双向RNN 4.RNN的改进2:深层双向RNN 4.1 Pyramidal RNN 5.RNN ...

bp神经网络_BP神经网络的原理介绍

一. 认识BP神经网络

二. 工作信号正向传递子过程

三. 误差信号反向传递子过程

bp神经网络_BP神经网络的原理介绍相关推荐

最新文章

热门文章