神经网络模型在众多领域都有所应用，模拟了生物的神经元结构，是一种简化的神经元模型，可以进行分布式不行信息处理的数学模型。

背景

神经网络分为神经上世界80年代，Rumelhart，McCelland为首的科学家们成立了并行处理小组，提出了著名的神经网络算法。

神经神经网络包括生物神经网络和人工神经网络。在BP神经元结构中，神经元是模仿生物的神经元结构，如下图所示为生物的神经元结构（图来源于网络）：

基本结构

BP神经网络是由三层或者三层以上的多层神经网络，每一层都由若干个神经元组成，

假设输出层的个数为l个，隐藏层的个数为m个，输出层的个数为n个， $a_h$ 是隐藏层第h个神经元的输出。 $w_{hj}$ 是输入层第j个神经元和隐藏层第h个神经元之间的连接权值，那么第j个神经元的输入的公式为：

$a_j{}=\sum_{h=1}^{m}w_{hj}a_h$

神经元激活函数

BP神经网络一般是使用线性函数作为传递函数或者S型函数作为传递函数，S函数又可以分为log-sigmoid函数和Tan-sigmoid函数，神经元激活函数

（1）Sigmoid函数

Sigmoid及其导数都是连续的，因Sigmoid函数又可以分为单极性S型曲线，其中单极性S型曲线的函数公式如下所示：

$f(x)=\frac{1}{1+e^{-x}}$

利用MATLAB来模拟f(x)的图像如下所示：

双极性S型的函数公式如下所示：

$f(x)=\frac{{e^x-e^{-x}}}{e^x+e^{-x}}$

上述公式的图像如下所示：

Sigmoid函数相对于Tan-signed来说，Sigmoid函数相对于线性函数的容错性更好同事线性精度也更高。

BP神经网络算法的整体框架

BP神经元网络的整体框架及其各自部分的功能是：

前向传播	得到预测的结果
反向传播	对于w和b进行反向传输
测试模型	计算准确率

BP神经网络算法采用的是反向传播算法进行学习的。数据经过是经过一层一层地向后进行传递，从输入层来看，整个过程是沿着误差减少的方向进行，在运行过程中，不断向前修正网络的连接权值，最终使得误差减少到最少。

BP神经网络算法简介相关推荐

DL之DNN优化技术：神经网络算法简介之GD/SGD算法(BP的梯度下降算法)的简介、理解、代码实现、SGD缺点及改进(Momentum/NAG/Ada系列/RMSProp)之详细攻略
DL之DNN优化技术:神经网络算法简介之GD/SGD算法(BP的梯度下降算法)的简介.理解.代码实现.SGD缺点及改进(Momentum/NAG/Ada系列/RMSProp)之详细攻略目录 GD算法 ...
DL之DNN之BP：神经网络算法简介之BP算法/GD算法之不需要额外任何文字，只需要八张图讲清楚BP类神经网络的工作原理
DL之DNN之BP:神经网络算法简介之BP算法/GD算法之不需要额外任何文字,只需要八张图讲清楚BP类神经网络的工作原理目录 BP类神经网络理解 1.信号正向传播FP 2.误差反向传播BP+GD B ...
DL之BP：神经网络算法简介之BP算法简介(链式法则/计算图解释)、案例应用之详细攻略
DL之BP:神经网络算法简介之BP算法简介(链式法则/计算图解释).案例应用之详细攻略相关文章:DL之DNN之BP:神经网络算法简介之BP算法/GD算法之不需要额外任何文字,只需要八张图讲清楚BP类 ...
Matlab：基于Matlab实现人工智能算法应用的简介(BP神经网络算法NN、SOFM神经网络)、案例应用(基于Matlab的GUI的方式创建/训练/预测神经网络)之详细攻略
Matlab:基于Matlab实现人工智能算法应用的简介(BP神经网络算法NN.SOFM神经网络).案例应用(基于Matlab的GUI的方式创建/训练/预测神经网络)之详细攻略目录
DL之CNN：卷积神经网络算法简介之原理简介——CNN网络的3D可视化(LeNet-5为例可视化)
DL之CNN:卷积神经网络算法简介之原理简介--CNN网络的3D可视化(LeNet-5为例可视化) CNN网络的3D可视化 3D可视化地址:http://scs.ryerson.ca/~aharley ...
DL之CNN：卷积神经网络算法简介之卷积矩阵、转置卷积(反卷积Transpose)、膨胀卷积(扩张卷积Dilated/带孔卷积atrous)之详细攻略
DL之CNN:卷积神经网络算法简介之卷积矩阵.转置卷积(反卷积Transpose).膨胀卷积(扩张卷积Dilated/带孔卷积atrous)之详细攻略目录卷积矩阵的简介卷积.转置卷积--Tran ...
DL框架之MXNet ：神经网络算法简介之MXNet 常见使用方法总结(神经网络DNN、CNN、RNN算法)之详细攻略(个人使用)
DL框架之MXNet :神经网络算法简介之MXNet 常见使用方法总结(神经网络DNN.CNN.RNN算法)之详细攻略(个人使用) 相关文章 DL框架之MXNet :深度学习框架之MXNet 的简介. ...
DL：神经网络算法简介之耗算力的简介、原因、经典模型耗算力计算、GPU使用之详细攻略
DL:神经网络算法简介之耗算力的简介.原因.经典模型耗算力计算.GPU使用之详细攻略目录神经网络算法耗算力的简介神经网络算法耗算力的原因神经网络算法耗算力的经典模型耗算力计算 1.AlexNe ...
DL：神经网络算法简介之Affine 层的简介、使用方法、代码实现之详细攻略
DL:神经网络算法简介之Affine 层的简介.使用方法.代码实现之详细攻略目录 Affine 层的简介批版本的Affine 层 Affine 层的使用方法 Affine 层的代码实现 Affin ...
DL之DNN优化技术：神经网络算法简介之数据训练优化【mini-batch技术+etc】
DL之DNN优化技术:神经网络算法简介之数据训练优化[mini-batch技术+etc] 目录 1.mini-batch技术输出结果实现代码 1.mini-batch技术输出结果实现代码 # ...

BP神经网络算法简介

背景

基本结构

神经元激活函数

BP神经网络算法的整体框架

BP神经网络算法简介相关推荐

最新文章

热门文章