全连接神经网络的BP算法（BP神经网络模型）与卷积神经网络的BP算法

1、神经网络模型

1.1神经网络模型的演变：

神经元模型-------》感知机模型-------》神经网络模型

神经元模型：1943年，W.S.McCulloch和W.Pitts根据生物学神经元的工作机理提出了提出了简单模型-----M-P神经元模型。假设每个神经元有n个输入 $x_{i}$ ，这些输入通过权重w的连接进行传递，神经元接收到的总输入值 $\sum_{1}^{n}w_{i}x_{i}$

将与神经元的阈值项 $\theta$ 进行线性组合，然后通过激活函数 $f$ 对线性组合进行映射，产生神经元的输出 $y=f(\sum_{i=1}^{n}w_{i}x_{i}+\theta )$ 。

总结：先经过线性组合------------》再经过一个非线性激活、然后输出。

感知机模型：感知机模型是在神经元。模型的基础上建立起来的，感知机模型是一个二分类模型。感知机模型和Logistic回归模型的架构极其相似。简单的来说，Logistic回归使用的是 $f(x)=\frac{1}{1+e^{-x}}$ 表示的Sigmoid激活函数，而感知机模型使用的是简单的阶跃函数作为激活函数，该阶跃函数的表达式为：

$sgn(x)=\left\{\begin{matrix} 1 \qquad x\geq 0& & \\ 0 \qquad x<0 & & \end{matrix}\right.$ (1)

因此对于给定输入 $x=(x_{1},x_{2},\cdots x_{n})^{T}$ ，输入层与输出层之间的连接权重为 $w=(w_{1},w_{2},\cdots w_{n})^{T}$ ，结合（1）式子，感知机模型的输出为：

$y=sgn(w^{T}x)=sgn(\sum_{i=1}^{n}w_{i}x_{i})$ (2)

结合（1）式和（2）式可以看出，感知机的输入层接收n个外界输入信号后，根据输入层与输出层之间的连接权重，将输入信号传递到输出层，然后根据（1）式子表示的阶跃函数将输出神经元的输出映射为0和1.其中“1”表示神经元兴奋，“0”表示神经元抑制。

神经网络模型：如果更一般的多层感知机模型有如上图所示的规则层级结构，那么就可以称为神经网络了。即神经网络既可以看做是感知机模型加入了隐含层神经元，又可以看成是把多个神经元模型按一定的层次结构连接起来组成的网络机构。以下以3层神经网络，且hidden层和output层的激活函数全部为Sigmoid激活函数。（神经网络就是多层感知机）

2、BP算法与梯度下降算法

2.1 BP神经网络模型

本次主要对BP神经网络模型中的BP算法与优化参数时的3种梯度下降算法进行介绍。

下面以三层全连接神经网络为例子进行BP算法的推导。

1、BP神经网络优化参数的误差反向传播（BP）算法

BP算法的主要步骤：首先将训练数据输入到网络，进行前向传播得到预测结果，并计算真实值与与预测输出值之间的误差；然后将误差进行反向传播，依次调整所有超参数；重复上述迭代训练过程直到算法满足某个条件后为止。BP算法的本质就是通过不断迭代训练，调整超参数到最优，最终使预测值尽可能接近真实值，而梯度下降算法是BP算法的一个重要实现手段。

BP算法的伪代码：

2、推导BP神经网络中的各个模型参数的梯度增量

3、根据模型参数的梯度增量实现3种梯度下降算法的具体流程

总结规律：比如该神经网络只有3层的话，对每层之间的参数权重以及偏置求偏导：（反向传播所以反向求偏导）（设所求参数分别为input层与hidden层之间的 $v$ 、 $\theta$ 。hidden层和output层之间的 $w$ 和 $\gamma$ ）

3层神经网络（包含输入层）一共会有2层的权重系数和偏置。

第一步分别求第2层和第3层之间连接的权重系数和偏置的偏导数。

第二步分别求第1层和第2层之间的连接权重系数和偏置的偏导数。

以上是以3层神经网络为例进行的推导。（最主要运用就是求导的链式法则）

2.2卷积神经网络的BP算法