BP神经网络过程：

基本思想

BP算法是一个迭代算法，它的基本思想如下：

将训练集数据输入到神经网络的输入层，经过隐藏层，最后达到输出层并输出结果，这就是前向传播过程。
由于神经网络的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；
在反向传播的过程中，根据误差调整各种参数的值（相连神经元的权重），使得总损失函数减小。
迭代上述三个步骤（即对数据进行反复训练），直到满足停止准则。

梯度下降法

紫色部分：正确结果与节点输出结果的差值，也就是误差;
红色部分：节点的激活函数，所有输入该节点的链路把经过其上的信号与链路权重做乘积后加总，再把加总结果进行激活函数运算;
绿色部分：链路w(jk)前端节点输出的信号值。

神经网络训练过程实例

第一层是输入层，包含两个神经元：i1，i2 和偏置b1；
第二层是隐藏层，包含两个神经元：h1，h2 和偏置项b2；
第三层是输出：o1，o2。
每条线上标的 wi 是层与层之间连接的权重。
激活函数是 sigmod 函数。
我们用 z 表示某神经元的加权输入和；用 a 表示某神经元的输出。

Step 1 前向传播

输入层 —> 隐藏层

隐藏层 —> 输出层

Step 2 反向传播

计算损失函数：

隐藏层 —> 输出层的权值更新

输入层 —> 隐藏层的权值更新

这样，反向传播算法就完成了，最后我们再把更新的权值重新计算，不停地迭代。在这个例子中第一次迭代之后，总误差0.298371109下降至0.291027924。
迭代10000次后，总误差为0.000035085。输出为：[0.015912196, 0.984065734]

BP神经网络反向传播手动推导相关推荐

【机器学习笔记】神经网络反向传播算法推导
神经网络反向传播算法推导 (一) 概念及基本思想 (二)信息的前向传播 (三)误差反向传播 (1)输出层的权重参数更新 (2)隐藏层的权重参数更新 (3)输出层与隐藏层的偏置参数更新 (4)反向传播 ...
BP神经网络(反向传播算法原理、推导过程、计算步骤)
BP神经网络 1.反向传播算法的原理 2.反向传播算法参数学习的推导 3.反向传播算法参数更新案例 3.1 反向传播的具体计算步骤 3.1.1 计算输出层的误差 3.1.2 计算隐藏层误差 3.1.3 ...
神经网络反向传播算法推导
反向传播是多数神经网络进行参数更新的基本方法,它的本质是巧妙利用了高数中的链式法则,下面对这一方法进行推导: (1)符号说明 :神经元的激活函数 :神经网络的权重向量 :神经网络的偏置向量 :某层的输 ...
学习笔记84—[深度学习]神经网络反向传播（BackPropagation）
神经网络反向传播实例推导过程: 说到神经网络,大家看到这个图应该不陌生: 这是典型的三层神经网络的基本构成,Layer L1是输入层,Layer L2是隐含层,Layer L3是隐含层,我们现在手里有 ...
人工神经网络——【BP】反向传播算法证明
第一步:前向传播 [注]此BP算法的证明仅限sigmoid激活函数情况.本博文讲道理是没错的,毕竟最后还利用代码还核对了一次理论证明结果. 关于更为严谨的BP证明,即严格通过上下标证明BP的博客请戳这 ...
神经网络训练中的Tricks之高效BP（反向传播算法）
神经网络训练中的Tricks之高效BP(反向传播算法) zouxy09@qq.com http://blog.csdn.net/zouxy09 Tricks!这是一个让人听了充满神秘和好奇的词.对于我 ...
卷积神经网络(CNN)反向传播算法推导
作者丨南柯一梦宁沉沦@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/61898234 编辑丨极市平台导读在本篇文章中我们将从直观感受和数学公式两方面来介绍CNN反 ...
反向传播算法推导、激活函数、梯度消失与爆炸
目录反向传播算法定义推导过程激活函数定义性质常用的激活函数 Sigmoid Tanh ReLU softmax 梯度消失与梯度爆炸起因出现的原因表现解决方案参考文档反向传播算 ...

BP神经网络反向传播手动推导