CNN的反向传播算法详细易懂

这里假设激活函数为 $f$ ,可以取为relu,sigmoid等任意常用的激活函数。

正向传播：

正向传播是非常简单的，首先是对

$W1=[w11,w12,13,w14]$

$W2=[w21,w22,w23,w24]$ ,

$W3=[w31,w32]$

随机取值，以便于能够完成一次正向的传播，从而根据误差来改变现有的并不准确的参数。

对于每一层产生输出的方式是一致的，且上一层的输出是当前层的输入：

以第二层为例： $Z2=f(W2*Z1+b2)$ ,其中 $Z1$ 是第一层经过线性组合以及激活函数之后的输出，对于其他层也是一样的。一直经过这样的操作直至输出结果 $out$ .接下来就是反向传播的过程。

反向传播：我们已经得到了一个输出结果也就是预测值 out ，该结果与真实值之间一定是存在差距的，需要利用一个函数来表达该差距，例如:均方误差，交叉熵损失。总之会有一个函数来反映预测值与真实值之间的差距，设该函数为 $J(W,b)$ .反向传播的目的是通过改变之前的参数值来缩小这个损失，使得预测值与真实值之间足够接近。所以与要通过求导，来改变参数，其实就是找到参数改变的一个方向。

$\frac {\partial J }{\partial W3}=J'(W3Z3+b3)*\frac {\partial out }{\partial W3}=J'(W3Z3+b3)*Z3$

$\frac {\partial J }{\partial b3}=J'(W3Z3+b3)*\frac {\partial out }{\partial b3}=J'(W3Z3+b3)$

此时 $J'(WZ+b)$ 是已知的，因为我们采用的损失函数已知，WZ+b的值也是已知的，从而 $J'(WZ+b)$ 的之也是已知的Z也是已知的，从而就可以得到 $\frac{\partial J}{\partial W}$ 以及 $\frac{\partial J }{\partial b}$ 的值，此时就可以利用学习率 $\eta$ 来更新参数，设当前的正向传播为第t轮，

$Wt+1=Wt-\eta *Wt$

这里的 η 是可以设定的，一般值越小越有可能拿到好的结果，但是就会使得训练的速度变慢。

通过这种方式使得最后一层的参数得到了更新，那么现在还存在一个问题如何更新上一层的参数呢？

其实同理：我也可以通过以下方式对W2进行求导：

$\frac{\partial J}{\partial W2}=\frac{\partial J}{\partial out} * \frac{\partial out}{\partial Z3} * f'(W2Z2+b2)*Z2$

$=\frac{\partial J}{\partial out} * \frac{\partial out}{\partial Z3} * \frac{\partial Z3}{\partial W2}$

$= \frac{\partial J}{\partial out} * W3 *( f'(W2Z2+b2)*Z2)$

同理， $\frac{\partial J}{\partial out}$ 已知，W3已知（注意：此处的W3是更新之前的W3）， $( f'(W2Z2+b2)*Z2)$

已知，从而通过相同的方式可以更新上一层的参数，以此类推可以使得所有的参数得到更新。

b站有一课程（不是我）：应该算是讲的比较清晰，链接如下：

5分钟-通俗易懂 - 神经网络反向传播算法（手算）_哔哩哔哩_bilibili

初次在CSDN发自己的东西，如有不正确的地方，望各位批评指正。

如果有丁点用，希望点赞鼓励一下。谢谢大家！

CNN的反向传播算法详细易懂相关推荐

四张图彻底搞懂CNN反向传播算法（通俗易懂）
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:机器学习算法那些事阅读本文之前,可以先阅读之前讲述的全 ...
卷积神经网络(CNN)反向传播算法
在卷积神经网络(CNN)前向传播算法中,我们对CNN的前向传播算法做了总结,基于CNN前向传播算法的基础,我们下面就对CNN的反向传播算法做一个总结.在阅读本文前,建议先研究DNN的反向传播算法:深度 ...
深度学习（四）：卷积神经网络(CNN)模型结构，前向传播算法和反向传播算法介绍。
在前面我们讲述了DNN的模型与前向反向传播算法.而在DNN大类中,卷积神经网络(Convolutional Neural Networks,以下简称CNN)是最为成功的DNN特例之一.CNN广泛的应用 ...
卷积神经网络(CNN)反向传播算法推导
作者丨南柯一梦宁沉沦@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/61898234 编辑丨极市平台导读在本篇文章中我们将从直观感受和数学公式两方面来介绍CNN反 ...
深度神经网络（DNN）的反向传播算法总结与图解
文章目录前言第一个问题第二个问题第三个问题总结前言其实,深度神经网络的反向传播我们只需知道这个算法的理念,即这个算法的目标方程是谁,对目标方程做什么运算,为什么这样做或者这样做的好处是什 ...
（一）反向传播算法理解（Back-Propagation）
本文参考deeplearningbook.org一书第六章 6.5 Back-Propagation and Other Diﬀerentiation Algorithms 反向传播算法分为两篇来讲 ...
cnn 反向传播推导_反向传播算法推导过程（非常详细）
1. 前向传播假设为的矩阵(其中, 为样本个数(batch size), 为特征维数): 与的维数为为的矩阵, 与的维数为为的矩阵, 与的维数为为的矩阵, 前向算法: 假设输出 ...
反向传播算法的详细解释（下）
上一篇文章算是用"链式法则"给我们开了个头,下一篇文章则是将反向传播算法应用到神经网络. 原文出处:知乎 https://zhuanlan.zhihu.com/p/25081671 ...
反向传播算法推导过程（非常详细）
1. 前向传播假设XXX为N×mN\times mN×m的矩阵(其中,NNN为样本个数(batch size),mmm为特征维数) h1h_1h1与Z1Z_1Z1的维数为m1→W1m_1 \ri ...

CNN的反向传播算法详细易懂

CNN的反向传播算法详细易懂相关推荐

最新文章

热门文章

CNN的反向传播算法 详细易懂

CNN的反向传播算法 详细易懂相关推荐

最新文章

热门文章

CNN的反向传播算法详细易懂

CNN的反向传播算法详细易懂相关推荐