神经网络中前向传播和反向传播解析

2024-05-30 05:31:41

虽然学深度学习有一段时间了，但是对于一些算法的具体实现还是模糊不清，用了很久也不是很了解，最近在看去年LeCun和Hinton在Nature上发表的deep learning的review，有两张图分别是讲得网络的前向传播和反向传播，下面记录一下。

前向传播

如图所示，这里讲得已经很清楚了，前向传播的思想比较简单。
举个例子，假设上一层结点i,j,k,…等一些结点与本层的结点w有连接，那么结点w的值怎么算呢？就是通过上一层的i,j,k等结点以及对应的连接权值进行加权和运算，最终结果再加上一个偏置项（图中为了简单省略了），最后在通过一个非线性函数（即激活函数），如ReLu，sigmoid等函数，最后得到的结果就是本层结点w的输出。
最终不断的通过这种方法一层层的运算，得到输出层结果。

反向传播

反向传播的方法其实也比较简单，但是因为需要求偏导，而我的数学又不怎么好，所以一直理解上有困难。下面上图：

由于我们前向传播最终得到的结果，以分类为例，最终总是有误差的，那么怎么减少误差呢，当前应用广泛的一个算法就是梯度下降算法，但是求梯度就要求偏导数，下面以图中字母为例讲解一下。
设最终总误差为EE，对于输出那么EE#对于输出结点y_l的偏导数是y_l - t_l，其中t_l是真实值∂yl∂zl\frac{\partial y_l} {\partial z_l} 是指上面提到的激活函数，zlz_l是上面提到的加权和，那么这一层的EE对zlz_l的偏导数为∂E∂zl=∂E∂yl∂yl∂zl\frac{\partial E} {\partial z_l} = \frac{\partial E} {\partial y_l} \frac{\partial y_l} {\partial z_l} 。同理，下一层也是这么计算，（只不过∂E∂yk\frac{\partial E} {\partial y_k} 计算方法变了），一直反向传播到输入层，最后有∂E∂xi=∂E∂yj∂yj∂zj\frac{\partial E}{\partial x_i} = \frac{\partial E} {\partial y_j} \frac{\partial y_j} {\partial z_j} 且 ∂zj∂xi=wij\frac{\partial z_j} {\partial x_i} = w_ij
然后调整这些过程中的权值，再不断进行前向传播和反向传播的过程，最终得到一个比较好的结果

神经网络中前向传播和反向传播解析相关推荐

神经网络和反向传播算法——反向传播算法本质上是随机梯度下降，链式求导法则而来的...
原文:https://www.zybuluo.com/hanbingtao/note/476663 写得非常好,适合入门! 神经元神经元和感知器本质上是一样的,只不过我们说感知器的时候,它的激活函数 ...
花书+吴恩达深度学习（十三）卷积神经网络 CNN 之运算过程（前向传播、反向传播）
目录 0. 前言 1. 单层卷积网络 2. 各参数维度 3. CNN 前向传播反向传播如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 ...
神经网络的前向传播与反向传播
神经网络的前向传播和反向传播相信一开始,大家可能都对神经网络的前向传播和反向传播很头疼,我之前也是一样,后来慢慢懂了,现在深感知识传递的重要性.因此现在我就把我的一点点对两者的理解表达一下,希望能帮 ...
神经网络理解：前向传播与反向传播
文章目录参考资料神经网络前向传播 1. 输入层->隐含层 2. 隐含层->输出层反向传播 1. 计算总误差 2. 隐藏层与输出层之间的权重更新 3. 输入层与隐藏层之间的权重更新 ...
对于CNN卷积神经网络的前向传播和反向传播的理解
对于CNN卷积神经网络的前向传播和反向传播的理解前向传播示意图: 咋一看这张图,作为初学者可能会不知所云(￣ω￣=)?但是想要很好的理解前向传播的原理,我们得从这张图细说. 文章目录对于CNN ...
（二十四）手推BP神经网络的前向传播和反向传播
手推BP神经网络的前向传播和反向传播一.基本术语 1.监督学习与非监督学习 Supervised Learning有监督式学习: 输入的数据被称为训练数据,一个模型需要通过一个训练过程,在这个过程中 ...
神经网络前向传播和反向传播公式推导（公式+图解）
以如下的预测是否是猫的双层神经网络为例进行公式推导: 符号注解: n_x : 输入特征的数量 n_h : 隐藏层的节点数量 n_y : 输出层的节点数量 m : 样本数量 W :权重矩阵 b :偏置 ...
神经网络正向传播和反向传播
正向传播(forward-propagation):指对神经网络沿着输入层到输出层的顺序,依次计算并存储模型的中间变量. 反向传播(back-propagation):沿着从输出层到输入层的顺序,依据 ...
详解+推导神经网络中的前向传播和反向传播公式（神经网络中的梯度下降）
文章目录线性回归快速回忆逻辑回归中的正向传播与反向传播逻辑回归中的正向传播与反向传播-代码实战神经网络的正向传播与反向传播参考资料线性回归快速回忆在线性回归(y=ax+by=ax+by= ...

最新文章

热门文章