脱离公式谈谈对反向传播算法的理解

机器学习的训练过程可看作是最优化问题的求解过程。

根据原理

对于函数f(x),如果f(x)在点xt附近是连续可微的，那么f(x)下降最快的方向是f(x)在xt点的梯度的反方向

得到最简单最常用的优化算法：梯度下降法(Gradient Descent Method)。

可以想见，这个算法的迭代公式中的重要参数是梯度。即损失函数(多元函数)对每个变量的偏导数。

问题转化为损失函数对权重向量和偏置求偏导数。

再根据导数的链式法则，两个偏导数都变成误差项和另一个导数的乘积。

这里的误差项，写法上是损失函数对所在层线性组合函数(判别函数)求导。

误差项是反向传播的核心概念。

从意义上，误差项反映了最终损失对某一层神经元的敏感程度，也间接反映了不同神经元对网络能力的贡献程度。

从计算上，把误差项再利用链式法则进行展开，会发现：

误差的反向传播(BackPropagation,BP)：第l层的误差项可以通过第l+1层的误差项计算得到。

如果把这个展开式描述一下，就得到了反向传播算法的含义：

第l层的一个神经元的误差项是所有与该神经元相连的第l+1层的神经元的误差项的权重和，再乘上该神经元激活函数的梯度。

注意：误差项的计算仅仅是训练过程的一部分，其余的量都是正向得到的。

参考：邱锡鹏《神经网络与深度学习》

脱离公式谈谈对反向传播算法的理解相关推荐

508任务：对BP算法（反向传播算法）理解与5.13式推导
误差逆传播算法是如今最成功,应用广泛的针对多层网络的学习算法,如今的许多学习算法都是它的变体与优化.不过初学很难理解,我也是学了不少时间才慢慢理解. 推荐大家观看3Blue1Brown的3个关于深度学 ...
关于反向传播算法的理解
关于反向传播算法,很早之前就了解,但是关于细节问题一直未能理解,看了这篇翻译的文章写的很好原文:http://blog.csdn.net/shijing_0214/article/details/5 ...
深度学习之反向传播算法
深度学习之反向传播算法直观理解反向传播反向传播算法是用来求那个复杂到爆的梯度的. 上一集中提到一点,13000维的梯度向量是难以想象的.换个思路,梯度向量每一项的大小,是在说代价函数对每个参数有多 ...
通俗理解神经网络BP反向传播算法
转载自通俗理解神经网络BP反向传播算法通俗理解神经网络BP反向传播算法在学习深度学习相关知识,无疑都是从神经网络开始入手,在神经网络对参数的学习算法bp算法,接触了很多次,每一次查找资料学习 ...
如何理解反向传播算法
如何理解反向传播算法如何理解反向传播算法神经网络模型的数学表示对代价函数的基本假设反向传播算法反向传播的直观理解总结参考文献对于一个算法或者模型的理解可以分为直观理解,算法理解和数学证 ...
BP反向传播算法的思考和直观理解 -卷积小白的随机世界
https://www.toutiao.com/a6690831921246634504/ 2019-05-14 18:47:24 本篇文章,本来计划再进一步完善对CNN卷积神经网络的理解,但在对卷积 ...
反向传播算法_9.3 反向传播算法的直观理解 Backpropagation Intuition
在上一节中,我们介绍了反向传播算法,对很多人来说,当第一次看到这种算法时,第一印象通常是,这个算法需要那么多繁杂的步骤,简直是太复杂了,实在不知道这些步骤,到底应该如何合在一起使用.就好像一个黑箱,里 ...
对反向传播算法（Back-Propagation）的推导与一点理解
最近在对卷积神经网络(CNN)进行学习的过程中,发现自己之前对反向传播算法的理解不够透彻,所以今天专门写篇博客记录一下反向传播算法的推导过程,算是一份备忘录吧,有需要的朋友也可以看一下这篇文章,写的挺 ...
梯度的直观理解_BP反向传播算法的思考和直观理解 -卷积小白的随机世界
本篇文章,本来计划再进一步完善对CNN卷积神经网络的理解,但在对卷积层反向传播算法的理解中,越发觉得之前对于BP反向传播算法的理解是不到位的.小白近日觉得,对于深度神经网络,"反向传播&qu ...

脱离公式谈谈对反向传播算法的理解

脱离公式谈谈对反向传播算法的理解相关推荐

最新文章

热门文章