反向传播，我终于看懂了

这个篇文章，是我学习神经网络的时候，在 CSDN 中找到的，我觉得作者写得很错，也真正帮助我理解通了反向传播，因此转载过来。

原文：https://blog.csdn.net/weixin_38347387/article/details/82936585

最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大篇的公式觉得好像很难就退缩了，其实不难，就是一个链式求导法则反复用。如果不想看公式，可以直接把数值带进去，实际的计算一下，体会一下这个过程之后再来推导公式，这样就会觉得很容易了。

说到神经网络，大家看到这个图应该不陌生：

这是典型的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，我们现在手里有一堆数据{x1,x2,x3,…,xn},输出也是一堆数据{y1,y2,y3,…,yn},现在要他们在隐含层做某种变换，让你把数据灌进去后得到你期望的输出。如果你希望你的输出和原始输入一样，那么就是最常见的自编码模型（Auto-Encoder）。可能有人会问，为什么要输入输出都一样呢？有什么用啊？其实应用挺广的，在图像识别，文本分类等等都会用到，我会专门再写一篇Auto-Encoder的文章来说明，包括一些变种之类的。如果你的输出和原始输入不一样，那么就是很常见的人工神经网络了，相当于让原始数据通过一个映射来得到我们想要的输出数据，也就是我们今天要讲的话题。

本文直接举一个例子，带入数值演示反向传播法的过程，公式的推导等到下次写Auto-Encoder的时候再写，其实也很简单，感兴趣的同学可以自己推导下试试：）

假设，你有这样一个网络层：

第一层是输入层，包含两个神经元i1，i2，和截距项b1；第二层是隐含层，包含两个神经元h1,h2和截距项b2，第三层是输出o1,o2，每条线上标的wi是层与层之间连接的权重，激活函数我们默认为sigmoid函数。

现在对他们赋上初值，如下图：

其中，输入数据 i1=0.05，i2=0.10;

输出数据 o1=0.01,o2=0.99;

初始权重 w1=0.15,w2=0.20,w3=0.25,w4=0.30;

w5=0.40,w6=0.45,w7=0.50,w8=0.55

目标：给出输入数据i1,i2(0.05和0.10)，使输出尽可能与原始输出o1,o2(0.01和0.99)接近。

Step 1 前向传播

1.输入层---->隐含层：

计算神经元h1的输入加权和：

神经元h1的输出o1:(此处用到激活函数为sigmoid函数)：

同理，可计算出神经元h2的输出o2：

2.隐含层---->输出层：

计算输出层神经元o1和o2的值：

这样前向传播的过程就结束了，我们得到输出值为[0.75136079 , 0.772928465]，与实际值[0.01 , 0.99]相差还很远，现在我们对误差进行反向传播，更新权值，重新计算输出。

Step 2 反向传播

1.计算总误差

总误差：(square error)

但是有两个输出，所以分别计算o1和o2的误差，总误差为两者之和：

2.隐含层---->输出层的权值更新：

以权重参数w5为例，如果我们想知道w5对整体误差产生了多少影响，可以用整体误差对w5求偏导求出：（链式法则）

下面的图可以更直观的看清楚误差是怎样反向传播的：

现在我们来分别计算每个式子的值：

计算：

（这一步实际上就是对sigmoid函数求导，比较简单，可以自己推导一下）

计算：

最后三者相乘：

这样我们就计算出整体误差E(total)对w5的偏导值。

回过头来再看看上面的公式，我们发现：

为了表达方便，用来表示输出层的误差：

因此，整体误差E(total)对w5的偏导公式可以写成：

如果输出层误差计为负的话，也可以写成：

最后我们来更新w5的值：

（其中，是学习速率，这里我们取0.5）

同理，可更新w6,w7,w8:

3.隐含层---->隐含层的权值更新：

方法其实与上面说的差不多，但是有个地方需要变一下，在上文计算总误差对w5的偏导时，是从out(o1)---->net(o1)---->w5,但是在隐含层之间的权值更新时，是out(h1)---->net(h1)---->w1,而out(h1)会接受E(o1)和E(o2)两个地方传来的误差，所以这个地方两个都要计算。

计算：

先计算：

同理，计算出：

两者相加得到总值：

再计算：

最后，三者相乘：

为了简化公式，用sigma(h1)表示隐含层单元h1的误差：

最后，更新w1的权值：

同理，额可更新w2,w3,w4的权值：

这样误差反向传播法就完成了，最后我们再把更新的权值重新计算，不停地迭代，在这个例子中第一次迭代之后，总误差E(total)由0.298371109下降至0.291027924。迭代10000次后，总误差为0.000035085，输出为0.015912196,0.984065734,证明效果还是不错的。

反向传播，我终于看懂了相关推荐

BP反向传播一文弄懂神经网络中的反向传播法
最近在看深度学习的东西,一开始看的吴恩达的UFLDL教程,有中文版就直接看了,后来发现有些地方总是不是很明确,又去看英文版,然后又找了些资料看,才发现,中文版的译者在翻译的时候会对省略的公式推导过程进 ...
30张不明觉厉的照片，看几遍终于看懂了
全世界只有3.14 % 的人关注了爆炸吧知识网络上很多照片,虽然没经过PS,第一眼还是会觉得诡异.仔细看看才发现....哇噢! 总觉得她的头上有一撮尖尖的毛? 狗狗怎么做得出这个表情? 震惊!发现 ...
明了 | 看了这篇文章，多年不能理解的分布式事物，终于看懂了！
hi !我是小小,我们又见面了,在本篇中,小小将会详细的介绍关于分布式事物的问题,看完了这篇文章,多年来的关于分布式事物的问题全都会了. 基础知识工欲善其事,必先利其器.所以需要先有一定的基础知识. ...
上线十个月后，终于看懂视频号对于微信的意义
视频号在逐渐成为微信生态的中场核心. 因为在朋友圈强行置顶视频号的直播内容,微信最近被「吐槽」上了微博热搜.有人觉得这个横插一道的直播页面很丑,也有人认为这种强制展示对用户而言是一种打扰. 据了解,该 ...
分库分表 or NewSQL数据库？终于看懂应该怎么选！【转】
最近与同行科技交流,经常被问到分库分表与分布式数据库如何选择,网上也有很多关于中间件+传统关系数据库(分库分表)与NewSQL分布式数据库的文章,但有些观点与判断是我觉得是偏激的,脱离环境去评价方案好 ...
spi通讯不需要地线吗_终于看懂了iic与spi这两种通讯协议了
IIC vs SPI现今,在低端数字通信应用领域,我们随处可见IIC (Inter-Integrated Circuit) 和 SPI (Serial Peripheral Interface)的身影 ...
涨知识！芯片是怎么做出来的，今天终于看懂了
从专业角度来说,一块芯片的制作工艺,制作流程极其复杂繁琐.但就从IC完整的产业链来说,主要分为IC设计→IC制造→封装→测试四个部分. 芯片制作过程: 一.芯片设计芯片属于体积小,但高精密度极大的产 ...
小学生都能看懂的FFT！！！
小学生都能看懂的FFT!!! 前言在创新实践中心偷偷看了一天FFT资料后,我终于看懂了一点.为了给大家提供一份简单易懂的学习资料,同时也方便自己以后复习,我决定动手写这份学习笔记. 食用指南: 本篇 ...
# cs231n （四）反向传播
cs231n (四)反向传播标签(空格分隔): 神经网络文章目录 cs231n (四)反向传播 0.回顾 1.引言 2. 通过简单表达式理解梯度 3. 链式法则计算复合函数 4. 如何理解反向传播 ...

反向传播，我终于看懂了

反向传播，我终于看懂了相关推荐

最新文章

热门文章