前向传播、反向传播——通俗易懂
本文总结:
目标:得到更接近你想要的输出o1,o2,即更准确地预测
过程:固定的输入x1,x2..==>通过反向传播不断更新权重==>得到更接近你想要的输出o1,o2...
反向传播的过程:
- 利用前向传播求出误差E,
- 求出误差E对权重W的偏导数,
- 利用更新权重W,
- 继续反向传播,更新更接近输入层的权重W,直到更新所有的权重W,
- 循环1,2,3,4过程,不断更新权重W,降低误差E,最终得到训练好的神经网络(即适合的权重W)
注意:权重W的更新是从输出层==》隐含层==》输入层,一步步更新的
目录
Step 1 前向传播
1.输入层---->隐含层:
2.隐含层---->输出层:
Step 2 反向传播
1.计算总误差
2.隐含层---->输出层的权值更新:
3.隐含层---->隐含层的权值更新:
实例:
这是典型的三层神经网络的基本构成,Layer L1是输入层,Layer L2是隐含层,Layer L3是隐含层,我们现在手里有一堆数据{x1,x2,x3,...,xn},输出也是一堆数据{y1,y2,y3,...,yn},现在要他们在隐含层做某种变换,让你把数据灌进去后得到你期望的输出。
- 如果你希望你的输出和原始输入一样,那么就是最常见的自编码模型(Auto-Encoder)。可能有人会问,为什么要输入输出都一样呢?有什么用啊?其实应用挺广的,在图像识别,文本分类等等都会用到,包括一些变种之类的。
- 如果你的输出和原始输入不一样,那么就是很常见的人工神经网络了,相当于让原始数据通过一个映射来得到我们想要的输出数据,也就是我们今天要讲的话题。
本文直接举一个例子,带入数值演示反向传播法的过程,公式的推导等到下次写Auto-Encoder的时候再写,其实也很简单,感兴趣的同学可以自己推导下试试:)
假设,你有这样一个网络层:
第一层是输入层,包含两个神经元i1,i2,和截距项b1;第二层是隐含层,包含两个神经元h1,h2和截距项b2,第三层是输出o1,o2,每条线上标的wi是层与层之间连接的权重,激活函数我们默认为sigmoid函数。
现在对他们赋上初值,如下图:
其中,输入数据 i1=0.05,i2=0.10;
输出数据 o1=0.01,o2=0.99;
初始权重 w1=0.15,w2=0.20,w3=0.25,w4=0.30;
w5=0.40,w6=0.45,w7=0.50,w8=0.55
目标:给出输入数据i1,i2(0.05和0.10),使输出尽可能与原始输出o1,o2(0.01和0.99)接近。
Step 1 前向传播
1.输入层---->隐含层:
计算神经元h1的输入加权和:
1.神经元h1的输出outh1:(此处用到激活函数为sigmoid函数):
2.同理,可计算出神经元outh2的输出o2:
2.隐含层---->输出层:
计算输出层神经元o1和o2的值:
这样前向传播的过程就结束了,我们得到输出值为[0.75136079 , 0.772928465],与实际值[0.01 , 0.99]相差还很远,现在我们对误差进行反向传播,更新权值,重新计算输出。
Step 2 反向传播
1.计算总误差
总误差:(square error)
但是有两个输出,所以分别计算o1和o2的误差,总误差为两者之和:
2.隐含层---->输出层的权值更新:
以权重参数w5为例,如果我们想知道w5对整体误差产生了多少影响,可以用整体误差对w5求偏导求出:(链式法则)
下面的图可以更直观的看清楚误差是怎样反向传播的:
现在我们来分别计算每个式子的值:
1.计算:
2.计算:
(这一步实际上就是对sigmoid函数求导,比较简单,可以自己推导一下)
3.计算:
最后三者相乘:
这样我们就计算出整体误差E(total)对w5的偏导值。
回过头来再看看上面的公式,我们发现:
为了表达方便,用来表示输出层的误差:
因此,整体误差E(total)对w5的偏导公式可以写成:
如果输出层误差计为负的话,也可以写成:
最后我们来更新w5的值:
(其中,是学习速率,这里我们取0.5)
同理,可更新w6,w7,w8:
3.隐含层---->隐含层的权值更新:
方法其实与上面说的差不多,但是有个地方需要变一下,在上文计算总误差对w5的偏导时,是从out(o1)---->net(o1)---->w5,但是在隐含层之间的权值更新时,是out(h1)---->net(h1)---->w1,而out(h1)会接受E(o1)和E(o2)两个地方传来的误差,所以这个地方两个都要计算。
计算:
先计算:
同理,计算出:
两者相加得到总值:
再计算:
再计算:
最后,三者相乘:
为了简化公式,用sigma(h1)表示隐含层单元h1的误差:
最后,更新w1的权值:
同理,额可更新w2,w3,w4的权值:
这样误差反向传播法就完成了,最后我们再把更新的权值重新计算,不停地迭代,在这个例子中第一次迭代之后,总误差E(total)由0.298371109下降至0.291027924。迭代10000次后,总误差为0.000035085,输出为[0.015912196,0.984065734](原输入为[0.01,0.99]),证明效果还是不错的。
前向传播、反向传播——通俗易懂相关推荐
- meanpool maxpool 前向和反向传播
mean max 前向和反向传播 感觉平均迟化对值不太公平,应该加个权重,让算法自动去决定哪个 cnn中关于平均池化和最大池化的理解 接触到pooling主要是在用于图像处理的卷积神经网络中,但随着深 ...
- 4.6 前向和反向传播-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 4.5 搭建深层神经网络快 回到目录 4.7 参数 vs. 超参数 前向和反向传播 (Forward and Backward Propagation) 之前我们学习了构成深 ...
- Pytorch 自定义激活函数前向与反向传播 Tanh
看完这篇,你基本上可以自定义前向与反向传播,可以自己定义自己的算子 文章目录 Tanh 公式 求导过程 优点: 缺点: 自定义Tanh 与Torch定义的比较 可视化 import matplotli ...
- 卷积神经网络前向及反向传播过程数学解析
卷积神经网络前向及反向传播过程数学解析 文章目录 <center>卷积神经网络前向及反向传播过程数学解析 1.卷积神经网络初印象 2.卷积神经网络性质 3.前向传播 3.1.卷积层层级间传 ...
- 神经网络的前向和反向传播
1.前向传播 前向传播的作用就是为了获取误差损失:现在以示例来说明: 上图是一个典型的神经网络结构,包括了输入层.隐含层和输出层,为了更好的讲解,现在对其进行赋值: 目标:给出输入数据i1,i2(0. ...
- numpy实现简单的二层网络------前向和反向传播
会推导神经网络的前向和反向传播是深度学习的基础,也许大家在实验使用Tensorflow框架,只需要调用某一个损失函数,传入参数就可以得到损失,或者Mxnet框架,你都不需要调用任何函数,给个标志就可以 ...
- Pytorch 自定义激活函数前向与反向传播 sigmoid
文章目录 Sigmoid 公式 求导过程 优点: 缺点: 自定义Sigmoid 与Torch定义的比较 可视化 import matplotlib import matplotlib.pyplot a ...
- 007-卷积神经网络03-前向传播-反向传播
前向传播: 前向传播就是求特征图的过程 通常x和w有四个维度[编号,深度,高度,宽度] 反向传播: 先来复习一下反向传播的知识: 反向传播回来的是梯度,也就是偏导数 反向传播力有一个链式法则:对于反向 ...
- 深度学习-正向传播反向传播
正向传播 对于神经元来说,训练的目标就是确认最优的w和b,使得输出值和真实值之间的误差变得最小. 数据从输入到输出,一层一层的进行运算,在输出层输出一个预测值y (理解:正向传播,多个输入层-> ...
- Pytorch 自定义激活函数前向与反向传播 ReLu系列 含优点与缺点
文章目录 ReLu 公式 求导过程 优点: 缺点: 自定义ReLu 与Torch定义的比较 可视化 Leaky ReLu PReLu 公式 求导过程 优点: 缺点: 自定义LeakyReLu 与Tor ...
最新文章
- hdu5251最小矩形覆盖
- ESP32-C3的性价比到底有多高!乐鑫的布局到底是什么呢?
- C语言指针和数组的天生姻缘
- .bat文件该图标_电脑桌面图标变成白色方块图标怎么办?
- android lcd驱动框架,LCD驱动及Framebuffer相关(转载)
- Jquery Money 验证,转换成千分位
- C++ 中export 关键字的尴尬处境
- SqlBulkCopy类进行大数据(一万条以上)插入测试
- css 圆点样式 优惠券样子
- mv强制覆盖 shell_一个简单的linux命令 mv
- 我为什么要理解storm的一些概念
- h3c服务器虚拟光驱上传慢,01-正文
- python利用蒙版抠图(使用PIL.Image和cv2)输出透明背景图
- 北京的旅游攻略(持续更新中)
- k8s 1.18.20 kubevirt v0.47.1 创建 windows10 虚拟机
- .xz是什么文件怎么解压_如何解压缩 tar.xz 文件
- arduino图形化编程mind+结合A4899驱动步进电机
- 如何批量修改图片名称?
- Win7下调出任务快捷栏
- 关联数据库中多张表_关联数据
热门文章
- jQuery动态增加表格一行和删除一行
- 实践中整理出tomcat集群和负载均衡
- 数据源管理 | PostgreSQL环境整合,JSON类型应用
- Lucy-Richardson加速算法以及PSF计算MATLAB代码
- 连载08:软件体系设计新方向:数学抽象、设计模式、系统架构与方案设计(简化版)(袁晓河著)...
- Python的内建模块itertools
- Java语言中的----数组
- 《Jquery实战》第3版:译者序 Frank Xu Lei
- golang - strings
- java网络图片与二进制字符串相互转换