在上一节中,我们介绍了反向传播算法,对很多人来说,当第一次看到这种算法时,第一印象通常是,这个算法需要那么多繁杂的步骤,简直是太复杂了,实在不知道这些步骤,到底应该如何合在一起使用。就好像一个黑箱,里面充满了复杂的步骤。如果你对反向传播算法也有这种感受的话,这其实是正常的,相比于线性回归算法和逻辑回归算法而言,从数学的角度上讲,反向传播算法似乎并不简洁,对于反向传播这种算法,其实我已经使用了很多年了,但即便如此,即使是现在,我也经常感觉自己对反向传播算法的理解并不是十分深入,对于反向传播算法究竟是如何执行的,并没有一个很直观的理解。做过编程练习的同学应该可以感受到这些练习或多或少能帮助你,将这些复杂的步骤梳理了一遍,巩固了反向传播算法具体是如何实现的,这样你才能自己掌握这种算法。在这一节中,我想更加深入地讨论一下反向传播算法的这些复杂的步骤,并且希望给你一个更加全面直观的感受,理解这些步骤究竟是在做什么,也希望通过这段视频,你能理解,它至少还是一个合理的算法。但可能你即使看了这段视频,你还是觉得反向传播依然很复杂,依然像一个黑箱,太多复杂的步骤,依然感到有点神奇,这也是没关系的。即使是我接触反向传播这么多年了,有时候仍然觉得这是一个难以理解的算法,但还是希望这段视频能有些许帮助,为了更好地理解反向传播算法,我们再来仔细研究一下前向传播的原理:

这是一个含有两个输入单元的神经网络结构,当然,没有把偏置单元放进去,第二层和第三层各有两个隐藏单元,不过最后只有一个输出单元。

为了更好的理解反向传播函数,我们来看一下损失函数,这个损失函数只适用于有一个输出单元的情况,如果有不止一个输出单元,只需要用k作为输出单元的下标,然后对他们进行求和即可。

反向传播算法_9.3 反向传播算法的直观理解 Backpropagation Intuition相关推荐

  1. 双代号网络图基础算法_9个简单数学算法在管理领域的运用

    数学,一直被认为是一个很让人头疼的学科,好像除了专业人士外,其他人都会"谈之色变",网上有个段子道出了真相:"初二那年,我弯腰捡了一支笔,从此再没听懂过数学课" ...

  2. BP反向传播算法的思考和直观理解 -卷积小白的随机世界

    https://www.toutiao.com/a6690831921246634504/ 2019-05-14 18:47:24 本篇文章,本来计划再进一步完善对CNN卷积神经网络的理解,但在对卷积 ...

  3. 梯度的直观理解_BP反向传播算法的思考和直观理解 -卷积小白的随机世界

    本篇文章,本来计划再进一步完善对CNN卷积神经网络的理解,但在对卷积层反向传播算法的理解中,越发觉得之前对于BP反向传播算法的理解是不到位的.小白近日觉得,对于深度神经网络,"反向传播&qu ...

  4. 神经网络之反向传播算法(均方根反向传播算法RMSProp)

    文章目录 均方根反向传播算法(RMSProp) 1.算法原理 2.算法实现 2.1 训练过程 2.2 测试过程及结果 3.参考源码及数据集 均方根反向传播算法(RMSProp) 自适应梯度算法(Ada ...

  5. 反向传播算法的理论基础,反向传播算法应用

    如何理解神经网络里面的反向传播算法 反向传播算法(Backpropagation)是目前用来训练人工神经网络(ArtificialNeuralNetwork,ANN)的最常用且最有效的算法. 其主要思 ...

  6. 反向传播的直观理解 (以及为什么反向传播是一种快速的算法)

    解释:公式 46 其实就是微分的定义公式,"W + εej  "代表对于由 j 个 weight 构成的单位向量 W,在其他权重都不变的情况下,使得 Wj 微小的改变 ε(W为单位 ...

  7. 深度学习与计算机视觉系列(5)_反向传播与它的直观理解

    作者:寒小阳 时间:2015年12月. 出处:http://blog.csdn.net/han_xiaoyang/article/details/50321873 声明:版权所有,转载请联系作者并注明 ...

  8. MLP入门:多层人工神经网络模型及算法公式推导(正向传播与逆向传播过程详解)

    1. 多层人工神经网络模型 多层感知机MLP(Multi-Layer Perceptron)也叫多层人工神经网络.一般的,常见的神经网络是如下图所示的层级结构.由输入层.隐藏层(可有多层)和输出层组成 ...

  9. 神经网络前向传播表达式,人工神经网络反向传播

    人工神经网络的定义,详细说明 人工神经网络(ArtificialNeuralNetworks,ANN),一种模范动物神经网络行为特征,进行分布式并行信息处理的算法数学模型. 这种网络依靠系统的复杂程度 ...

最新文章

  1. element的多级选中_element-ui(Vue.js) 我在做二级select联动时选中值是循环的value怎么解?...
  2. linux查看服务器设备信息命令dmidecode
  3. 数据中心业界需要新的设计标准
  4. oracle按时间导出,如何为Oracle导出文件加上时间戳
  5. Typora 快捷键
  6. what??|诞生才一年的BCH竟面临硬分叉的抉择
  7. GLSL Optimizer
  8. 深入剖析Android音频(四)AudioTrack
  9. 阿里规定代码中禁用这个,为何?
  10. [LeetCode]题解(python):016-3Sum Closest
  11. ES6-异步async await学习
  12. 除了百度,这几个搜索引擎更好用
  13. 安装无奈7和Linux,linux7安装teamViewer
  14. 《信号与系统学习笔记》—信号与系统的时域和频域特性(二)
  15. 老码识途——1.1反汇编机器码入门
  16. MPU6050 六轴传感器实验
  17. 信息系统项目管理师和PMP®对比
  18. 多多自走棋服务器不稳定,多多自走棋突然宣布停服,数据将全部转移到腾讯服务器中...
  19. python 进化树_物种进化树构建
  20. 培养创造性思维的20个方法

热门文章

  1. c语言for循环加法,BigDecimal 在for循环中相加注意事项
  2. Ardino基础教程 15_火焰报警器
  3. DIY烤肉加热台,了解一下?
  4. 【DIY】arduino播放音乐方案——TMRpcm
  5. 七、linux驱动注册
  6. AJPFX关于collection总结
  7. 学习 Spring (十七) Spring 对 AspectJ 的支持 (完结)
  8. 二,zabbix与php的一些问题
  9. 张学友演唱会成犯罪分子噩梦,阿里云云盾人发布脸对比功能将进一步提升罪犯监察力度...
  10. iOS中使用OpenGL 实现增高功能