前言

其实，深度神经网络的反向传播我们只需知道这个算法的理念，即这个算法的目标方程是谁，对目标方程做什么运算，为什么这样做或者这样做的好处是什么？解决了以上三个问题，你也就相当于掌握了反向传播的精髓。

第一个问题

目标方程是损失函数（loss function），根据问题本身会有差异；比如分类问题，我们常用交叉熵（cross entropy）作为损失函数，这样能很好的预测分类结果的分布；如果是回归问题，我们常用mse（误差平方的平均值）作为损失函数，这样能很好的度量预测结果的准确度

第二个问题

反向传播算法的精髓就是就是采用梯度下降（grediant decent）的算法进行模型参数更新；梯度下降本质就是用目标方程对模型参数求偏导运算，得到的结果再与学习率（learing rate，通常小于1）相乘，再乘以负1，整个结果加上模型初始化或者前一迭代步骤更新后的模型的参数，我们这样就完成了参数的更新，从模型层面讲，完成了模型训练。当然，对于损失函数的处理，也可采用牛顿法或类牛顿法，但最为常见，应用最广仍旧是梯度下降算法。
反向传播算法图解如下图，

第三个问题

这样做的好处，是循环迭代，模型不断自我学习更新，节省大量人力精力，当然效果也不错哦；深度学习在视觉方面已经超过人类…

总结

以上就是CNN的反向传播算法的总结，欢迎关于本人blog，接下来还会分享更多干货～

ref：如果你想了解深度神经网络算法的推导过程，请移步[https://www.cnblogs.com/pinard/p/6422831.html]

深度神经网络（DNN）的反向传播算法总结与图解相关推荐

深度神经网络（DNN）反向传播算法(BP)
在深度神经网络(DNN)模型与前向传播算法中,我们对DNN的模型和前向传播算法做了总结,这里我们更进一步,对DNN的反向传播算法(Back Propagation,BP)做一个总结. 1. DNN反向 ...
【深度学习】神经网络基础：反向传播算法
作者:Simona Ivanova AI/ML 专家就职于 Science 杂志导读反向传播(Backpropagation,简称 BP)是目前用来训练人工神经网络(Artificial ...
反向算法_10分钟带你了解神经网络基础：反向传播算法详解
作者:Great Learning Team deephub.ai 翻译组 1.神经网络 2.什么是反向传播? 3.反向传播是如何工作的? 4.损失函数 5.为什么我们需要反向传播? 6.前馈网络 7 ...
机器学习(深度学习)中的反向传播算法与梯度下降
这是自己在CSDN的第一篇博客,目的是为了给自己学习过的知识做一个总结,方便后续温习,避免每次都重复搜索相关文章. 一.反向传播算法定义:反向传播(Backpropagation,缩写为BP)是&q ...
吴恩达机器学习笔记 —— 10 神经网络参数的反向传播算法
http://www.cnblogs.com/xing901022/p/9350271.html 本篇讲述了神经网络的误差反向传播以及训练一个神经网络模型的流程更多内容参考机器学习&深度学 ...
入门机器学习(八)--神经网络参数的反向传播算法
1. 代价函数(Cost Function) 假设我们拥有一个如下图所示的神经网络,一共有四层,分别是一层输入层,两层隐藏层,一层输出层.下面定义几个变量的意义: m:训练样本的个数,共有m个样本 L ...
吴恩达机器学习 7.神经网络参数的反向传播算法
1.神经网络算法的代价函数标记方法神经网络的训练样本有m个每个包含一组输入x和一组输出信号y L表示神经网络层数 SIS_ISI表示每层的神经元个数 SlS_lSl表示输出层的神经元个数 S ...
吴恩达《机器学习》课程总结(8)_神经网络参数的反向传播算法
Q1代价函数 (1)假设神经网络的训练样本有m个,每一个包含一组输入x和一组输出信号y,L表示神经网络的层数,Sl表示每一层的神经元个数,SL代表最后一层中处理单元的个数. 则代价函数为(同样不对θ0 ...
神经网络之误差反向传播算法推导
原理误差反向传播算法是通过误差函数计算实际输出值与期望输出值之间的误差,把误差从最后的输出层依次传播到之前各层,最后通过调整各层连接权重与偏置达到减小误差的目的.而权重和偏置的调整一般使用梯度下降法 ...

深度神经网络（DNN）的反向传播算法总结与图解

文章目录

前言

第一个问题

第二个问题

第三个问题

总结

深度神经网络（DNN）的反向传播算法总结与图解相关推荐

最新文章

热门文章