　在深度神经网络（DNN）模型与前向传播算法中，我们对DNN的模型和前向传播算法做了总结，这里我们更进一步，对DNN的反向传播算法（Back Propagation，BP）做一个总结。

1. DNN反向传播算法要解决的问题

　　　　在了解DNN的反向传播算法前，我们先要知道DNN反向传播算法要解决的问题，也就是说，什么时候我们需要这个反向传播算法？　

　　　　回到我们监督学习的一般问题，假设我们有m个训练样本：{(x1,y1),(x2,y2),...,(xm,ym)}{(x1,y1),(x2,y2),...,(xm,ym)},其中xx为输入向量，特征维度为n_inn_in,而yy为输出向量，特征维度为n_outn_out。我们需要利用这m个样本训练出一个模型，当有一个新的测试样本(xtest,?)(xtest,?)来到时, 我们可以预测ytestytest向量的输出。　

　　　　如果我们采用DNN的模型，即我们使输入层有n_inn_in个神经元，而输出层有n_outn_out个神经元。再加上一些含有若干神经元的隐藏层。此时我们需要找到合适的所有隐藏层和输出层对应的线性系数矩阵WW,偏倚向量bb,让所有的训练样本输入计算出的输出尽可能的等于或很接近样本输出。怎么找到合适的参数呢？

　　　　如果大家对传统的机器学习的算法优化过程熟悉的话，这里就很容易联想到我们可以用一个合适的损失函数来度量训练样本的输出损失，接着对这个损失函数进行优化求最小化的极值，对应的一系列线性系数矩阵WW,偏倚向量bb即为我们的最终结果。在DNN中

深度神经网络（DNN）反向传播算法(BP)相关推荐

深度神经网络的反向传播算法数学推导
导是在看了这两篇文章之后写的https://www.cnblogs.com/pinard/p/6422831.html https://zhuanlan.zhihu.com/p/24709748 只是 ...
零基础入门深度学习(3) - 神经网络和反向传播算法
无论即将到来的是大数据时代还是人工智能时代,亦或是传统行业使用人工智能在云上处理大数据的时代,作为一个有理想有追求的程序员,不懂深度学习(Deep Learning)这个超热的技术,会不会感觉马上就o ...
July深度学习笔记之神经网络与反向传播算法
July深度学习笔记之神经网络与反向传播算法一.神经网络神经网络的大致结构如下: 大致可以分为输入层.隐藏层与输出层. 而我们可以单独拿出来一个结点,可以发现,其实它就是类似一个逻辑回归(LR), ...
卷积神经网络(CNN)反向传播算法
在卷积神经网络(CNN)前向传播算法中,我们对CNN的前向传播算法做了总结,基于CNN前向传播算法的基础,我们下面就对CNN的反向传播算法做一个总结.在阅读本文前,建议先研究DNN的反向传播算法:深度 ...
神经网络之反向传播算法（均方根反向传播算法RMSProp）
文章目录均方根反向传播算法(RMSProp) 1.算法原理 2.算法实现 2.1 训练过程 2.2 测试过程及结果 3.参考源码及数据集均方根反向传播算法(RMSProp) 自适应梯度算法(Ada ...
神经网络的反向传播（BP）是什么？sigmoid函数的导数是什么，有什么形式优势、优缺点？
神经网络的反向传播(BP)是什么?sigmoid函数的导数是什么,有什么形式优势? 目录
深度学习之反向传播算法
深度学习之反向传播算法直观理解反向传播反向传播算法是用来求那个复杂到爆的梯度的. 上一集中提到一点,13000维的梯度向量是难以想象的.换个思路,梯度向量每一项的大小,是在说代价函数对每个参数有多 ...
深度学习(4) - 神经网络和反向传播算法
神经元神经元和感知器本质上是一样的,只不过我们说感知器的时候,它的激活函数是阶跃函数:而当我们说神经元时,激活函数往往选择为sigmoid函数或tanh函数.如下图所示: 计算一个神经元的输出的方法 ...
深度学习---反向传播算法BP
BP神经网络的数学原理及其算法实现: http://blog.csdn.net/zhongkejingwang/article/details/44514073 脉络清晰的BP神经网络讲解:http: ...

深度神经网络（DNN）反向传播算法(BP)

1. DNN反向传播算法要解决的问题

深度神经网络（DNN）反向传播算法(BP)相关推荐

最新文章

热门文章