本文介绍了以反向传播(backpropagation)算法为基础的多层神经网络,下面的例子是三层的神经网络,其中两个输入,一个输出.

每一个神经元(neuron)由两个单元(unit)构成.第一个单元增加了产出的权重(weights)系数和输入信号.第二个单元实现了非线性函数,我们称之为神经元激活(neuron activation)函数.信号e是增加的输出信号,y=f(e)是非线性元素的输出信号.y也是神经元的输出信号.

为了让神经网络学习,我们需要来训练数据集.训练集包含了两个输入信号(x1和x2)以相对应的目标z.神经网络训练是一个迭代的过程,每次迭代权重系数都会改进.

ForwardPropagation

第一层神经网络:

第二层神经网络:

第三层神经网络

BackPropagation

接下来输出信号y会与目标值相比较,他们两个的差叫做误差信号δ\delta

我们不可能直接计算出误差信号的,很多年科学家都没有解决这个问题,直到18世纪中叶.这个问题的解决方式是反方向传播误差信号δ\delta

权重系数wmnw_{mn}和上述的向前传播过程的权重系数是相同的

当所有的神经元的误差信号都被计算出来,所有神经元正向输入的权重系数将被修正.df(e)/dedf(e)/de代表了神经元激活函数的派生

系数η\eta影响了神经网络的学习速度.有一些技巧来选择这个参数.
1. 选择比较大的值.当权重系数确定之后,η\eta将会逐渐的减少.
2. 选择比较小的值.在学习的过程中η\eta会先变变大,再变小.
参考文献:
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html
http://blog.sina.com.cn/s/blog_8e5ce7190102ws0h.html
http://blog.csdn.net/u013007900/article/details/50118945
http://www.doc88.com/p-9405764412826.html
数学公式整理:
http://blog.csdn.net/zdk930519/article/details/54137476
http://www.tuicool.com/articles/mEzqeaM

Backpropagation相关推荐

李宏毅机器学习笔记4：Brief Introduction of Deep Learning、Backpropagation(后向传播算法)...
李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料,在YouTube.网易云课堂.B站都能观看到相应的课程视频,接下来这一系列的博客我都将记录老师上课的笔记以及自己对 ...
Back-propagation, an introduction
About Contact Subscribe Back-propagation, an introduction Sanjeev Arora and Tengyu Ma • Dec 20, 20 ...
李宏毅深度学习——Backpropagation
引言求导法则回顾一下之前学习过的,在求解神经网络时,我们通常使用梯度下降算法进行求解.首先,先自定义一组参数作为我们的起始值,之后计算我们需要使用的梯度,有了梯度之后就可以利用它进行迭代求解了显 ...
计算图上的微积分：Backpropagation 微积分 SOTON数据分析 · 2015-09-06 08:52 [译] 计算图上的微积分：Backpropagation 引言 Backprop
计算图上的微积分:Backpropagation 微积分 SOTON数据分析 · 2015-09-06 08:52 引言 Backpropagation (BP) 是使得训练深度模型在计算上可行的关 ...
循环神经网络教程3-BP算法和梯度消失问题, Part 3 – Backpropagation Through Time and Vanishing Gradients
In the previous part of the tutorial we implemented a RNN from scratch, but didn't go into detail on ...
【机器学习】详解 BackPropagation 反向传播算法！
首先介绍一下链式法则假如我们要求z对x1的偏导数,那么势必得先求z对t1的偏导数,这就是链式法则,一环扣一环 BackPropagation(BP)正是基于链式法则的,接下来用简单的前向传播网络为例 ...
深度学习：反向传播（back-propagation）
反向传播(back-propagation) 首先我们处理神经网络是是整层整层的处理,编码的时候就是这么处理的,也就是处理的对象是矩阵. 向量的处理方式,只是帮助理解概念. 定义一个仅由当前层数据和下 ...
一文弄懂神经网络中的反向传播法——BackPropagation【转】
本文转载自:https://www.cnblogs.com/charlotte77/p/5629865.html 一文弄懂神经网络中的反向传播法--BackPropagation 最近在看深度学习的东 ...
反向传播算法 Backpropagation Algorithm
假设我们有一个固定样本集,它包含个样例.我们可以用批量梯度下降法来求解神经网络.具体来讲,对于单个样例(x,y),其代价函数为:这是一个(二分之一的)方差代价函数.给定一个包含个样例的数据集,我们 ...
ML Backpropagation算法实现的过程举例
Backpropagation算法实现的过程: 输入x:设置输入层activation a (输入层a等于x) 正向更新:对于l=1, 2, 3,-L,计算(由前一层的值计算得到下一层的值) 计算出输 ...

Backpropagation

ForwardPropagation

BackPropagation

Backpropagation相关推荐

最新文章

热门文章