反向传播思想及其优缺点
反向传播思想：
计算出输出与标签间的损失函数值，然后计算其相对于每个神经元的梯度，根据梯度方向更新权值。
（1）将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；
（2）由于ANN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；
（3）在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。
多层前向BP网络的优点：
- 网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题；
- 网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力；
- 网络具有一定的推广、概括能力
多层前向BP网络的问题：
BP算法的学习速度慢，主要原因有：
- 由于BP算法本质为梯度下降法，它所要优化的目标函数非常复杂，因此会出现“锯齿形现象”，使得BP算法低效；
- 存在麻痹现象，由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿；
- 为了使网络执行BP算法，不能用传统的一维搜索法求每次迭代的步长，而必须把步长的更新规则预先赋予网络，这种方法将引起算法低效。
网络训练失败的可能性较大，其原因有：
- 从数学角度看，BP算法为一种局部搜索的优化方法，但它要解决的问题为求解复杂非线性函数的全局极值，因此，算法很有可能陷入局部极值，使训练失败；
- 难以解决应用问题的实例规模和网络规模间的矛盾。这涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题；
- 网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定,而网络的结构直接影响网络的逼近能力及推广性质；
- 新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同；
- 网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾。一般情况下，训练能力差时，预测能力也差，并且一定程度上，随训练能力地提高，预测能力也提高。但这种趋势有一个极限，当达到此极限时，随训练能力的提高，预测能力反而下降，即出现所谓“过拟合”现象。此时，网络学习了过多的样本细节，而不能反映样本内含的规律
反向传播思想及其优缺点相关推荐
- Pytorch框架中SGD＆Adam优化器以及BP反向传播入门思想及实现
因为这章内容比较多,分开来叙述,前面先讲理论后面是讲代码.最重要的是代码部分,结合代码去理解思想. SGD优化器 思想: 根据梯度,控制调整权重的幅度 公式: 权重(新) = 权重(旧) - 学习率 ...
- 神经网络的反向传播（BP）是什么？sigmoid函数的导数是什么，有什么形式优势、优缺点？
神经网络的反向传播(BP)是什么?sigmoid函数的导数是什么,有什么形式优势? 目录
- 人工智能重点汇总(搜索策略、博弈、贝叶斯、SVM、神经网络、弧相容、SVM、决策树、反向传播、卷积神经网络)
前言:智能Agent 理性Agent:信息手机 + 自主学习: 任务环境(PEAS)四要素: 性能: 环境: 执行器: 传感器: ❗ 环境的性质 环境的性质决定了agent的设计 最难处理的情况: ...
- 深度学习 --- BP算法详解（误差反向传播算法）
本节开始深度学习的第一个算法BP算法,本打算第一个算法为单层感知器,但是感觉太简单了,不懂得找本书看看就会了,这里简要的介绍一下单层感知器: 图中可以看到,单层感知器很简单,其实本质上他就是线性分类器 ...
- 机器学习概念 — 监督学习、无监督学习、半监督学习、强化学习、欠拟合、过拟合、后向传播、损失和优化函数、计算图、正向传播、反向传播
1. 监督学习和无监督学习 监督学习 ( Supervised Learning ) 和无监督学习 ( Unsupervised Learning ) 是在机器学习中经常被提及的两个重要的学习方法. ...
- hung-yi lee_p13_反向传播
文章目录 背景 链式法则 计算思路 梯度计算过程/反向传播 总结 背景 回顾神经网络中计算梯度,更新梯度的过程 这里面的问题是,梯度是一个上百万维的向量,计算出来并非易事 这就引出了反向传播 可以说反 ...
- 用反向传播算法解释大脑学习过程？Hinton 等人新研究登上 Nature 子刊
机器之心报道 魔王.Jamin.杜伟 反向传播可以解释大脑学习吗?近日 Hinton 等人的研究认为,尽管大脑可能未实现字面形式的反向传播,但是反向传播的部分特征与理解大脑中的学习具备很强的关联性.该 ...
- Hinton：我终于想明白大脑怎么工作了！神经学家花三十年，寻找反向传播的生物机制...
作者:Anil Ananthaswamy 编译:梦佳 「有一天晚上,我回家吃饭,激动地说『我终于想明白大脑是怎么工作的了!』我15岁的女儿对我说,怎么又来了,老爸.」 ...
- 《自然综述-神经科学》：大脑中的反向传播
来源:神经前研 本文长度为10000字,建议阅读10+分钟. 俗话说得好:大脑要学习,突触可塑性少不了. 标签:人工智能 大脑中的神经元能调控自身与其它神经元之间的连接强度,这一点我们早在上世纪七十年 ...
- 「机器学习速成」训练神经网络：反向传播、梯度爆炸消失Dropout
https://www.toutiao.com/a6706075530187244045/ 2019-06-24 20:38:02 大家好,今天我们学习[机器学习速成]之 训练神经网络. 我们 马上学 ...
最新文章
- 【C#】override,Abstract,Virtual 介绍及区别--转载
- Zookeeper已经设置了myid文件但是依然报错myid file is missing
- 避免将项目名称用作映射类型名称
- 145. Binary Tree Postorder Traversal
- pthread_join()函数理解
- MATLAB（四）在高等数学中的应用
- 【每日SQL打卡】DAY 14丨重新格式化部门表【难度中等】
- 为什么要破坏JVM的双亲委派模型
- 人月神话 mobi_【爱优好梦】“睡前听故事”之神话篇 —— 天狗吃月
- 三分钟带你快速看懂电子数据取证！ | 打击网络犯罪必备知识
- android+cast+sdk,如何使用Android发现Chromecast设备？
- WORD出错：设置为稿纸后，右键的字体、段落项目变灰
- 食品和饮料销售预测分析
- 90后CEO率图鸭投身开源，视频通信也成“隐形”红海
- html标签onload,支持onload事件的HTML标签有哪些
- 涪陵创新计算机学校2015元旦晚会,喜报：重庆市涪陵信息技术学校2019高考再续辉煌...
- 科普文章-另一个视角解读计算机编码(修订版)
- 4.16 日期的输入和自定义日期的格式 [原创Excel教程]
- 这可能是前端开发中能遇到最全的cookie问题了
- java 彩票走势图算法