BP神经网络学习笔记

一个神经网络是一个由简单处理元构成的规模宏大的并行分布式处理器。天然具有存储经验知识和使之可用的特性。神经网络在两个方面与人脑相似：

1.神经网络获取的知识是从外界环境中学习得来的。

2.互连神经元的连接强度，即突触权值，用于储存获取的知识。

BP神经网络的优点

1）非线性映射能力：BP神经网络实质上实现了一个从输入到输出的映射功能，数学理论证明三层的神经网络就能够以任意精度逼近任何非线性连续函数。这使得其特别适合于求解内部机制复杂的问题，即BP神经网络具有较强的非线性映射能力。

2）自学习和自适应能力：BP神经网络在训练时，能够通过学习自动提取输出、输出数据间的“合理规则”，并自适应的将学习内容记忆于网络的权值中。即BP神经网络具有高度自学习和自适应能力。

3）泛化能力：所谓泛化能力是指在设计模式分类器时，即要考虑网络在保证对所需分类对象进行正确的分类。也即BP神经网络具有将学习成果应用于新知识的能力。

4）容错能力：BP神经网络在其局部的或者部分的神经元受到破坏后对全局的训练结果不会造成很大的影响，也就是说即使系统在受到局部损伤时还是可以正常工作的。

BP神经网络的缺点

1）局部极小值问题：从数学角度看，传统的BP神经网络为一种局部搜索的优化方法，它要解决的是一个复杂非线性化问题，网络的权值是通过沿局部改善的方向逐渐进行调整的，这样会使算法陷入局部极值，极值收敛到局部极小点，从而导致网络训练失败。加上BP神经网络对初始网络权重非常敏感，以不同的权重初始化网络，其往往会收敛于不同的局部极小，这也是很多学者每次训练得到不同结果的根本原因。

2）BP神经网络算法的收敛速度慢：由于BP神经网络算法本质上为梯度下降法，它所要优化的目标函数是非常复杂的，因此，必然会出现“锯齿形现象”，这使得BP算法低效；又由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，极值误差改变很小，使训练过程几乎停顿；BP神经网络模型中，为了使网络执行BP算法，不能使用传统的一维搜索法求每次迭代的步长，而必须把步长的更新规则预先赋予网络，这种方法也会引起算法低效。以上种种，导致了BP神经网络算法收敛速度慢的现象。

3）BP神经网络结构选择不一：BP神经网络结构的选择至今尚无一种统一而完整的理论指导，一般只能由经验选定。网络结构选择过大，训练中效率不高，可能出现过拟合现象，造成网络性能低，容错性下降，若选择过小，则又会造成网络可能不收敛。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题。

4）应用实例与网络规模的矛盾问题：BP神经网络难以解决应用问题的实例规模和网络规模间的矛盾问题，其涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题。

5）BP神经网络预测能力和训练能力的矛盾问题：预测能力也称泛化能力或者推广能力，而训练能力也称逼近能力或者学习能力。一般情况下，训练能力差时，预测能力也差，并且一定程度上，随着训练能力地提高，预测能力也会得到提高。但这种趋势不是固定的，其有一个极限，当达到此极限时，随着训练能力地提高，预测能力会得到提高。但这种趋势不是固定的，其有一个极限，当达到此极限时，随着训练能力的提高，预测能力反而会下降，也即出现所谓“过拟合”现象。出现该现象的原因是网络学习了过多地样本细节导致，学习出的模型已不能反映样本内含的规律。

6）BP神经网络样本依赖性问题：网络模型的逼近和推广能力与学习样本的典型性密切相关，而从问题中选取典型样本实例组成训练集是一个很困难的问题。

BP主要应用

回归预测（可以进行拟合，数据处理分析，事物预测，控制等）；

分类识别（进行类型划分，模式识别等）

BP算法问题

1、BP算法的学习速度很慢，主要原因有：

BP本质上为梯度下降法，而它索要优化的目标函数又非常复杂，因此，必然会出现“锯齿形现象”，这使得BP算法低效。

存在麻痹现象，由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿。

为了使网络执行BP算法，不能用传统的一维搜索法求每次迭代的步长，而必须把步长的更新规则预先赋予网络，这种方法将引起算法低效。

2、网络训练失败的可能性较大，其原因有：

从数学角度看，BP算法为一种局部搜索的优化方法，但它要解决的问题为求解复杂非线性函数的全局极值，因此，算法很有可能陷入局部极小值，使训练失败。

网络的逼近、推广能力同学习样本的典型性密切相关，而从问题中选取典型样本实例组成训练集是一个很困难的问题

3、网络结构的选择

尚无一种同意而完整的理论指导，一般只能由经验选定。为此，有人称神经网络的结构选择为一种艺术。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题。

4、新加入的样本要影响已学习成功的网络，而且科华每个输入样本的特征的数目也必须相同。

5、采用s型激活函数，由于输出层各神经元的理想输出值只能接近于1或0，而不能达到1或0，因此设置各训练样本的期望输出分量Tkp时，不能设置为1或0，设置0.9或0.1较为适宜。

参考文献：

[1] http://www.doc88.com/p-4055459512023.html

BP神经网络学习笔记相关推荐

数学建模——BP神经网络学习笔记
一.BP神经网络简述人工神经元概述归纳一下生物神经元传递信息的过程:生物神经元是一个多输入.单输出单元.常用的人工神经元模型可用下图模拟. 当神经元j有多个输入xi(i=1,2,-,m)和单个输出 ...
径向基(Radial Basis Function:RBF)神经网络学习笔记
原创不易,转载前请注明博主的链接地址:Blessy_Zhu https://blog.csdn.net/weixin_42555080 一. 从BP神经网络到RDF神经网络在上一篇文章BP(Back ...
神经网络学习笔记-02-循环神经网络
神经网络学习笔记-02-循环神经网络本文是根据WildML的Recurrent Neural Networks Tutorial写的学习笔记. 循环神经网络循环神经网络适用于处理序列化信息,比如: ...
神经网络学习笔记（一) RBF径向基函数神经网络
神经网络学习笔记(一) RBF径向基函数神经网络 2018年08月06日 13:34:26 吃机智豆长大的少女乙阅读数:2735 RBF径向基函数神经网络初学神经网络,以下为综合其他博主学习材料及 ...
神经网络学习笔记3——Transformer、VIT与BoTNet网络
系列文章目录神经网络学习笔记1--ResNet残差网络.Batch Normalization理解与代码神经网络学习笔记2--VGGNet神经网络结构与感受野理解与代码文章目录系列文章目录 A ...
脉冲神经网络学习笔记（综述）
脉冲神经网络学习笔记一. 基本框架脉冲神经网络的监督算法目标是实现对脉冲序列中包含的时空模式的信息的学习,脉冲序列的定义: S(t)对一个Dirac函数进行求和,f代表发放的第f个脉冲,Dirac ...
matlab 植物生长算法,基于模拟植物生长的BP神经网络学习算法研究
第29卷第3期 2 8年6月 JOURNAL OF DALIAN UNIVERSITY VOL29 N住3 Jun. 2 8 基于模拟植物生长的BP神经网络学习算法研究李彤*,于江波,温钰 (大连大学 ...
神经网络学习笔记（4）——期望与算术平均值的区别、方差与均方误差的区别
本来说直接看BP算法的代码的,但是看书的时候又确实遇到了这两个东西,所以就先记上这么一个学习笔记. 虽然这种纯数学的东西放在神经网络的学习笔记中好像也不太对,但是确实是学习神经网络的时候遇到的,所以就 ...
bp神经网络应用实例_人工智能BP神经网络学习神器——AISPACE
未经许可请勿转载更多数据分析内容参看这里今天我们来介绍一套小工具--AISPACE,它有助于你学习BP神经网络运作的过程及原理.AISPACE涉及的一系列工具用于学习和探索人工智能的概念,它们是在 ...

BP神经网络学习笔记

BP神经网络的优点

BP神经网络的缺点

BP主要应用

BP神经网络学习笔记相关推荐

最新文章

热门文章