bp神经网络预测模型优点,bp神经网络缺点及克服

BP神经网络的核心问题是什么?其优缺点有哪些?

人工神经网络,是一种旨在模仿人脑结构及其功能的信息处理系统,就是使用人工神经网络方法实现模式识别.可处理一些环境信息十分复杂,背景知识不清楚,推理规则不明确的问题,神经网络方法允许样品有较大的缺损和畸变.神经网络的类型很多,建立神经网络模型时,根据研究对象的特点,可以考虑不同的神经网络模型. 前馈型BP网络,即误差逆传播神经网络是最常用,最流行的神经网络.BP网络的输入和输出关系可以看成是一种映射关系,即每一组输入对应一组输出.BP算法是最著名的多层前向网络训练算法,尽管存在收敛速度慢,局部极值等缺点,但可通过各种改进措施来提高它的收敛速度,克服局部极值现象,而且具有简单,易行,计算量小,并行性强等特点,目前仍是多层前向网络的首选算法.多层前向BP网络的优点：网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。

这使得它特别适合于求解内部机制复杂的问题；网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力；网络具有一定的推广、概括能力。

多层前向BP网络的问题：从数学角度看，BP算法为一种局部搜索的优化方法，但它要解决的问题为求解复杂非线性函数的全局极值，因此，算法很有可能陷入局部极值，使训练失败；网络的逼近、推广能力同学习样本的典型性密切相关，而从问题中选取典型样本实例组成训练集是一个很困难的问题。

难以解决应用问题的实例规模和网络规模间的矛盾。这涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题；网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定。

为此，有人称神经网络的结构选择为一种艺术。而网络的结构直接影响网络的逼近能力及推广性质。

因此，应用中如何选择合适的网络结构是一个重要的问题；新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同；网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾。

一般情况下，训练能力差时，预测能力也差，并且一定程度上，随训练能力地提高，预测能力也提高。但这种趋势有一个极限，当达到此极限时，随训练能力的提高，预测能力反而下降，即出现所谓“过拟合”现象。

此时，网络学习了过多的样本细节，而不能反映样本内含的规律由于BP算法本质上为梯度下降法，而它所要优化的目标函数又非常复杂，因此，必然会出现“锯齿形现象”，这使得BP算法低效；存在麻痹现象，由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿；为了使网络执行BP算法，不能用传统的一维搜索法求每次迭代的步长，而必须把步长的更新规则预先赋予网络，这种方法将引起算法低效。

谷歌人工智能写作项目：神经网络伪原创

BP神经网络的应用不足

神经网络可以用作分类、聚类、预测等写作猫。神经网络需要有一定量的历史数据，通过历史数据的训练，网络可以学习到数据中隐含的知识。

在你的问题中，首先要找到某些问题的一些特征，以及对应的评价数据，用这些数据来训练神经网络。虽然BP网络得到了广泛的应用，但自身也存在一些缺陷和不足，主要包括以下几个方面的问题。

首先，由于学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。

对于一些复杂问题，BP算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。

其次，BP算法可以使权值收敛到某个值，但并不保证其为误差平面的全局最小值，这是因为采用梯度下降法可能产生一个局部最小值。对于这个问题，可以采用附加动量法来解决。

再次，网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。因此，网络往往存在很大的冗余性，在一定程度上也增加了网络学习的负担。最后，网络的学习和记忆具有不稳定性。

也就是说，如果增加了学习样本，训练好的网络就需要从头开始训练，对于以前的权值和阈值是没有记忆的。但是可以将预测、分类或聚类做的比较好的权值保存。

神经网络优缺点，

优点：（1）具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。

预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。（2）具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。（3）具有高速寻找优化解的能力。

寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。

缺点：（1）最严重的问题是没能力来解释自己的推理过程和推理依据。（2）不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。

（3）把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。（4）理论和学习算法还有待于进一步完善和提高。

扩展资料：神经网络发展趋势人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。

人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。

近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。

将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。

神经网络在很多领域已得到了很好的应用，但其需要研究的方面还很多。

其中，具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他技术的结合以及由此而来的混合方法和混合系统，已经成为一大研究热点。

由于其他方法也有它们各自的优点，所以将神经网络与其他方法相结合，取长补短，继而可以获得更好的应用效果。

目前这方面工作有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论、证据理论和灰色系统等的融合。参考资料：百度百科-人工神经网络。

BP人工神经网络

人工神经网络（artificialneuralnetwork，ANN）指由大量与自然神经系统相类似的神经元联结而成的网络，是用工程技术手段模拟生物网络结构特征和功能特征的一类人工系统。

神经网络不但具有处理数值数据的一般计算能力，而且还具有处理知识的思维、学习、记忆能力，它采用类似于“黑箱”的方法，通过学习和记忆，找出输入、输出变量之间的非线性关系（映射），在执行问题和求解时，将所获取的数据输入到已经训练好的网络，依据网络学到的知识进行网络推理，得出合理的答案与结果。

岩土工程中的许多问题是非线性问题，变量之间的关系十分复杂，很难用确切的数学、力学模型来描述。

工程现场实测数据的代表性与测点的位置、范围和手段有关，有时很难满足传统统计方法所要求的统计条件和规律，加之岩土工程信息的复杂性和不确定性，因而运用神经网络方法实现岩土工程问题的求解是合适的。

BP神经网络模型是误差反向传播（BackPagation）网络模型的简称。它由输入层、隐含层和输出层组成。

网络的学习过程就是对网络各层节点间连接权逐步修改的过程，这一过程由两部分组成：正向传播和反向传播。

正向传播是输入模式从输入层经隐含层处理传向输出层；反向传播是均方误差信息从输出层向输入层传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使得误差信号最小。

BP神经网络模型在建立及应用过程中，主要存在的不足和建议有以下四个方面：（1）对于神经网络，数据愈多，网络的训练效果愈佳，也更能反映实际。

但在实际操作中，由于条件的限制很难选取大量的样本值进行训练，样本数量偏少。（2）BP网络模型其计算速度较慢、无法表达预测量与其相关参数之间亲疏关系。

（3）以定量数据为基础建立模型，若能收集到充分资料，以定性指标（如基坑降水方式、基坑支护模式、施工工况等）和一些易获取的定量指标作为输入层，以评价等级作为输出层，这样建立的BP网络模型将更准确全面。

（4）BP人工神经网络系统具有非线性、智能的特点。

较好地考虑了定性描述和定量计算、精确逻辑分析和非确定性推理等方面，但由于样本不同，影响要素的权重不同，以及在根据先验知识和前人的经验总结对定性参数进行量化处理，必然会影响评价的客观性和准确性。

因此，在实际评价中只有根据不同的基坑施工工况、不同的周边环境条件，应不同用户的需求，选择不同的分析指标，才能满足复杂工况条件下地质环境评价的要求，取得较好的应用效果。

极端气温、降雨-洪水模型(BP神经网络)的建立

极端气温、降雨与洪水之间有一定的联系。

根据1958～2007年广西西江流域极端气温、极端降雨和梧州水文站洪水数据，以第5章相关分析所确定的显著影响梧州水文站年最大流量的测站的相应极端气候因素(表4.22)为输入，建立人工神经网络模型。

4.5.1.1 BP神经网络概述(1)基于BP算法的多层前馈网络模型采用BP算法的多层前馈网络是至今为止应用最广泛的神经网络，在多层的前馈网的应用中，如图4.20所示的三层前馈网的应用最为普遍，其包括了输入层、隐层和输出层。

图4.20 典型的三层BP神经网络结构在正向传播中，输入信息从输入层经隐含层逐层处理，并传向输出层。

如果输出层不能得到期望的输出结果，则转入反向传播，将误差信号沿原来的连同通路返回，通过修改各层神经元的权值，使得误差最小。BP算法流程如图4.21所示。

图4.21 BP算法流程图容易看出，BP学习算法中，各层权值调整均由3个因素决定，即学习率、本层输出的误差信号以及本层输入信号y(或x)。

其中，输出层误差信号同网络的期望输出与实际输出之差有关，直接反映了输出误差，而各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。

1988年，Cybenko指出两个隐含层就可表示输入图形的任意输出函数。

如果BP网络只有两个隐层，且输入层、第一隐含层、第二隐层和输出层的单元个数分别为n，p，q，m，则该网络可表示为BP(n，p，q，m)。

(2)研究区极端气温、极端降雨影响年最大流量过程概化极端气温、极端降雨影响年最大流量的过程极其复杂，从极端降雨到年最大流量，中间要经过蒸散发、分流、下渗等环节，受到地形、地貌、下垫面、土壤地质以及人类活动等多种因素的影响。

可将一个极端气候-年最大流量间复杂的水过程概化为小尺度的水系统，该水系统的主要影响因子可通过对年最大流量影响显著的站点的极端气温和极端降雨体现出来，而其中影响不明显的站点可忽略，从而使问题得以简化。

BP神经网络是一个非线形系统，可用于逼近非线形映射关系，也可用于逼近一个极为复杂的函数关系。极端气候-年最大流量水系统是一个非常复杂的映射关系，可将之概化为一个系统。

BP神经网络与研究流域的极端气候-年最大流量水系统的结构是相似的，利用BP神经网络，对之进行模拟逼近。

(3)隐含层单元数的确定隐含层单元数q与所研究的具体问题有关，目前尚无统一的确定方法，通常根据网络训练情况采用试错法确定。

在训练中网络的收敛采用输出值Ykp与实测值tp的误差平方和进行控制变环境条件下的水资源保护与可持续利用研究作者认为，虽然现今的BP神经网络还是一个黑箱模型，其参数没有水文物理意义，在本节的研究过程中，将尝试着利用极端气候空间分析的结果来指导隐含层神经元个数的选取。

(4)传递函数的选择BP神经网络模型算法存在需要较长的训练时间、完全不能训练、易陷入局部极小值等缺点，可通过对模型附加动量项或设置自适应学习速率来改良。

本节采用MATLAB工具箱中带有自适应学习速率进行反向传播训练的traingdm(　)函数来实现。

(5)模型数据的归一化处理由于BP网络的输入层物理量及数值相差甚远，为了加快网络收敛的速度，使网络在训练过程中易于收敛，对输入数据进行归一化处理，即将输入的原始数据都化为0～1之间的数。

本节将年极端最高气温的数据乘以0.01;将极端最低气温的数据乘以0.1;年最大1d、3d、7d降雨量的数据乘以0.001;梧州水文站年最大流量的数据乘以0.00001，其他输入数据也按类似的方法进行归一化处理。

(6)年最大流量的修正梧州水文站以上的流域集水面积为32.70万km2，广西境内流域集水面积为20.24万km2，广西境内流域集水面积占梧州水文站以上的流域集水面积的61.91%。

因此，选取2003～2007年梧州水文站年最大流量和红水河的天峨水文站年最大流量，分别按式4.10计算每年的贡献率(表4.25)，取其平均值作为广西西江流域极端降雨对梧州水文站年最大流量的平均贡献率，最后确定平均贡献率为76.88%。

变环境条件下的水资源保护与可持续利用研究表4.25 2003～2007年极端降雨对梧州水文站年最大流量的贡献率建立“年极端气温、降雨与梧州年最大流量模型”时，应把平均贡献率与梧州水文站年最大流量的乘积作为模型输入的修正年最大流量，而预测的年最大流量应该为输出的年最大流量除以平均贡献率76.88%，以克服极端气温和降雨研究范围与梧州水文站集水面积不一致的问题。

4.5.1.2年极端气温、年最大1d降雨与梧州年最大流量的BP神经网络模型(1)模型的建立以1958～1997年年极端最高气温、年极端最低气温、年最大1d降雨量与梧州水文站年最大流量作为学习样本拟合、建立“年极端气温、年最大1d降雨-梧州年最大流量BP神经网络模型”。

以梧州气象站的年极端最高气温，桂林、钦州气象站的年极端最低气温，榜圩、马陇、三门、黄冕、沙街、勾滩、天河、百寿、河池、贵港、金田、平南、大化、桂林、修仁、五将雨量站的年最大1d降雨量为输入，梧州水文站年最大流量为输出，隐含层层数取2，建立(19，p，q，1)BP神经网络模型，其中神经元数目p，q经试算分别取16和3，第一隐层、第二隐层的神经元采用tansig传递函数，输出层的神经元采用线性传递函数，训练函数选用traingdm，学习率取0.1，动量项取0.9，目标取0.0001，最大训练次数取200000。

BP网络模型参数见表4.26，结构如图4.22所示。

图4.22年极端气温、年最大1d降雨-梧州年最大流量BP模型结构图表4.26 BP网络模型参数一览表从结构上分析，梧州水文站年最大流量产生过程中，年最高气温、年最低气温和各支流相应的流量都有其阈值，而极端气温和极端降雨是其输入，年最大流量是其输出，这类似于人工神经元模型中的阈值、激活值、输出等器件。

输入年最大1d降雨时选用的雨量站分布在14条支流上(表4.27)，极端降雨发生后，流经14条支流汇入梧州，在这一过程中极端气温的变化影响极端降雨的蒸散发，选用的雨量站分布在年最大1d降雨四个自然分区的Ⅱ、Ⅲ、Ⅳ3个区。

该过程可与BP神经网络结构进行类比(表4.28)，其中， 14条支流相当于第一隐含层中的14个神经元，年最高气温和年最低气温相当于第一隐含层中的2个神经元，年最大1d降雨所在的3个分区相当于第二隐含层的3个神经元，年最高气温、年最低气温的影响值和各支流流量的奉献值相当于隐含层中人工神经元的阈值，从整体上来说，BP神经网络的结构已经灰箱化。

表4.27 选用雨量站所在支流一览表表4.28 BP神经网络构件物理意义一览表(2)训练效果分析训练样本为40个，经过113617次训练，达到精度要求。

在命令窗口执行运行命令，网络开始学习和训练，其训练过程如图4.23所示，训练结果见表4.29和图4.24。

表4.29年最大流量训练结果图4.23 神经网络训练过程图图4.24年最大流量神经网络模型训练结果从图4.26可知，训练后的BP网络能较好地逼近给定的目标函数。

从训练样本检验结果(表4.5)可得:1958～1997年40年中年最大流量模拟值与实测值的相对误差小于10%和20%的分别为39年，40年，合格率为100%。

说明“年极端气温、年最大1d降雨- 梧州年最大流量预测模型”的实际输出与实测结果误差很小，该模型的泛化能力较好，模拟结果较可靠。

(3)模型预测检验把1998～2007年梧州气象站的年极端最高气温，桂林、钦州气象站的年极端最低气温，榜圩、马陇、三门、黄冕、沙街、勾滩、天河、百寿、河池、贵港、金田、平南、大化、桂林、修仁、五将雨量站的年最大1d降雨量输入到“年极端气温、年最大1d降雨梧州年最大流量BP神经网络模型”。

程序运行后网络输出预测值与已知的实际值进行比较，其预测检验结果见图4.25，表4.30。

图4.25年最大流量神经网络模型预测检验结果表4.30 神经网络模型预测结果与实际结果比较从预测检验结果可知:1998～2007年10年中年最大流量模拟值与实测值的相对误差小于20%的为9年，合格率为90%，效果较好。

4.5.1.3年极端气温、年最大7d降雨与梧州年最大流量的BP神经网络模型(1)模型的建立以1958～1997年年极端最高气温、年极端最低气温、年最大7d降雨量和梧州水文站年最大流量作为学习样本来拟合、建立“年极端气温、年最大7d降雨- 梧州年最大流量BP神经网络模型”。

以梧州气象站的年极端最高气温，桂林、钦州气象站的年极端最低气温，凤山、都安、马陇、沙街、大湟江口、大安、大化、阳朔、五将雨量站的年最大7d降雨量为输入，梧州水文站年最大流量为输出，隐含层层数取2，建立(12，p，q，1)BP神经网络模型，其中，神经元数目p，q经试算分别取10和4，第一隐层、第二隐层的神经元采用tansig传递函数，输出层的神经元采用线性传递函数，训练函数选用traingdm，学习率取0.1，动量项取0.9，目标取0.0001，最大训练次数取200000。

BP网络模型参数见表4.31，结构如图4.26所示。

表4.31 BP网络模型参数一览表图4.26年极端气温、年最大7d降雨-梧州年最大流量BP模型结构图本节输入年最大7d降雨时选用的雨量站分布在8条支流上(表4.32)，在发生极端降雨后，流经8条支流汇入梧州，在这一过程中极端气温的变化影响极端降雨的蒸散发，且选用的雨量站分布在年最大7d降雨四个自然分区的Ⅰ、Ⅱ、Ⅲ、Ⅳ4个区中。

该过程可与BP神经网络结构进行类比(表4.33)，其中，8条支流相当于第一隐含层中的8个神经元，年最高气温和年最低气温相当于第一隐含层中的2个神经元，年最大7d降雨所在的4个分区相当于第二隐含层的4个神经元，整体上来说，BP神经网络的结构已经灰箱化。

表4.32 选用雨量站所在支流一览表表4.33 BP神经网络构件物理意义一览表(2)训练效果分析训练样本为40个，经过160876次的训练，达到精度要求，在命令窗口执行运行命令，网络开始学习和训练，其训练过程如图4.27所示，训练结果见表4.34，图4.28。

图4.27 神经网络训练过程图表4.34年最大流量训练结果图4.28年最大流量神经网络模型训练结果从图4.28可知，训练后的BP网络能较好地逼近给定的目标函数。

由训练样本检验结果(表4.34)可得:1958～1997年40年中年最大流量模拟值与实测值的相对误差小于10%和20%的，分别为38年、40年，合格率为100%。

说明“年极端气温、年最大7d降雨-梧州年最大流量BP神经网络模型”的泛化能力较好，模拟的结果较可靠。

(3)模型预测检验把1998～2007年梧州气象站的年极端最高气温，桂林、钦州气象站的年极端最低气温，凤山、都安、马陇、沙街、大湟江口、大安、大化、阳朔、五将雨量站的年最大7d降雨量输入到“年极端气温、年最大7d降雨- 梧州年最大流量BP神经网络模型”。

程序运行后网络输出预测值与已知的实际值进行比较，其预测结果见图4.29和表4.35。

图4.29年最大流量神经网络模型预测检验结果表4.35 神经网络模型预测结果与实际结果比较由预测检验结果可知:1998～2007年10年中年最大流量模拟值与实测值的相对误差小于20%的为7年，合格率为70%，效果较好。

4.5.1.4 梧州年最大流量-年最高水位的BP神经网络模型(1)模型的建立以1941～1997年梧州水文站的年最大流量与年最高水位作为学习样本来拟合、建立梧州水文站的“年最大流量-年最高水位BP神经网络模型”。

以年最大流量为输入，年最高水位为输出，隐含层层数取1，建立(1，q，1)BP神经网络模型，其中，神经元数目q经试算取7，隐含层、输出层的神经元采用线性传递函数，训练函数选用traingdm，学习率取0.1，动量项取0.9，目标取0.00001，最大训练次数取200000。

BP网络模型参数见表4.36，结构如图4.30所示。

表4.36 BP网络模型参数一览表图4.30 梧州年最大流量—年最高水位BP模型结构图广西西江流域主要河流有南盘江、红水河、黔浔江、郁江、柳江、桂江、贺江。

7条主要河流相当于隐含层中的7个神经元(表4.37)，整体上来说，BP神经网络的结构已经灰箱化。

表4.37 BP神经网络构件物理意义一览表(2)训练效果分析训练样本为57个，经过3327次训练，误差下降梯度已达到最小值，但误差为3.00605×10-5，未达到精度要求。

在命令窗口执行运行命令，网络开始学习和训练，其训练过程如图4.31所示，训练结果见图4.32和表4.38。

表4.38年最高水位训练结果从图4.32和表4.19可看出，训练后的BP网络能较好地逼近给定的目标函数。

对于训练样本，从检验结果可知:1941～1997年57年中年最高水位模拟值与实测值的相对误差小于10%和20%的分别为56a，57a，合格率为100%。

说明“年最大流量-年最高水位BP神经网络模型”的实际输出与实测结果误差很小，该模型的泛化能力较好，模拟的结果比较可靠。

图4.31 神经网络训练过程图图4.32年最高水位神经网络模型训练结果(3)模型预测检验把1998～2007年梧州水文站年最大流量输入到“年最大流量-年最高水位BP神经网络模型”。

程序运行后网络输出预测值与已知的实际值进行比较，其预测结果见图4.33，表4.39。

表4.39 神经网络模型预测结果与实际结果比较从预测检验结果可知:1998～2007年10年中，年最高水位模拟值与实测值的相对误差小于20%的为10年，合格率为100%，效果较好。

图4.33年最高水位量神经网络模型预测检验结果。

BP神经网络方法

人工神经网络是近几年来发展起来的新兴学科，它是一种大规模并行分布处理的非线性系统，适用解决难以用数学模型描述的系统，逼近任何非线性的特性，具有很强的自适应、自学习、联想记忆、高度容错和并行处理能力，使得神经网络理论的应用已经渗透到了各个领域。

近年来，人工神经网络在水质分析和评价中的应用越来越广泛，并取得良好效果。在这些应用中，纵观应用于模式识别的神经网络，BP网络是最有效、最活跃的方法之一。

BP网络是多层前向网络的权值学习采用误差逆传播学习的一种算法（Error Back Propagation，简称BP）。在具体应用该网络时分为网络训练及网络工作两个阶段。

在网络训练阶段，根据给定的训练模式，按照“模式的顺传播”→“误差逆传播”→“记忆训练”→“学习收敛”4个过程进行网络权值的训练。

在网络的工作阶段，根据训练好的网络权值及给定的输入向量，按照“模式顺传播”方式求得与输入向量相对应的输出向量的解答（阎平凡，2000）。

BP算法是一种比较成熟的有指导的训练方法，是一个单向传播的多层前馈网络。它包含输入层、隐含层、输出层，如图4-4所示。

图4-4 地下水质量评价的BP神经网络模型图4-4给出了4层地下水水质评价的BP神经网络模型。同层节点之间不连接。

输入信号从输入层节点，依次传过各隐含层节点，然后传到输出层节点，如果在输出层得不到期望输出，则转入反向传播，将误差信号沿原来通路返回，通过学习来修改各层神经元的权值，使误差信号最小。

每一层节点的输出只影响下一层节点的输入。

每个节点都对应着一个作用函数（f）和阈值（a），BP网络的基本处理单元量为非线性输入-输出的关系，输入层节点阈值为0，且f（x）=x；而隐含层和输出层的作用函数为非线性的Sigmoid型（它是连续可微的）函数，其表达式为f（x）=1/（1+e-x）（4-55）设有L个学习样本（Xk，Ok）（k=1，2，…，l），其中Xk为输入，Ok为期望输出，Xk经网络传播后得到的实际输出为Yk，则Yk与要求的期望输出Ok之间的均方误差为区域地下水功能可持续性评价理论与方法研究式中：M为输出层单元数；Yk，p为第k样本对第p特性分量的实际输出；Ok，p为第k样本对第p特性分量的期望输出。

样本的总误差为区域地下水功能可持续性评价理论与方法研究由梯度下降法修改网络的权值，使得E取得最小值，学习样本对Wij的修正为区域地下水功能可持续性评价理论与方法研究式中：η为学习速率，可取0到1间的数值。

所有学习样本对权值Wij的修正为区域地下水功能可持续性评价理论与方法研究通常为增加学习过程的稳定性，用下式对Wij再进行修正：区域地下水功能可持续性评价理论与方法研究式中：β为充量常量；Wij（t）为BP网络第t次迭代循环训练后的连接权值；Wij（t-1）为BP网络第t-1次迭代循环训练后的连接权值。

在BP网络学习的过程中，先调整输出层与隐含层之间的连接权值，然后调整中间隐含层间的连接权值，最后调整隐含层与输入层之间的连接权值。实现BP网络训练学习程序流程，如图4-5所示（倪深海等，2000）。

图4-5 BP神经网络模型程序框图若将水质评价中的评价标准作为样本输入，评价级别作为网络输出，BP网络通过不断学习，归纳出评价标准与评价级别间复杂的内在对应关系，即可进行水质综合评价。

BP网络对地下水质量综合评价，其评价方法不需要过多的数理统计知识，也不需要对水质量监测数据进行复杂的预处理，操作简便易行，评价结果切合实际。

由于人工神经网络方法具有高度民主的非线性函数映射功能，使得地下水水质评价结果较准确（袁曾任，1999）。

BP网络可以任意逼近任何连续函数，但是它主要存在如下缺点：①从数学上看，它可归结为一非线性的梯度优化问题，因此不可避免地存在局部极小问题；②学习算法的收敛速度慢，通常需要上千次或更多。

神经网络具有学习、联想和容错功能，是地下水水质评价工作方法的改进，如何在现行的神经网络中进一步吸取模糊和灰色理论的某些优点，建立更适合水质评价的神经网络模型，使该模型既具有方法的先进性又具有现实的可行性，将是我们今后研究和探讨的问题。

bp神经网络选择激活sigmoid函数，还有tansig函数的优缺点？求告知？

（1）对于深度神经网络，中间的隐层的输出必须有一个激活函数。否则多个隐层的作用和没有隐层相同。这个激活函数不一定是sigmoid，常见的有sigmoid、tanh、relu等。

（2）对于二分类问题，输出层是sigmoid函数。这是因为sigmoid函数可以把实数域光滑的映射到[0,1]空间。函数值恰好可以解释为属于正类的概率（概率的取值范围是0~1）。

另外，sigmoid函数单调递增，连续可导，导数形式非常简单，是一个比较合适的函数（3）对于多分类问题，输出层就必须是softmax函数了。softmax函数是sigmoid函数的推广。

bp神经网络

BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。

BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。

BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。人工神经网络就是模拟人思维的第二种方式。

这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。

所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。

首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。

在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。

如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。

如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。

这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。

一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。如图所示拓扑结构的单隐层前馈网络，一般称为三层前馈网或三层感知器，即：输入层、中间层（也称隐层）和输出层。

它的特点是：各层神经元仅与相邻层神经元之间相互全连接，同层内神经元之间无连接，各层神经元之间无反馈连接，构成具有层次结构的前馈型神经网络系统。

单计算层前馈神经网络只能求解线性可分问题，能够求解非线性问题的网络必须是具有隐层的多层神经网络。神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。

主要的研究工作集中在以下几个方面：（1）生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。（2）建立理论模型。

根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。（3）网络模型与算法研究。

在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。（4）人工神经网络应用系统。

在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等。

纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。

神经网络可以用作分类、聚类、预测等。神经网络需要有一定量的历史数据，通过历史数据的训练，网络可以学习到数据中隐含的知识。

首先，由于学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。

对于一些复杂问题，BP算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。

bp神经网络无法达到预测 15

训练完成后，训练样本中的样本全部都是低误差的（达到了goal），不会出现你说的这种情况。你看看是不是你的预期输出搞错了。还有测试样本和检验样本这些一般误差也较小。

BP（Back Propagation）神经网络是86年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。

BP神经网络模型拓扑结构包括输入层（input）、隐层(hidden layer)和输出层(output layer)。