bp神经网络训练流程图,bp神经网络训练样本

BP神经网络训练生成的图片解释，急求。

那这张呢，到了最大迭代次数了，可是还是收敛不到指定的精度。出现的情况就是像图上一样，均方误差达到0.00128左右的时候就无法继续下去了，误差梯度总是反复，先下降，一会又缩回去了。

即使我把迭代次数设置到10000次均方误差也就稳定在0.00128左右了，主要是误差梯度总是不停的反复，这是为什么呢？是收敛失败吗？

谷歌人工智能写作项目：神经网络伪原创

bp神经网络训练能支持100张图片吗？

如何通过人工神经网络实现图像识别

人工神经网络（Artificial Neural Networks）（简称ANN）系统从20 世纪40 年代末诞生至今仅短短半个多世纪，但由于他具有信息的分布存储、并行处理以及自学习能力等优点，已经在信息处理、模式识别、智能控制及系统建模等领域得到越来越广泛的应用。

尤其是基于误差反向传播（Error Back Propagation）算法的多层前馈网络（Multiple-Layer Feedforward Network）(简称BP 网络)，可以以任意精度逼近任意的连续函数，所以广泛应用于非线性建模、函数逼近、模式分类等方面。

目标识别是模式识别领域的一项传统的课题，这是因为目标识别不是一个孤立的问题，而是模式识别领域中大多数课题都会遇到的基本问题，并且在不同的课题中，由于具体的条件不同，解决的方法也不尽相同，因而目标识别的研究仍具有理论和实践意义。

这里讨论的是将要识别的目标物体用成像头(红外或可见光等)摄入后形成的图像信号序列送入计算机，用神经网络识别图像的问题。

一、BP 神经网络BP 网络是采用Widrow-Hoff 学习算法和非线性可微转移函数的多层网络。一个典型的BP 网络采用的是梯度下降算法，也就是Widrow-Hoff 算法所规定的。

backpropagation 就是指的为非线性多层网络计算梯度的方法。一个典型的BP 网络结构如图所示。我们将它用向量图表示如下图所示。

其中：对于第k 个模式对，输出层单元的j 的加权输入为该单元的实际输出为而隐含层单元i 的加权输入为该单元的实际输出为函数f 为可微分递减函数其算法描述如下：（1）初始化网络及学习参数，如设置网络初始权矩阵、学习因子等。

（2）提供训练模式，训练网络，直到满足学习要求。（3）前向传播过程：对给定训练模式输入，计算网络的输出模式，并与期望模式比较，若有误差，则执行（4）；否则，返回（2）。

（4）后向传播过程：a. 计算同一层单元的误差；b. 修正权值和阈值；c. 返回（2）二、 BP 网络隐层个数的选择对于含有一个隐层的三层BP 网络可以实现输入到输出的任何非线性映射。

增加网络隐层数可以降低误差，提高精度，但同时也使网络复杂化，增加网络的训练时间。误差精度的提高也可以通过增加隐层结点数来实现。一般情况下，应优先考虑增加隐含层的结点数。

三、隐含层神经元个数的选择当用神经网络实现网络映射时，隐含层神经元个数直接影响着神经网络的学习能力和归纳能力。

隐含层神经元数目较少时，网络每次学习的时间较短，但有可能因为学习不足导致网络无法记住全部学习内容；隐含层神经元数目较大时，学习能力增强，网络每次学习的时间较长，网络的存储容量随之变大，导致网络对未知输入的归纳能力下降，因为对隐含层神经元个数的选择尚无理论上的指导，一般凭经验确定。

四、神经网络图像识别系统人工神经网络方法实现模式识别，可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题，允许样品有较大的缺损、畸变，神经网络方法的缺点是其模型在不断丰富完善中，目前能识别的模式类还不够多，神经网络方法允许样品有较大的缺损和畸变，其运行速度快，自适应性能好，具有较高的分辨率。

神经网络的图像识别系统是神经网络模式识别系统的一种，原理是一致的。一般神经网络图像识别系统由预处理，特征提取和神经网络分类器组成。预处理就是将原始数据中的无用信息删除，平滑，二值化和进行幅度归一化等。

神经网络图像识别系统中的特征提取部分不一定存在，这样就分为两大类：① 有特征提取部分的：这一类系统实际上是传统方法与神经网络方法技术的结合，这种方法可以充分利用人的经验来获取模式特征以及神经网络分类能力来识别目标图像。

特征提取必须能反应整个图像的特征。但它的抗干扰能力不如第2类。

② 无特征提取部分的：省去特征抽取，整副图像直接作为神经网络的输入，这种方式下，系统的神经网络结构的复杂度大大增加了，输入模式维数的增加导致了网络规模的庞大。

此外，神经网络结构需要完全自己消除模式变形的影响。但是网络的抗干扰性能好，识别率高。当BP 网用于分类时，首先要选择各类的样本进行训练，每类样本的个数要近似相等。

其原因在于一方面防止训练后网络对样本多的类别响应过于敏感，而对样本数少的类别不敏感。另一方面可以大幅度提高训练速度，避免网络陷入局部最小点。

由于BP 网络不具有不变识别的能力，所以要使网络对模式的平移、旋转、伸缩具有不变性，要尽可能选择各种可能情况的样本。

例如要选择不同姿态、不同方位、不同角度、不同背景等有代表性的样本，这样可以保证网络有较高的识别率。

构造神经网络分类器首先要选择适当的网络结构：神经网络分类器的输入就是图像的特征向量；神经网络分类器的输出节点应该是类别数。隐层数要选好，每层神经元数要合适，目前有很多采用一层隐层的网络结构。

然后要选择适当的学习算法，这样才会有很好的识别效果。

在学习阶段应该用大量的样本进行训练学习，通过样本的大量学习对神经网络的各层网络的连接权值进行修正，使其对样本有正确的识别结果，这就像人记数字一样，网络中的神经元就像是人脑细胞，权值的改变就像是人脑细胞的相互作用的改变，神经网络在样本学习中就像人记数字一样，学习样本时的网络权值调整就相当于人记住各个数字的形象，网络权值就是网络记住的内容，网络学习阶段就像人由不认识数字到认识数字反复学习过程是一样的。

神经网络是按整个特征向量的整体来记忆图像的，只要大多数特征符合曾学习过的样本就可识别为同一类别，所以当样本存在较大噪声时神经网络分类器仍可正确识别。

在图像识别阶段，只要将图像的点阵向量作为神经网络分类器的输入，经过网络的计算，分类器的输出就是识别结果。五、仿真实验1、实验对象本实验用MATLAB 完成了对神经网络的训练和图像识别模拟。

从实验数据库中选择0～9 这十个数字的BMP 格式的目标图像。图像大小为16×8 像素，每个目标图像分别加10％、20％、30％、40％、50％大小的随机噪声，共产生60 个图像样本。

将样本分为两个部分，一部分用于训练，另一部分用于测试。实验中用于训练的样本为40个，用于测试的样本为20 个。随机噪声调用函数randn(m,n)产生。

2、网络结构本试验采用三层的BP 网络，输入层神经元个数等于样本图像的象素个数16×8 个。隐含层选24 个神经元，这是在试验中试出的较理想的隐层结点数。

输出层神经元个数就是要识别的模式数目，此例中有10 个模式，所以输出层神经元选择10 个，10 个神经元与10 个模式一一对应。

3、基于MATLAB 语言的网络训练与仿真建立并初始化网络% ================S1 = 24;% 隐层神经元数目S1 选为24[R,Q] = size(numdata);[S2,Q] = size(targets);F = numdata;P=double(F);net = newff(minmax(P),[S1 S2],{'logsig''logsig'},'traingda','learngdm')这里numdata 为训练样本矩阵，大小为128×40， targets 为对应的目标输出矩阵，大小为10×40。

newff(PR,[S1 S2…SN],{TF1 TF2…TFN}，BTF,BLF,PF)为MATLAB 函数库中建立一个N 层前向BP 网络的函数，函数的自变量PR 表示网络输入矢量取值范围的矩阵[Pmin max];S1~SN 为各层神经元的个数；TF1~TFN 用于指定各层神经元的传递函数；BTF 用于指定网络的训练函数；BLF 用于指定权值和阀值的学习函数；PF 用于指定网络的性能函数，缺省值为‘mse’。

设置训练参数net.performFcn = 'sse'; %平方和误差性能函数 = 0.1; %平方和误差目标 = 20; %进程显示频率net.trainParam.epochs = 5000;%最大训练步数 = 0.95; %动量常数网络训练net=init(net);%初始化网络[net,tr] = train(net,P,T);％网络训练对训练好的网络进行仿真D=sim(net,P);A = sim(net,B);B 为测试样本向量集,128×20 的点阵。

D 为网络对训练样本的识别结果，A 为测试样本的网络识别结果。实验结果表明：网络对训练样本和对测试样本的识别率均为100％。如图为64579五个数字添加50%随机噪声后网络的识别结果。

六、总结从上述的试验中已经可以看出，采用神经网络识别是切实可行的，给出的例子只是简单的数字识别实验，要想在网络模式下识别复杂的目标图像则需要降低网络规模，增加识别能力，原理是一样的。

求助BP神经网络训练后输出的performance图形问题

你的图不大对吧？应该有三条曲线显示才对，分别代表训练，验证，测试误差，你现在只有训练误差的。

performance is 0.00306表示你的训练误差达到了0.00306，goal is 0.01表示你设置的目标误差是0.01.。

基于优化的BP神经网络遥感影像分类

罗小波1 刘明培1，2（1.重庆邮电大学计算机学院中韩GIS研究所，重庆，400065；2.西南大学资源环境学院，重庆，400065）摘要：在网络结构给定的情况下，利用遗传算法的全局寻优能力得到一组权值和阈值作为BP神经网络的初始权值和阈值，来避免BP神经网络易陷入局部极小的缺陷，同时也可以提高网络的收敛速度。

然后再利用BP神经网络的局部寻优能力，对权值和阈值进行进一步的精细调整。实验结果表明，把这种基于遗传算法的BP神经网络应用于遥感影像监督分类，具有较高的分类精度。

关键词：BP神经网络；遗传算法；遥感影像分类1 引言随着遥感技术的快速发展，遥感技术已经广泛应用于各个领域。其中，遥感影像分类是其重要组成部分。

近年来，随着人工神经网络理论的快速发展，神经网络技术日益成为遥感影像分类中的有效手段，特别是对高光谱等影像数据，更是具有许多独特的优势。

一般我们把采用BP （Back-propogation）算法的多层感知器叫做BP 神经网络，它是目前研究得最完善、应用最广泛的神经网络之一。

与经典的最大似然法相比，BP神经网络最大的优势就是不要求训练样本正态分布。但是，它具有结构难以确定、容易陷入局部极小、不易收敛等缺陷。在本文中，网络的结构由用户根据问题的复杂度确定。

在进行网络训练之前，利用遗传算法的全局寻优能力确定网络的初始权值和阈值；然后利用BP学习算法的局部寻优能力对网络进行进一步的精细调整。最后利用训练后的网络进行遥感影像监督分类。

结果表明，基于遗传算法的BP神经网络进行遥感影像监督分类，具有较高的分类精度。2 BP 神经网络2.1 网络结构BP神经网络的结构一般包括输入层、中间隐层、输出层。

在模式识别中，输入层的神经元个数等于输入的特征个数，输出层的神经元个数等于需要分类的类别数。隐层可以为一层或多层，但一般的实际应用中一层隐层就可以满足要求。

而各隐层的神经元个数需要根据实际问题的复杂度而定。以单隐层为例，其结构示意图如图1。

为了实现一种通用的遥感影像分类手段，除了提供默认的网络结构外，还为使用者提供了根据实际问题的复杂度自行确定网络隐层数与各隐层神经元数的功能。

这为一些高级用户提供了灵活性，但这种灵活性在一定程度上增加了使用的难度，有时也需要一个实验的过程，才能取得满意的效果。

图1 BP 神经网络结构2.2 BP 学习算法算法的基本步骤如下：（1）将全部权值与节点的阈值预置为一个小的随机数。（2）加载输入与输出。在n个输入节点上加载一n维向量X，并指定每一输出节点的期望值。

每次训练可以选取新的同类或者异类样本，直到权值对各类样本达到稳定。（3）计算实际输出y1，y2，…，yn。（4）修正权值。

权值修正采用了最小均方（LMS）算法的思想，其过程是从输出节点开始，反向地向第一隐层传播由总误差诱发的权值修正。

下一时刻的互连权值Wij （t＋1）由下式给出：土地信息技术的创新与土地科学技术发展：2006年中国土地学会学术年会论文集式中，j为本节点的输出；i则是隐层或者输入层节点的序号；或者是节点i的输出，或者是外部输入；η 为学习率；α为动量率；δj为误差项，其取值有两种情况：A.若j为输出节点，则：δj＝yj（1 －yj）（tj －yj）其中，tj为输出节点 j 的期望值，yj为该节点的实际输出值；B.若j为内部隐含节点，则：土地信息技术的创新与土地科学技术发展：2006年中国土地学会学术年会论文集其中k为j节点所在层之上各层的全部节点。

（5）在达到预定的误差精度或者循环次数后退出，否则，转（2）。2.3 基于遗传算法的网络学习算法遗传算法具有全局寻优、不易陷入局部极小的优点，但局部寻优的能力较差。而BP学习算法却具有局部寻优的优势。

因此，如果将两种算法结合起来构成混合训练算法，则可以相互取长补短获得较好的分类效果。

主要思路如下：（1）利用遗传算法确定最优个体A.把全部权值、阈值作为基因进行实数编码，形成具有M个基因的遗传个体结构，其中M等于所有权值、阈值的个数。

B.设定种群规模N，随机初始化这N个具有M个基因的结构。C.适应度的计算：分别用训练样本集对N组权值、阈值进行训练，得出各自网络期望输出与网络实际输出的总误差e，适应度f＝1.0－e。

D.进行遗传算子操作，包括选择算子、交叉算子和变异算子，形成新的群体：其中，选择算子采用了轮盘赌的方法，交叉算子采用了两点交叉。E.反复进行C、D两步，直到满足停止条件为止。

停止条件为：超出最大代数、最优个体精度达到了规定的精度。（2）把经过 GA 优化后的最优个体进行解码操作，形成 BP 神经网络的初始权值和阈值。（3）采用BP学习算法对网络进行训练，直到满足停止条件。

停止条件为：①达到最大迭代次数；②总体误差小于规定的最小误差。网络训练结束后，把待分数据输入训练好的神经网络，进行分类，就可以得到分类结果影像图。

3 应用实例实现环境为VC＋＋6.0，并基于Mapgis的二次开发平台，因为二次平台提供了一些遥感影像的基本处理函数，如底层的一些读取文件的基本操作。

实验中使用的遥感影像大小为500×500，如图1所示。该影像是一美国城市1985年的遥感影像图。

根据同地区的SPOT影像及相关资料，把该区地物类别分为8类，各类所对应的代码为：C1为水体、C2为草地、C3为绿化林、C4为裸地、C5为大型建筑物、C6为军事基地、C7为居民地、C8为其他生活设施（包括街道、道路、码头等）。

其中，居民地、军事设施、其他生活设施的光谱特征比较接近。

图1 TM 原始影像（5，4，3 合成）在网络训练之前，经过目视解译，并结合一些相关资料，从原始图像上选取了3589个类别已知的样本组成原始样本集。

要求原始样本具有典型性、代表性，并能反映实际地物的分布情况。把原始样本集进行预处理，共得到2979个纯净样本。这些预处理后的样本就组成训练样本集。

网络训练时的波段选择为TM1、TM2、TM3、TM4、TM5、TM7 共6个波段。

另外，由于所要分类的类别数为8，因此，网络结构为：输入层节点数为6，输出层节点数为8，隐层数为1，隐层的节点数为10，然后用训练样本集对网络进行训练。

在训练网络的时候，其训练参数分别为：学习率为0.05，动量率为0.5，最小均方误差为0.1，迭代次数为1000。把训练好的网络对整幅遥感影像进行分类，其分类结果如下面图2所示。

图2 分类结果为了测试网络的分类精度，在分类完成后，需要进行网络的测试。

测试样本的选取仍然采用与选取训练样本集一样的方法在原始影像上进行选取，即结合其他资料，进行目视判读，在原始图像上随机选取类别已知的样本作为测试样本。

利用精度评价模块，把测试样本集与已分类图像进行比较，得到分类误差矩阵以及各种分类精度评价标准，如表1 所示：表1 分类误差矩阵总体精度：0.91，Kappa系数：0.90。

从表1 可以看出，采用测试样本集进行测试，大部分地物的分类精度都达到了 0.9以上，只有居民地和其他生活设施的精度没有达到，但也分别达到了0.89 和0.77，总的分类精度为0.91。

Kappa系数在遥感影像分类精度评价中应用极为广泛，在本次测试中其值为0.90。从上面的分析可以看出，利用基于遗传算法的BP神经网络进行遥感影像分类，其分类精度较高，取得了令人满意的效果。

4 结论与传统的基于统计理论的分类方法相比，BP神经网络分类不要求训练样本正态分布，并且具有复杂的非线性映射能力，更适合于日益激增的海量高光谱遥感数据的处理。

但BP神经网络也有易陷于局部极小、不易收敛等缺陷。初始权值和阈值设置不当，是引起网络易陷于局部极小、不易收敛的重要原因。

在实验中，利用遗传算法的全局寻优能力来确定BP网络的初始权值和阈值，使得所获取的初始权值和阈值是一组全局近似最优解。然后，利用BP学习算法的局部寻优能力对网络权值和阈值进行精细调整。

这样，训练后的稳定网络，不但具有较强的非线性映射能力，而且总可以得到一组均方误差最小的全局最优解。

实验表明，利用上述的基于遗传算法的BP神经网络进行遥感影像分类，只要所选取的训练样本具有代表性，能反映实际地物的分布情况，就能够得到较高的分类精度，具有较强的实际应用价值。

参考文献H.Yang et al，A Back-propagation neural networkmfor mineralogical mapping fromAVIRIS data，Int.J.Remote sensing，20 （1）：97～110Arduti Alessandro，et al.Speed up learning and network optimization with extended back propogation.Neural Networks，1993，6：365～383Patrick P.Minimization methods for training feed forward neural networks.Neural Networks，1994，7：1～12Goldberg D E.Genetic algorithms in Search Optimization and Machine ：Addison-Wesley，1989Rudolph Gunter.Convergence analysis of canonical genetic Transactions on Neural Networks，1994，5 （1）；102～119Fang J，Xi Y.Toward design based on evolutionary .，1997，11 （2）：155～161Park Y R，et al.Prediction sun spots using layered perception neural Neural Netorks，1996，7 （2）：501～505杨行峻、郑君里.人工神经网络与盲信号处理［M］.北京：清华出版社，2003，23～40周成虎、骆剑成等.遥感影像地学理解与分析［M］.北京：科学出版社，2001，228～238王耀男.卫星遥感图像的神经网络自动识别［J］.湖南大学学报，1998，61～66江东，王建华.人工神经网络在遥感中的应用与发展.国土与资源遥感，1999，13～18。