神经网络预测模型优缺点,神经网络预测模型实例

如何建立bp神经网络预测模型

。

建立BP神经网络预测模型，可按下列步骤进行：1、提供原始数据2、训练数据预测数据提取及归一化3、BP网络训练4、BP网络预测5、结果分析现用一个实际的例子，来预测2015年和2016年某地区的人口数。

已知2009年——2014年某地区人口数分别为3583、4150、5062、4628、5270、5340万人执行BP_main程序，得到[2015, 5128.呵呵3946380615234375][2016,5100.5797325642779469490051269531]代码及图形如下。

谷歌人工智能写作项目：神经网络伪原创

神经网络BP模型

一、BP模型概述误差逆传播(ErrorBack-Propagation)神经网络模型简称为BP(Back-Propagation)网络模型A8U神经网络。

PallWerbas博士于1974年在他的博士论文中提出了误差逆传播学习算法。完整提出并被广泛接受误差逆传播学习算法的是以Rumelhart和McCelland为首的科学家小组。

他们在1986年出版“ParallelDistributedProcessing，ExplorationsintheMicrostructureofCognition”(《并行分布信息处理》)一书中，对误差逆传播学习算法进行了详尽的分析与介绍，并对这一算法的潜在能力进行了深入探讨。

BP网络是一种具有3层或3层以上的阶层型神经网络。上、下层之间各神经元实现全连接，即下层的每一个神经元与上层的每一个神经元都实现权连接，而每一层各神经元之间无连接。

网络按有教师示教的方式进行学习，当一对学习模式提供给网络后，神经元的激活值从输入层经各隐含层向输出层传播，在输出层的各神经元获得网络的输入响应。

在这之后，按减小期望输出与实际输出的误差的方向，从输入层经各隐含层逐层修正各连接权，最后回到输入层，故得名“误差逆传播学习算法”。

随着这种误差逆传播修正的不断进行，网络对输入模式响应的正确率也不断提高。

BP网络主要应用于以下几个方面：1)函数逼近：用输入模式与相应的期望输出模式学习一个网络逼近一个函数；2)模式识别：用一个特定的期望输出模式将它与输入模式联系起来；3)分类：把输入模式以所定义的合适方式进行分类；4)数据压缩：减少输出矢量的维数以便于传输或存储。

在人工神经网络的实际应用中，80%～90%的人工神经网络模型采用BP网络或它的变化形式，它也是前向网络的核心部分，体现了人工神经网络最精华的部分。

二、BP模型原理下面以三层BP网络为例，说明学习和应用的原理。

1.数据定义P对学习模式(xp，dp)，p=1，2，…，P；输入模式矩阵X[N][P]=(x1，x2，…，xP)；目标模式矩阵d[M][P]=(d1，d2，…，dP)。

三层BP网络结构输入层神经元节点数S0=N，i=1，2，…，S0；隐含层神经元节点数S1，j=1，2，…，S1；神经元激活函数f1[S1]；权值矩阵W1[S1][S0]；偏差向量b1[S1]。

输出层神经元节点数S2=M，k=1，2，…，S2；神经元激活函数f2[S2]；权值矩阵W2[S2][S1]；偏差向量b2[S2]。

学习参数目标误差ϵ；初始权更新值Δ0；最大权更新值Δmax；权更新值增大倍数η+；权更新值减小倍数η-。

2.误差函数定义对第p个输入模式的误差的计算公式为中国矿产资源评价新技术与评价新模型y2kp为BP网的计算输出。

3.BP网络学习公式推导BP网络学习公式推导的指导思想是，对网络的权值W、偏差b修正，使误差函数沿负梯度方向下降，直到网络输出误差精度达到目标精度要求，学习结束。

各层输出计算公式输入层y0i=xi，i=1，2，…，S0；隐含层中国矿产资源评价新技术与评价新模型y1j=f1(z1j)，j=1，2，…，S1；输出层中国矿产资源评价新技术与评价新模型y2k=f2(z2k)，k=1，2，…，S2。

输出节点的误差公式中国矿产资源评价新技术与评价新模型对输出层节点的梯度公式推导中国矿产资源评价新技术与评价新模型E是多个y2m的函数，但只有一个y2k与wkj有关，各y2m间相互独立。

其中中国矿产资源评价新技术与评价新模型则中国矿产资源评价新技术与评价新模型设输出层节点误差为δ2k=(dk-y2k)·f2′(z2k)，则中国矿产资源评价新技术与评价新模型同理可得中国矿产资源评价新技术与评价新模型对隐含层节点的梯度公式推导中国矿产资源评价新技术与评价新模型E是多个y2k的函数，针对某一个w1ji，对应一个y1j，它与所有的y2k有关。

因此，上式只存在对k的求和，其中中国矿产资源评价新技术与评价新模型则中国矿产资源评价新技术与评价新模型设隐含层节点误差为中国矿产资源评价新技术与评价新模型则中国矿产资源评价新技术与评价新模型同理可得中国矿产资源评价新技术与评价新模型4.采用弹性BP算法(RPROP)计算权值W、偏差b的修正值ΔW，Δb1993年德国MartinRiedmiller和HeinrichBraun在他们的论文“ADirectAdaptiveMethodforFasterBackpropagationLearning：TheRPROPAlgorithm”中，提出ResilientBackpropagation算法——弹性BP算法(RPROP)。

这种方法试图消除梯度的大小对权步的有害影响，因此，只有梯度的符号被认为表示权更新的方向。

权改变的大小仅仅由权专门的“更新值”确定中国矿产资源评价新技术与评价新模型其中表示在模式集的所有模式(批学习)上求和的梯度信息，(t)表示t时刻或第t次学习。

权更新遵循规则：如果导数是正(增加误差)，这个权由它的更新值减少。如果导数是负，更新值增加。中国矿产资源评价新技术与评价新模型RPROP算法是根据局部梯度信息实现权步的直接修改。

对于每个权，我们引入它的各自的更新值，它独自确定权更新值的大小。

这是基于符号相关的自适应过程，它基于在误差函数E上的局部梯度信息，按照以下的学习规则更新中国矿产资源评价新技术与评价新模型其中0＜η-＜1＜η+。

在每个时刻，如果目标函数的梯度改变它的符号，它表示最后的更新太大，更新值应由权更新值减小倍数因子η-得到减少；如果目标函数的梯度保持它的符号，更新值应由权更新值增大倍数因子η+得到增大。

为了减少自由地可调参数的数目，增大倍数因子η+和减小倍数因子η–被设置到固定值η+=1.2，η-=0.5，这两个值在大量的实践中得到了很好的效果。

RPROP算法采用了两个参数：初始权更新值Δ0和最大权更新值Δmax当学习开始时，所有的更新值被设置为初始值Δ0，因为它直接确定了前面权步的大小，它应该按照权自身的初值进行选择，例如，Δ0=0.1(默认设置)。

为了使权不至于变得太大，设置最大权更新值限制Δmax，默认上界设置为Δmax=50.0。在很多实验中，发现通过设置最大权更新值Δmax到相当小的值，例如Δmax=1.0。

我们可能达到误差减小的平滑性能。5.计算修正权值W、偏差b第t次学习，权值W、偏差b的的修正公式W(t)=W(t-1)+ΔW(t)，b(t)=b(t-1)+Δb(t)，其中，t为学习次数。

6.BP网络学习成功结束条件每次学习累积误差平方和中国矿产资源评价新技术与评价新模型每次学习平均误差中国矿产资源评价新技术与评价新模型当平均误差MSE＜ε，BP网络学习成功结束。

7.BP网络应用预测在应用BP网络时，提供网络输入给输入层，应用给定的BP网络及BP网络学习得到的权值W、偏差b，网络输入经过从输入层经各隐含层向输出层的“顺传播”过程，计算出BP网的预测输出。

8.神经元激活函数f线性函数f(x)=x，f′(x)=1，f(x)的输入范围(-∞，+∞)，输出范围(-∞，+∞)。一般用于输出层，可使网络输出任何值。

S型函数S(x)中国矿产资源评价新技术与评价新模型f(x)的输入范围(-∞，+∞)，输出范围(0，1)。f′(x)=f(x)[1-f(x)]，f′(x)的输入范围(-∞，+∞)，输出范围(0，]。

一般用于隐含层，可使范围(-∞，+∞)的输入，变成(0，1)的网络输出，对较大的输入，放大系数较小；而对较小的输入，放大系数较大，所以可用来处理和逼近非线性的输入/输出关系。

在用于模式识别时，可用于输出层，产生逼近于0或1的二值输出。双曲正切S型函数中国矿产资源评价新技术与评价新模型f(x)的输入范围(-∞，+∞)，输出范围(-1，1)。

f′(x)=1-f(x)·f(x)，f′(x)的输入范围(-∞，+∞)，输出范围(0，1]。

一般用于隐含层，可使范围(-∞，+∞)的输入，变成(-1，1)的网络输出，对较大的输入，放大系数较小；而对较小的输入，放大系数较大，所以可用来处理和逼近非线性的输入/输出关系。

阶梯函数类型1中国矿产资源评价新技术与评价新模型f(x)的输入范围(-∞，+∞)，输出范围{0，1}。f′(x)=0。

类型2中国矿产资源评价新技术与评价新模型f(x)的输入范围(-∞，+∞)，输出范围{-1，1}。f′(x)=0。

斜坡函数类型1中国矿产资源评价新技术与评价新模型f(x)的输入范围(-∞，+∞)，输出范围[0，1]。中国矿产资源评价新技术与评价新模型f′(x)的输入范围(-∞，+∞)，输出范围{0，1}。

类型2中国矿产资源评价新技术与评价新模型f(x)的输入范围(-∞，+∞)，输出范围[-1，1]。中国矿产资源评价新技术与评价新模型f′(x)的输入范围(-∞，+∞)，输出范围{0，1}。

三、总体算法1.三层BP网络(含输入层，隐含层，输出层)权值W、偏差b初始化总体算法(1)输入参数X[N][P]，S0，S1，f1[S1]，S2，f2[S2]；(2)计算输入模式X[N][P]各个变量的最大值，最小值矩阵Xmax[N]，Xmin[N]；(3)隐含层的权值W1，偏差b1初始化。

情形1：隐含层激活函数f()都是双曲正切S型函数1)计算输入模式X[N][P]的每个变量的范围向量Xrng[N]；2)计算输入模式X的每个变量的范围均值向量Xmid[N]；3)计算W，b的幅度因子Wmag；4)产生[-1，1]之间均匀分布的S0×1维随机数矩阵Rand[S1]；5)产生均值为0，方差为1的正态分布的S1×S0维随机数矩阵Randnr[S1][S0]，随机数范围大致在[-1，1]；6)计算W[S1][S0]，b[S1]；7)计算隐含层的初始化权值W1[S1][S0]；8)计算隐含层的初始化偏差b1[S1]；9))输出W1[S1][S0]，b1[S1]。

情形2：隐含层激活函数f()都是S型函数1)计算输入模式X[N][P]的每个变量的范围向量Xrng[N]；2)计算输入模式X的每个变量的范围均值向量Xmid[N]；3)计算W，b的幅度因子Wmag；4)产生[-1，1]之间均匀分布的S0×1维随机数矩阵Rand[S1]；5)产生均值为0，方差为1的正态分布的S1×S0维随机数矩阵Randnr[S1][S0]，随机数范围大致在[-1，1]；6)计算W[S1][S0]，b[S1]；7)计算隐含层的初始化权值W1[S1][S0]；8)计算隐含层的初始化偏差b1[S1]；9)输出W1[S1][S0]，b1[S1]。

情形3：隐含层激活函数f()为其他函数的情形1)计算输入模式X[N][P]的每个变量的范围向量Xrng[N]；2)计算输入模式X的每个变量的范围均值向量Xmid[N]；3)计算W，b的幅度因子Wmag；4)产生[-1，1]之间均匀分布的S0×1维随机数矩阵Rand[S1]；5)产生均值为0，方差为1的正态分布的S1×S0维随机数矩阵Randnr[S1][S0]，随机数范围大致在[-1，1]；6)计算W[S1][S0]，b[S1]；7)计算隐含层的初始化权值W1[S1][S0]；8)计算隐含层的初始化偏差b1[S1]；9)输出W1[S1][S0]，b1[S1]。

(4)输出层的权值W2，偏差b2初始化1)产生[-1，1]之间均匀分布的S2×S1维随机数矩阵W2[S2][S1]；2)产生[-1，1]之间均匀分布的S2×1维随机数矩阵b2[S2]；3)输出W2[S2][S1]，b2[S2]。

2.应用弹性BP算法(RPROP)学习三层BP网络(含输入层，隐含层，输出层)权值W、偏差b总体算法函数：Train3BP_RPROP(S0，X，P，S1，W1，b1，f1，S2，W2，b2，f2，d，TP)(1)输入参数P对模式(xp，dp)，p=1，2，…，P；三层BP网络结构；学习参数。

(2)学习初始化1)；2)各层W，b的梯度值，初始化为零矩阵。

(3)由输入模式X求第一次学习各层输出y0，y1，y2及第一次学习平均误差MSE(4)进入学习循环epoch=1(5)判断每次学习误差是否达到目标误差要求如果MSE＜ϵ，则，跳出epoch循环，转到(12)。

(6)保存第epoch-1次学习产生的各层W，b的梯度值，(7)求第epoch次学习各层W，b的梯度值，1)求各层误差反向传播值δ；2)求第p次各层W，b的梯度值，；3)求p=1，2，…，P次模式产生的W，b的梯度值，的累加。

(8)如果epoch=1，则将第epoch-1次学习的各层W，b的梯度值，设为第epoch次学习产生的各层W，b的梯度值，。

(9)求各层W，b的更新1)求权更新值Δij更新；2)求W，b的权更新值，；3)求第epoch次学习修正后的各层W，b。

(10)用修正后各层W、b，由X求第epoch次学习各层输出y0，y1，y2及第epoch次学习误差MSE(11)epoch=epoch+1，如果epoch≤MAX_EPOCH，转到(5)；否则，转到(12)。

(12)输出处理1)如果MSE＜ε，则学习达到目标误差要求，输出W1，b1，W2，b2。2)如果MSE≥ε，则学习没有达到目标误差要求，再次学习。

(13)结束3.三层BP网络(含输入层，隐含层，输出层)预测总体算法首先应用Train3lBP_RPROP()学习三层BP网络(含输入层，隐含层，输出层)权值W、偏差b，然后应用三层BP网络(含输入层，隐含层，输出层)预测。

函数：Simu3lBP()。1)输入参数：P个需预测的输入数据向量xp，p=1，2，…，P；三层BP网络结构；学习得到的各层权值W、偏差b。

2)计算P个需预测的输入数据向量xp(p=1，2，…，P)的网络输出y2[S2][P]，输出预测结果y2[S2][P]。四、总体算法流程图BP网络总体算法流程图见附图2。

五、数据流图BP网数据流图见附图1。

六、实例实例一全国铜矿化探异常数据BP模型分类1.全国铜矿化探异常数据准备在全国铜矿化探数据上用稳健统计学方法选取铜异常下限值33.1，生成全国铜矿化探异常数据。

2.模型数据准备根据全国铜矿化探异常数据，选取7类33个矿点的化探数据作为模型数据。

这7类分别是岩浆岩型铜矿、斑岩型铜矿、矽卡岩型、海相火山型铜矿、陆相火山型铜矿、受变质型铜矿、海相沉积型铜矿，另添加了一类没有铜异常的模型(表8-1)。3.测试数据准备全国化探数据作为测试数据集。

4.BP网络结构隐层数2，输入层到输出层向量维数分别为14，9、5、1。学习率设置为0.9，系统误差1e-5。没有动量项。表8-1模型数据表续表5.计算结果图如图8-2、图8-3。

图8-2图8-3全国铜矿矿床类型BP模型分类示意图实例二全国金矿矿石量品位数据BP模型分类1.模型数据准备根据全国金矿储量品位数据，选取4类34个矿床数据作为模型数据，这4类分别是绿岩型金矿、与中酸性浸入岩有关的热液型金矿、微细浸染型型金矿、火山热液型金矿(表8-2)。

2.测试数据准备模型样本点和部分金矿点金属量、矿石量、品位数据作为测试数据集。3.BP网络结构输入层为三维，隐层1层，隐层为三维，输出层为四维，学习率设置为0.8，系统误差1e-4，迭代次数5000。

表8-2模型数据4.计算结果结果见表8-3、8-4。表8-3训练学习结果表8-4预测结果(部分)续表。

预测模型可分为哪几类？

根据方法本身的性质特点将预测方法分为三类。1、定性预测方法根据人们对系统过去和现在的经验、判断和直觉进行预测，其中以人的逻辑判断为主，仅要求提供系统发展的方向、状态、形势等定性结果。

该方法适用于缺乏历史统计数据的系统对象。2、时间序列分析根据系统对象随时间变化的历史资料，只考虑系统变量随时间的变化规律，对系统未来的表现时间进行定量预测。

主要包括移动平均法、指数平滑法、趋势外推法等。该方法适于利用简单统计数据预测研究对象随时间变化的趋势等。

3、因果关系预测系统变量之间存在某种前因后果关系，找出影响某种结果的几个因素，建立因与果之间的数学模型，根据因素变量的变化预测结果变量的变化，既预测系统发展的方向又确定具体的数值变化规律。

扩展资料：预测模型是在采用定量预测法进行预测时，最重要的工作是建立预测数学模型。预测模型是指用于预测的，用数学语言或公式所描述的事物间的数量关系。

它在一定程度上揭示了事物间的内在规律性，预测时把它作为计算预测值的直接依据。因此，它对预测准确度有极大的影响。任何一种具体的预测方法都是以其特定的数学模型为特征。

预测方法的种类很多，各有相应的预测模型。趋势外推预测方法是根据事物的历史和现实数据，寻求事物随时间推移而发展变化的规律，从而推测其未来状况的一种常用的预测方法。

趋势外推法的假设条件是：(1)假设事物发展过程没有跳跃式变化，即事物的发展变化是渐进型的。

(2)假设所研究系统的结构、功能等基本保持不变，即假定根据过去资料建立的趋势外推模型能适合未来，能代表未来趋势变化的情况。由以上两个假设条件可知，趋势外推预测法是事物发展渐进过程的一种统计预测方法。

简言之，就是运用一个数学模型，拟合一条趋势线，然后用这个模型外推预测未来时期事物的发展。趋势外推预测法主要利用描绘散点图的方法(图形识别)和差分法计算进行模型选择。

主要优点是：可以揭示事物发展的未来，并定量地估价其功能特性。趋势外推预测法比较适合中、长期新产品预测，要求有至少5年的数据资料。组合预测法是对同一个问题，采用多种预测方法。

组合的主要目的是综合利用各种方法所提供的信息，尽可能地提高预测精度。

组合预测有2种基本形式，一是等权组合，即各预测方法的预测值按相同的权数组合成新的预测值；二是不等权组合，即赋予不同预测方法的预测值不同的权数。

这2种形式的原理和运用方法完全相同，只是权数的取定有所区别。根据经验，采用不等权组合的组合预测法结果较为准确。回归预测方法是根据自变量和因变量之间的相关关系进行预测的。

自变量的个数可以一个或多个，根据自变量的个数可分为一元回归预测和多元回归预测。同时根据自变量和因变量的相关关系，分为线性回归预测方法和非线性回归方法。

回归问题的学习等价于函数拟合：选择一条函数曲线使其很好的拟合已知数据且能很好的预测未知数据。参考资料：百度百科——预测模型参考资料：百度百科——定性预测。

建立BP神经网络地面沉降预测模型

。

基坑降水引起地面沉降的BP神经网络预测模型建模过程如下：（1）样本选择因基坑降水引起的地面沉降量和距离基坑的距离关系密切，因此建模选用“基坑降水引起沉降工程数据（第二类）”（见表4.1）中的相关数据作为样本进行学习训练和检验。

（2）BP神经网络结构设计对于BP网络，对于任何在闭区间内的一个连续函数都可以用单隐层的BP网络逼近，因而一个三层BP网络就可以完成任意的n维到m维的映射。

根据网络结构简单化的原则，确定采用三层BP网络结构，即输入层为沉降点距基坑的距离L（m）、等效压缩模量E（MPa）、水位降深H（m）和支护刚度n四个参数，输出层为地面累积沉降量（mm），隐层层数为1层。

隐层的神经元数目选择是一个十分复杂的问题，往往需要根据设计者的经验和多次实验来确定，因而不存在一个理想的解析式来表示。隐单元的数目与问题的要求，与输入、输出单元的数目有直接的关系。

隐单元数目太多会导致学习时间过长，误差不一定最佳，也会导致容错性差、不能识别以前没有看到的样本，因此一定存在一个最佳的隐单元数。

研究通过一次编程比较了隐层神经元个数分别为5、10、15、20、25、30、40时训练速度及检验精度。

图4.2BP神经网络程序框图（3）网络训练及检验BP网络采用梯度下降法来降低网络的训练误差，考虑到基坑降水地面沉降范围内沉降量变化幅度较小的特点，训练时以训练目标取0.001为控制条件，考虑到网络的结构比较复杂，神经元个数比较多，需要适当增加训练次数和学习速率，因此初始训练次数设为10000次，学习速率取0.1，中间层的神经元传递函数采用S型正切函数tansig，传输函数采用logsig，训练函数采用trainlm，选用38组数据中的33组作为训练样本，5组作为检验样本。

（4）网络实现及检验效果使用MATLAB6.0编程建立基于BP神经网络的基坑降水地面沉降预测模型（程序代码见附件1），其训练误差及检验效果如下：图4.3训练误差曲线图4.4预测误差曲线由图4.3、图4.4可见：样本数据收敛，训练误差较小，中间层神经单元个数为10时预测精度较好，误差小于20%，误差满足工程需求。

神经网络Hopfield模型

一、Hopfield模型概述1982年，美国加州工学院J.Hopfield发表一篇对人工神经网络研究颇有影响的论文。他提出了一种具有相互连接的反馈型人工神经网络模型——Hopfield人工神经网络。

Hopfield人工神经网络是一种反馈网络(RecurrentNetwork)，又称自联想记忆网络。

其目的是为了设计一个网络，存储一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到所存储的某个平衡点上。

Hopfield网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为离散型Hopfield网络(DiscreteHopfieldNeuralNetwork，简称DHNN)和连续型Hopfield网络(ContinueHopfieldNeuralNetwork，简称CHNN)。

离散型Hopfield网络的激活函数为二值型阶跃函数，主要用于联想记忆、模式分类、模式识别。这个软件为离散型Hopfield网络的设计、应用。

二、Hopfield模型原理离散型Hopfield网络的设计目的是使任意输入矢量经过网络循环最终收敛到网络所记忆的某个样本上。

正交化的权值设计这一方法的基本思想和出发点是为了满足下面4个要求：1)保证系统在异步工作时的稳定性，即它的权值是对称的，满足wij=wji，i，j=1，2…，N；2)保证所有要求记忆的稳定平衡点都能收敛到自己；3)使伪稳定点的数目尽可能地少；4)使稳定点的吸引力尽可能地大。

正交化权值的计算公式推导如下：1)已知有P个需要存储的稳定平衡点x1，x2…，xP-1，xP，xp∈RN，计算N×(P-1)阶矩阵A∈RN×(P-1)：A=(x1-xPx2-xP…xP-1-xP)T。

2)对A做奇异值分解A=USVT，U=(u1u2…uN)，V=(υ1υ2…υP-1)，中国矿产资源评价新技术与评价新模型Σ=diαg(λ1，λ2，…，λK)，O为零矩阵。

K维空间为N维空间的子空间，它由K个独立的基组成：K=rαnk(A)，设{u1u2…uK}为A的正交基，而{uK+1uK+2…uN}为N维空间的补充正交基。下面利用U矩阵来设计权值。

3)构造中国矿产资源评价新技术与评价新模型总的连接权矩阵为：Wt=Wp-T·Wm，其中，T为大于-1的参数，缺省值为10。

Wp和Wm均满足对称条件，即(wp)ij=(wp)ji，(wm)ij=(wm)ji，因而Wt中分量也满足对称条件。这就保证了系统在异步时能够收敛并且不会出现极限环。

4)网络的偏差构造为bt=xP-Wt·xP。下面推导记忆样本能够收敛到自己的有效性。

(1)对于输入样本中的任意目标矢量xp，p=1，2，…，P，因为(xp-xP)是A中的一个矢量，它属于A的秩所定义的K个基空间的矢量，所以必存在系数α1，α2，…，αK，使xp-xP=α1u1+α2u2+…+αKuK，即xp=α1u1+α2u2+…+αKuK+xP，对于U中任意一个ui，有中国矿产资源评价新技术与评价新模型由正交性质可知，上式中当i=j，；当i≠j，；对于输入模式xi，其网络输出为yi=sgn(Wtxi+bt)=sgn(Wpxi-T·Wmxi+xP-WpxP+T·WmxP)=sgn[Wp(xi-xP)-T·Wm(xi-xP)+xP]=sgn[(Wp-T·Wm)(xi-xP)+xP]=sgn[Wt(xi-xP)+xP]=sgn[(xi-xP)+xP]=xi。

(2)对于输入模式xP，其网络输出为yP=sgn(WtxP+bt)=sgn(WtxP+xP-WtxP)=sgn(xP)=xP。

(3)如果输入一个不是记忆样本的x，网络输出为y=sgn(Wtx+bt)=sgn[(Wp-T·Wm)(x-xP)+xP]=sgn[Wt(x-xP)+xP]。

因为x不是已学习过的记忆样本，x-xP不是A中的矢量，则必然有Wt(x-xP)≠x-xP，并且再设计过程中可以通过调节Wt=Wp-T·Wm中的参数T的大小来控制(x-xP)与xP的符号，以保证输入矢量x与记忆样本之间存在足够的大小余额，从而使sgn(Wtx+bt)≠x，使x不能收敛到自身。

用输入模式给出一组目标平衡点，函数HopfieldDesign()可以设计出Hopfield网络的权值和偏差，保证网络对给定的目标矢量能收敛到稳定的平衡点。

设计好网络后，可以应用函数HopfieldSimu()，对输入矢量进行分类，这些输入矢量将趋近目标平衡点，最终找到他们的目标矢量，作为对输入矢量进行分类。

三、总体算法1.Hopfield网络权值W[N][N]、偏差b[N]设计总体算法应用正交化权值设计方法，设计Hopfield网络；根据给定的目标矢量设计产生权值W[N][N]，偏差b[N]；使Hopfield网络的稳定输出矢量与给定的目标矢量一致。

1)输入P个输入模式X=(x[1]，x[2]，…，x[P-1]，x[P])输入参数，包括T、h；2)由X[N][P]构造A[N][P-1]=(x[1]-x[P]，x[2]-x[P]，…，x[P-1]-x[P])；3)对A[N][P-1]作奇异值分解A=USVT；4)求A[N][P-1]的秩rank；5)由U=(u[1]，u[2]，…，u[K])构造Wp[N][N]；6)由U=(u[K+1]，…，u[N])构造Wm[N][N]；7)构造Wt[N][N]=Wp[N][N]-T*Wm[N][N]；8)构造bt[N]=X[N][P]-Wt[N][N]*X[N][P]；9)构造W[N][N](9～13)，构造W1[N][N]=h*Wt[N][N]；10)求W1[N][N]的特征值矩阵Val[N][N](对角线元素为特征值，其余为0)，特征向量矩阵Vec[N][N]；11)求Eval[N][N]=diag{exp[diag(Val)]}[N][N]；12)求Vec[N][N]的逆Invec[N][N]；13)构造W[N][N]=Vec[N][N]*Eval[N][N]*Invec[N][N]；14)构造b[N]，(14～15)，C1=exp(h)-1，C2=-(exp(-T*h)-1)/T；15)构造中国矿产资源评价新技术与评价新模型Uˊ——U的转置；16)输出W[N][N]，b[N]；17)结束。

2.Hopfield网络预测应用总体算法Hopfield网络由一层N个斜坡函数神经元组成。应用正交化权值设计方法，设计Hopfield网络。根据给定的目标矢量设计产生权值W[N][N]，偏差b[N]。

初始输出为X[N][P]，计算X[N][P]=f(W[N][N]*X[N][P]+b[N])，进行T次迭代，返回最终输出X[N][P]，可以看作初始输出的分类。

3.斜坡函数中国矿产资源评价新技术与评价新模型输出范围[-1，1]。四、数据流图Hopfield网数据流图见附图3。

五、调用函数说明1.一般实矩阵奇异值分解(1)功能用豪斯荷尔德(Householder)变换及变形QR算法对一般实矩阵进行奇异值分解。

(2)方法说明设A为m×n的实矩阵，则存在一个m×m的列正交矩阵U和n×n的列正交矩阵V，使中国矿产资源评价新技术与评价新模型成立。

其中Σ=diag(σ0，σ1，…σp)p⩽min(m，n)-1，且σ0≥σ1≥…≥σp＞0，上式称为实矩阵A的奇异值分解式，σi(i=0，1，…，p)称为A的奇异值。

奇异值分解分两大步：第一步：用豪斯荷尔德变换将A约化为双对角线矩阵。

即中国矿产资源评价新技术与评价新模型其中中国矿产资源评价新技术与评价新模型中的每一个变换Uj(j=0，1，…，k-1)将A中的第j列主对角线以下的元素变为0，而中的每一个变换Vj(j=0，1，…，l-1)将A中的第j行主对角线紧邻的右次对角线元素右边的元素变为0。

]]j具有如下形式：中国矿产资源评价新技术与评价新模型其中ρ为一个比例因子，以避免计算过程中的溢出现象与误差的累积，Vj是一个列向量。

即Vj=(υ0，υ1，…，υn-1)，则中国矿产资源评价新技术与评价新模型其中中国矿产资源评价新技术与评价新模型第二步：用变形的QR算法进行迭代，计算所有的奇异值。

即：用一系列的平面旋转变换对双对角线矩阵B逐步变换成对角矩阵。

在每一次的迭代中，用变换中国矿产资源评价新技术与评价新模型其中变换将B中第j列主对角线下的一个非0元素变为0，同时在第j行的次对角线元素的右边出现一个非0元素；而变换Vj，j+1将第j-1行的次对角线元素右边的一个0元素变为0，同时在第j列的主对角线元素的下方出现一个非0元素。

由此可知，经过一次迭代(j=0，1，…，p-1)后，B′仍为双对角线矩阵。但随着迭代的进行。最后收敛为对角矩阵，其对角线上的元素为奇异值。

在每次迭代时，经过初始化变换V01后，将在第0列的主对角线下方出现一个非0元素。在变换V01中，选择位移植u的计算公式如下：中国矿产资源评价新技术与评价新模型最后还需要对奇异值按非递增次序进行排列。

在上述变换过程中，若对于某个次对角线元素ej满足｜ej｜⩽ε(｜sj+1｜+｜sj｜)则可以认为ej为0。若对角线元素sj满足｜sj｜⩽ε(｜ej-1｜+｜ej｜)则可以认为sj为0(即为0奇异值)。

其中ε为给定的精度要求。

(3)调用说明intbmuav(double*a，intm，intn，double*u，double*v，doubleeps，intka)，本函数返回一个整型标志值，若返回的标志值小于0，则表示出现了迭代60次还未求得某个奇异值的情况。

此时，矩阵的分解式为UAVT；若返回的标志值大于0，则表示正常返回。形参说明：a——指向双精度实型数组的指针，体积为m×n。

存放m×n的实矩阵A；返回时，其对角线给出奇异值(以非递增次序排列)，其余元素为0；m——整型变量，实矩阵A的行数；n——整型变量，实矩阵A的列数；u——指向双精度实型数组的指针，体积为m×m。

返回时存放左奇异向量U；υ——指向双精度实型数组的指针，体积为n×n。返回时存放右奇异向量VT；esp——双精度实型变量，给定的精度要求；ka——整型变量，其值为max(m，n)+1。

2.求实对称矩阵特征值和特征向量的雅可比过关法(1)功能用雅可比(Jacobi)方法求实对称矩阵的全部特征值与相应的特征向量。(2)方法说明雅可比方法的基本思想如下。设n阶矩阵A为对称矩阵。

在n阶对称矩阵A的非对角线元素中选取一个绝对值最大的元素，设为apq。

利用平面旋转变换矩阵R0(p，q，θ)对A进行正交相似变换：A1=R0(p，q，θ)TA，其中R0(p，q，θ)的元素为rpp=cosθ，rqq=cosθ，rpq=sinθ，rqp=sinθ，rij=0，i，j≠p，q。

如果按下式确定角度θ，中国矿产资源评价新技术与评价新模型则对称矩阵A经上述变换后，其非对角线元素的平方和将减少，对角线元素的平方和增加，而矩阵中所有元素的平方和保持不变。

由此可知，对称矩阵A每次经过一次变换，其非对角线元素的平方和“向零接近一步”。因此，只要反复进行上述变换，就可以逐步将矩阵A变为对角矩阵。

对角矩阵中对角线上的元素λ0，λ1，…，λn-1即为特征值，而每一步中的平面旋转矩阵的乘积的第i列(i=0，1，…，n-1)即为与λi相应的特征向量。

综上所述，用雅可比方法求n阶对称矩阵A的特征值及相应特征向量的步骤如下：1)令S=In(In为单位矩阵)；2)在A中选取非对角线元素中绝对值最大者，设为apq；3)若｜apq｜＜ε，则迭代过程结束。

此时对角线元素aii(i=0，1，…，n-1)即为特征值λi，矩阵S的第i列为与λi相应的特征向量。否则，继续下一步；4)计算平面旋转矩阵的元素及其变换后的矩阵A1的元素。

其计算公式如下中国矿产资源评价新技术与评价新模型5)S=S·R(p，q，θ)，转(2)。

在选取非对角线上的绝对值最大的元素时用如下方法：首先计算实对称矩阵A的非对角线元素的平方和的平方根中国矿产资源评价新技术与评价新模型然后设置关口υ1=υ0/n，在非对角线元素中按行扫描选取第一个绝对值大于或等于υ1的元素αpq进行平面旋转变换，直到所有非对角线元素的绝对值均小于υ1为止。

再设关口υ2=υ1/n，重复这个过程。以此类推，这个过程一直作用到对于某个υk＜ε为止。(3)调用说明voidcjcbj(double*a，intn，double*v，doubleeps)。

形参说明：a——指向双精度实型数组的指针，体积为n×n，存放n阶实对称矩阵A；返回时，其对角线存放n个特征值；n——整型变量，实矩阵A的阶数；υ——指向双精度实型数组的指针，体积为n×n，返回特征向量，其中第i列为与λi(即返回的αii，i=0，1，……，n-1)对应的特征向量；esp——双精度实型变量。

给定的精度要求。3.矩阵求逆(1)功能用全选主元高斯-约当(Gauss-Jordan)消去法求n阶实矩阵A的逆矩阵。

(2)方法说明高斯-约当法(全选主元)求逆的步骤如下：首先，对于k从0到n-1做如下几步：1)从第k行、第k列开始的右下角子阵中选取绝对值最大的元素，并记住此元素所在的行号和列号，再通过行交换和列交换将它交换到主元素位置上，这一步称为全选主元；2)；3)，i，j=0，1，…，n-1(i，j≠k)；4)αij-，i，j=0，1，…，n-1(i，j≠k)；5)-，i，j=0，1，…，n-1(i≠k)；最后，根据在全选主元过程中所记录的行、列交换的信息进行恢复，恢复原则如下：在全选主元过程中，先交换的行、列后进行恢复；原来的行(列)交换用列(行)交换来恢复。

图8-4东昆仑—柴北缘地区基于HOPFIELD模型的铜矿分类结果图(3)调用说明intbrinv(double*a，intn)。本函数返回一个整型标志位。

若返回的标志位为0，则表示矩阵A奇异，还输出信息“err**notinv”；若返回的标志位不为0，则表示正常返回。形参说明：a——指向双精度实型数组的指针，体积为n×n。

存放原矩阵A；返回时，存放其逆矩阵A-1；n——整型变量，矩阵的阶数。六、实例实例：柴北缘—东昆仑地区铜矿分类预测。

选取8种因素，分别是重砂异常存在标志、水化异常存在标志、化探异常峰值、地质图熵值、Ms存在标志、Gs存在标志、Shdadlie到区的距离、构造线线密度。构置原始变量，并根据原始数据构造预测模型。

HOPFIELD模型参数设置：训练模式维数8，预测样本个数774，参数个数8，迭代次数330。结果分44类(图8-4，表8-5)。表8-5原始数据表及分类结果（部分）续表。

神经网络ART1模型

一、ART1模型概述自适应共振理论(AdaptiveResonanceTheory)简称ART，是于1976年由美国Boston大学S.Grossberg提出来的。

这一理论的显著特点是，充分利用了生物神经细胞之间自兴奋与侧抑制的动力学原理，让输入模式通过网络双向连接权的识别与比较，最后达到共振来完成对自身的记忆，并以同样的方法实现网络的回想。

当提供给网络回想的是一个网络中记忆的、或是与已记忆的模式十分相似的模式时，网络将会把这个模式回想出来，提出正确的分类。

如果提供给网络回想的是一个网络中不存在的模式，则网络将在不影响已有记忆的前提下，将这一模式记忆下来，并将分配一个新的分类单元作为这一记忆模式的分类标志。

S.Grossberg和G.A.Carpenter经过多年研究和不断发展，至今已提出了ART1，ART2和ART3三种网络结构。

ART1网络处理双极型(或二进制)数据，即观察矢量的分量是二值的，它只取0或1。二、ART1模型原理ART1网络是两层结构，分输入层(比较层)和输出层(识别层)。

从输入层到输出层由前馈连接权连接，从输出层到输入层由反馈连接权连接。

设网络输入层有N个神经元，网络输出层有M个神经元，二值输入模式和输出向量分别为：Xp=(，，…，)，Yp=(，，…，)，p=1，2，…，P，其中P为输入学习模式的个数。

设前馈连接权和反馈连接权矩阵分别为W=(wnm)N×M，T=(tnm)N×M，n=1，2，…，N，m=1，2，…，M。

ART1网络的学习及工作过程，是通过反复地将输入学习模式由输入层向输出层自下而上的识别和由输出层向输入层自上而下的比较过程来实现的。

当这种自下而上的识别和自上而下的比较达到共振，即输出向量可以正确反映输入学习模式的分类，且网络原有记忆没有受到不良影响时，网络对一个输入学习模式的记忆分类则告完成。

ART1网络的学习及工作过程，可以分为初始化阶段、识别阶段、比较阶段和探寻阶段。1.初始化阶段ART1网络需要初始化的参数主要有3个：即W=(wnm)N×M，T=(tnm)N×M和ρ。

反馈连接权T=(tnm)N×M在网络的整个学习过程中取0或1二值形式。这一参数实际上反映了输入层和输出层之间反馈比较的范围或强度。由于网络在初始化前没有任何记忆，相当于一张白纸，即没有选择比较的余的。

因此可将T的元素全部设置为1，即tnm=1，n=1，2，…，N，m=1，2，…，M。(1)这意味着网络在初始状态时，输入层和输出层之间将进行全范围比较，随着学习过程的深入，再按一定规则选择比较范围。

前馈连接权W=(wnm)N×M在网络学习结束后，承担着对学习模式的记忆任务。在对W初始化时，应该给所有学习模式提供一个平等竞争的机会，然后通过对输入模式的竞争，按一定规则调整W。

W的初始值按下式设置：中国矿产资源评价新技术与评价新模型ρ称为网络的警戒参数，其取值范围为0＜ρ≤1。2.识别阶段ART1网络的学习识别阶段发生在输入学习模式由输入层向输出层的传递过程中。

在这一阶段，首先将一个输入学习模式Xp=(，，…，)提供给网络的输入层，然后把作为输入学习模式的存储媒介的前馈连接权W=(wnm)N×M与表示对这一输入学习模式分类结果的输出层的各个神经元进行比较，以寻找代表正确分类结果的神经元g。

这一比较与寻找过程是通过寻找输出层神经元最大加权输入值，即神经元之间的竞争过程实现的，如下式所示：中国矿产资源评价新技术与评价新模型中国矿产资源评价新技术与评价新模型中国矿产资源评价新技术与评价新模型至此，网络的识别过程只是告一段落，并没有最后结束。

此时，神经元m=g是否真正有资格代表对输入学习模式Xp的正确分类，还有待于下面的比较和寻找阶段来进一步确定。一般情况下需要对代表同一输入学习模式的分类结果的神经元进行反复识别。

3.比较阶段ART1网络的比较阶段的主要职能是完成以下检查任务，每当给已学习结束的网络提供一个供识别的输入模式时，首先检查一下这个模式是否是已学习过的模式，如果是，则让网络回想出这个模式的分类结果；如果不是，则对这个模式加以记忆，并分配一个还没有利用过的输出层神经元来代表这个模式的分类结果。

具体过程如下：把由输出层每个神经元反馈到输入层的各个神经元的反馈连接权向量Tm=(t1m，t2m，…，tNm)，m=1，2，…，M作为对已学习的输入模式的一条条记录，即让向量Tm=(t1m，t2m，…，tNm)与输出层第m个神经元所代表的某一学习输入模式Xp=(，，…，)完全相等。

当需要网络对某个输入模式进行回想时，这个输入模式经过识别阶段，竞争到神经元g作为自己的分类结果后，要检查神经元g反馈回来的向量Tg是否与输入模式相等。

如果相等，则说明这是一个已记忆过的模式，神经元g代表了这个模式的分类结果，识别与比较产生了共振，网络不需要再经过寻找阶段，直接进入下一个输入模式的识别阶段；如果不相符，则放弃神经元g的分类结果，进入寻找阶段。

在比较阶段，当用向量Tg与输入模式XP进行比较时，允许二者之间有一定的差距，差距的大小由警戒参数ρ决定。首先计算中国矿产资源评价新技术与评价新模型Cg表示向量Tg与输入模式XP的拟合度。

在式中，(tng*xn)表示向量Tg=(t1g，t2g，…，tNg)与输入模式Xp=(，，…，)的逻辑“与”。当Tg=XP时，Cg=1。

当Cg≥ρ时，说明拟合度大于要求，没有超过警戒线。以上两种情况均可以承认识别结果。

当Cg≠1且Cg＞ρ时，按式(6)式(7)将前馈连接权Wg=(w1g，w2g，…，wNg)和反馈连接权Tg=(t1g，t2g，…，tNg)向着与XP更接近的方向调整。

中国矿产资源评价新技术与评价新模型tng(t+1)=tng(t)*xn，n=1，2，…，N。

(7)当Cg＜ρ时，说明拟合度小于要求，超过警戒线，则拒绝识别结果，将神经元g重新复位为0，并将这个神经元排除在下次识别范围之外，网络转入寻找阶段。

4.寻找阶段寻找阶段是网络在比较阶段拒绝识别结果之后转入的一个反复探寻的阶段，在这一阶段中，网络将在余下的输出层神经元中搜索输入模式Xp的恰当分类。

只要在输出向量Yp=(，，…)中含有与这一输入模式Xp相对应、或在警戒线以内相对应的分类单元，则网络可以得到与记忆模式相符的分类结果。

如果在已记忆的分类结果中找不到与现在输入的模式相对应的分类，但在输出向量中还有未曾使用过的单元，则可以给这个输入模式分配一个新的分类单元。

在以上两种情况下，网络的寻找过程总能获得成功，也就是说共振终将发生。

三、总体算法设网络输入层有N个神经元，网络输出层有M个神经元，二值输入模式和输出向量分别为：Xp=(，，…，)，Yp=(，，…，)p=1，2，…，p，其中p为输入学习模式的个数。

设前馈连接权和反馈连接权矩阵分别为W=(wnm)N×M，T=(tnm)N×M，n=1，2，…，N，m=1，2，…，M。

(1)网络初始化tnm(0)=1，中国矿产资源评价新技术与评价新模型n=1，2，…，N，m=1，2，…，M。0＜ρ≤1。

(2)将输入模式Xp=(，，…，)提供给网络的输入层(3)计算输出层各神经元输入加权和中国矿产资源评价新技术与评价新模型(4)选择XP的最佳分类结果中国矿产资源评价新技术与评价新模型令神经元g的输出为1。

(5)计算中国矿产资源评价新技术与评价新模型中国矿产资源评价新技术与评价新模型判断中国矿产资源评价新技术与评价新模型当式(8)成立，转到(7)，否则，转到(6)。

(6)取消识别结果，将输出层神经元g的输出值复位为0，并将这一神经元排除在下一次识别的范围之外，返回步骤(4)。

当所有已利用过的神经元都无法满足式(8)，则选择一个新的神经元作为分类结果，转到步骤(7)。

(7)承认识别结果，并按下式调整连接权中国矿产资源评价新技术与评价新模型tng(t+1)=tng(t)*xn，n=1，2，…，N。

(8)将步骤(6)复位的所有神经元重新加入识别范围之内，返回步骤(2)对下一模式进行识别。(9)输出分类识别结果。(10)结束。四、实例实例为ART1神经网络模型在柴北缘-东昆仑造山型金矿预测的应用。

1.建立综合预测模型柴北缘—东昆仑地区位于青海省的西部，是中央造山带的西部成员——秦祁昆褶皱系的一部分，是典型的复合造山带(殷鸿福等，1998)。

根据柴北缘—东昆仑地区地质概括以及造山型金矿成矿特点，选择与成矿相关密切的专题数据，建立柴北缘—东昆仑地区的综合信息找矿模型：1)金矿重砂异常数据是金矿的重要找矿标志。

2)金矿水化异常数据是金矿的重要找矿标志。3)金矿的化探异常数据控制金矿床的分布。4)金矿的空间分布与通过该区的深大断裂有关。5)研究区内断裂密集程度控制金矿的产出。

6)重力构造的存在与否是金矿存在的一个标志。7)磁力构造线的存在也是金矿存在的一个重要标志。8)研究区地质复杂程度也对金矿的产出具有重要的作用。9)研究区存在的矿(化)点是一个重要的标志。

2.划分预测单元预测工作是在单元上进行的，预测工作的结果是与单元有着较为直接的联系，在找矿模型指导下，以最大限度地反映成矿信息和预测单元面积最小为原则，通过对研究区内地质、地球物理、地球化学等的综合资料分析，对可能的成矿地段圈定了预测单元。

采用网格化单元作为本次研究的预测单元，网格单元的大小是，40×40，将研究区划分成774个预测单元。

3.变量选择(表8-6)4.ART1模型预测结果ART1神经网络模型算法中，给定不同的阈值，将改变预测分类的结果。

本次实验选取得阈值为ρ=0.41，系统根据此阈值进行计算获得计算结果，并通过将不同的分类结果赋予不同的颜色，最终获得ART模型预测单元的分类结果。分类的结果是形成29个类别。

分类结果用不同的颜色表示，其具体结果地显示见图8-5。图形中颜色只代表类别号，不代表分类的好坏。将矿点专题图层叠加以后，可以看出，颜色为灰色的单元与矿的关系更为密切。

表8-6预测变量标志的选择表图8-5东昆仑—柴北缘地区基于ARTL模型的金矿分类结果图。

神经网络Kohonen模型

。

一、Kohonen模型概述1981年芬兰赫尔辛基大学Kohonen教授提出了一个比较完整的，分类性能较好的自组织特征影射(Self-OrganizingFeatureMap)人工神经网络(简称SOM网络)方案。

这种网络也称为Kohonen特征影射网络。这种网络模拟大脑神经系统自组织特征影射功能，它是一种竞争式学习网络，在学习中能无监督地进行自组织学习。

二、Hohonen模型原理1.概述SOM网络由输入层和竞争层组成。输入层神经元数为N，竞争层由M=R×C神经元组成，构成一个二维平面阵列或一个一维阵列(R=1)。输入层和竞争层之间实现全互连接。

SOM网络的基本思想是网络竞争层各神经元竞争对输入模式的响应机会，最后仅有一个神经元成为竞争的胜者，并对那些与获胜神经元有关的各连接权朝着更有利于它竞争的方向调整，这一获胜神经元就表示对输入模式的分类。

SOM算法是一种无教师示教的聚类方法，它能将任意输入模式在输出层映射成一维或二维离散图形，并保持其拓扑结构不变。即在无教师的情况下，通过对输入模式的自组织学习，在竞争层将分类结果表示出来。

此外，网络通过对输入模式的反复学习，可以使连接权矢量空间分布密度与输入模式的概率分布趋于一致，即连接权矢量空间分布能反映输入模式的统计特征。

2.网络权值初始化因为网络输入很可能出现在中间区，因此，如果竞争层的初始权值选择在输入空间的中间区，则其学习效果会更加有效。

3.邻域距离矩阵SOM网络中的神经元可以按任何方式排列，这种排列可以用表示同一层神经元间的Manhattan距离的邻域距离矩阵D来描述，而两神经元的Manhattan距离是指神经元坐标相减后的矢量中，其元素绝对值之和。

4.Kohonen竞争学习规则设SOM网络的输入模式为Xp=(，，…，)，p=1，2.…，P。

竞争层神经元的输出值为Yj(j=1，2，…，M)，竞争层神经元j与输入层神经元之间的连接权矢量为Wj=(wj1，wj2，…，wjN)，j=1，2，…，M。

Kohonen网络自组织学习过程包括两个部分：一是选择最佳匹配神经元，二是权矢量自适应变化的更新过程。

确定输入模式Xp与连接权矢量Wj的最佳匹配的评价函数是两个矢量的欧氏距离最小，即，j=1，2，…，M，]]g，确定获胜神经元g。dg=mjin(dj)，j=1，2，…，M。

求输入模式Xp在竞争层的获胜神经元g及其在邻域距离nd内的神经元的输出。中国矿产资源评价新技术与评价新模型dgm为邻域距离矩阵D的元素，为竞争层中获胜神经元g与竞争层中其它神经元的距离。

求输入模式Xp在竞争层的获胜神经元g及其在邻域距离nd内的神经元的权值修正值。中国矿产资源评价新技术与评价新模型式中：i=1，2，…，N；lr为学习速率；t为学习循环次数。

Δwjt(t+1)的其余元素赋值为0。进行连接权的调整wji(t+1)=wji(t)+Δwji(t+1)。

5.权值学习中学习速率及邻域距离的更新(1)SOM网络的学习过程分为两个阶段第一阶段为粗学习与粗调整阶段。

在这一阶段内，连接权矢量朝着输入模式的方向进行调整，神经元的权值按照期望的方向在适应神经元位置的输入空间建立次序，大致确定输入模式在竞争层中所对应的影射位置。

一旦各输入模式在竞争层有了相对的影射位置后，则转入精学习与细调整阶段，即第二阶段。

在这一阶段内，网络学习集中在对较小的范围内的连接权进行调整，神经元的权值按照期望的方向在输入空间伸展，直到保留到他们在粗调整阶段所建立的拓扑次序。学习速率应随着学习的进行不断减小。

(2)邻域的作用与更新在SOM网络中，脑神经细胞接受外界信息的刺激产生兴奋与抑制的变化规律是通过邻域的作用来体现的邻域规定了与获胜神经元g连接的权向量Wg进行同样调整的其他神经元的范围。

在学习的最初阶段，邻域的范围较大，随着学习的深入进行，邻域的范围逐渐缩小。

(3)学习速率及邻域距离的更新在粗调整阶段，学习参数初始化最大学习循环次数MAX_STEP1=1000，粗调整阶段学习速率初值LR1=1.4，细调整阶段学习速率初值LR2=0.02，最大邻域距离MAX_ND1=Dmax，Dmax为邻域距离矩阵D的最大元素值。

粗调阶段学习循环次数step≤MAX_STEP1，学习速率lr从LR1调整到LR2，邻域距离nd从MAX_ND1调整到1，求更新系数r，r=1-step/MAX_STEP1，邻域距离nd更新，nd=1.00001+(MAX_ND1-1)×r。

学习速率lr更新，lr=LR2+(LR1-LR2)×r。在细调整阶段，学习参数初始化，最大学习循环次数MAX_STEP2=2000，学习速率初值LR2=0.02，最大邻域距离MAX_ND2=1。

细调阶段MAX_STEP1＜step≤MAX_STEP1+MAX_STEP2，学习速率lr慢慢从LR2减少，邻域距离nd设为1，邻域距离nd更新，nd=MAX_ND2+0.00001。

学习速率lr更新，lr=LR2×(MAX_STEP1/step)。6.网络的回想——预测SOM网络经学习后按照下式进行回想：中国矿产资源评价新技术与评价新模型Yj=0，j=1，2，…，M，(j≠g)。

将需要分类的输入模式提供给网络的输入层，按照上述方法寻找出竞争层中连接权矢量与输入模式最接近的神经元，此时神经元有最大的激活值1，而其它神经元被抑制而取0值。这时神经元的状态即表示对输入模式的分类。

三、总体算法1.SOM权值学习总体算法(1)输入参数X[N][P]。(2)构造权值矩阵W[M][N]。1)由X[N][P]求Xmid[N]，2)由Xmid[N]构造权值W[M][N]。

(3)构造竞争层。1)求竞争层神经元数M，2)求邻域距离矩阵D[M][M]，3)求矩阵D[M][M]元素的最大值Dmax。(4)学习参数初始化。(5)学习权值W[M][N]。

1)学习参数学习速率lr，邻域距离nd更新，分两阶段：(i)粗调阶段更新；(ii)细调阶段更新。2)求输入模式X[N][p]在竞争层的获胜神经元win[p]。

(i)求X[N][p]与W[m][N]的欧氏距离dm；(ii)按距离dm最短，求输入模式X[N][p]在竞争层的获胜神经元win[p]。

3)求输入模式X[N][p]在竞争层的获胜神经元win[p]及其在邻域距离nd内的神经元的输出Y[m][p]。

4)求输入模式X[N][p]在竞争层的获胜神经元win[p]及其在邻域距离nd内的神经元的权值修正值ΔW[m][N]，从而得到输入模式X[N][p]产生的权值修正值ΔW[M][N]。

5)权值修正W[M][N]=W[M][N]+ΔW[M][N]。

6)学习结束条件：(i)学习循环到MAX_STEP次；(ii)学习速率lr达到用户指定的LR_MIN；(iii)学习时间time达到用户指定的TIME_LIM。(6)输出。

1)学习得到的权值矩阵W[M][N]；2)邻域距离矩阵D[M][M]。(7)结束。2.SOM预测总体算法(1)输入需分类数据X[N][P]，邻域距离矩阵D[M][M]。

(2)求输入模式X[N][p]在竞争层的获胜神经元win[p]。1)求X[N][p]与W[m][N]的欧氏距离dm；2)按距离dm最短，求输入模式X[N][p]在竞争层的获胜神经元win[p]。

(3)求获胜神经元win[p]在竞争层排列的行列位置。(4)输出与输入数据适应的获胜神经元win[p]在竞争层排列的行列位置，作为分类结果。(5)结束。

四、总体算法流程图Kohonen总体算法流程图见附图4。五、数据流图Kohonen数据流图见附图4。

六、无模式识别总体算法假定有N个样品，每个样品测量M个变量，则有原始数据矩阵：X=(xij)N×M，i=1，2，…，N，j=1，2，…，M。

(1)原始数据预处理X=(xij)N×M处理为Z=(zij)N×M，分3种处理方法：1)衬度；2)标准化；3)归一化。程序默认用归一化处理。

(2)构造Kohonen网竞争层与输入层之间的神经元的连接权值构成矩阵WQ×M。WQ×M初始化。(3)进入Kohonen网学习分类循环，用epoch记录循环次数，epoch=1。

(4)在每个epoch循环中，对每个样品n(n=1，2，…，N)进行分类。从1个样品n=1开始。

(5)首先计算输入层的样品n的输入数据znm(m=1，2，…，M)与竞争层Q个神经元对应权值wqm的距离。

(6)寻找输入层的样品n与竞争层Q个神经元的最小距离，距离最小的神经元Win[n]为获胜神经元，将样品n归入获胜神经元Win[n]所代表的类型中，从而实现对样品n的分类。

(7)对样品集中的每一个样品进行分类：n=n+1。(如果n≤N，转到5。否则，转到8。

)(8)求分类后各神经元所对应的样品的变量的重心，用对应的样品的变量的中位数作为重心，用对应的样品的变量的重心来更新各神经元的连接权值。(9)epoch=epoch+1；一次学习分类循环结束。

(10)如果满足下列两个条件之一，分类循环结束，转到11；否则，分类循环继续进行，转到4。1)全部样品都固定在某个神经元上，不再改变了；2)学习分类循环达到最大迭代次数。

(11)输出：1)N个样品共分成多少类，每类多少样品，记录每类的样品编号；2)如果某类中样品个数超过1个，则输出某类的样品原始数据的每个变量的均值、最小值、最大值和均方差；3)如果某类中样品个数为1个，则输出某类的样品原始数据的各变量值；4)输出原始数据每个变量(j=1，2，…，M)的均值，最小值，最大值和均方差。

(12)结束。七、无模式识别总体算法流程图Kohonen无模式总体算法流程图见附图5。

求一个bp神经网络预测模型的MATLAB程序

BP神经网络预测的步骤:1、输入和输出数据。2、创建网络。fitnet（）3、划分训练，测试和验证数据的比例。

net.divideParam.trainRatio； net.divideParam.valRatio；net.divideParam.testRatio4、训练网络。

train（）5、根据图表判断拟合好坏。ploterrcorr（）；parcorr（）；plotresponse（）6、预测往后数据。net（）7、画出预测图。

plot（）执行下列命令BP_prediction得到结果：[2016,14749.呵呵6798210144042969][2017,15092.847215188667178153991699219][2018,15382.150005970150232315063476562][2019, 15398.85769711434841156005859375][2020,15491.935150090605020523071289062]。

伤寒、副伤寒流行预测模型（BP神经网络）的建立

由于目前研究的各种数学模型或多或少存在使用条件的局限性，或使用方法的复杂性等问题，预测效果均不十分理想，距离实际应用仍有较大差距。

NNT是Matlab中较为重要的一个工具箱，在实际应用中，BP网络用的最广泛。

神经网络具有综合能力强，对数据的要求不高，适时学习等突出优点，其操作简便，节省时间，网络初学者即使不了解其算法的本质，也可以直接应用功能丰富的函数来实现自己的目的。

因此，易于被基层单位预防工作者掌握和应用。

以下几个问题是建立理想的因素与疾病之间的神经网络模型的关键：（1）资料选取应尽可能地选取所研究地区系统连续的因素与疾病资料，最好包括有疾病高发年和疾病低发年的数据。

在收集影响因素时，要抓住主要影响伤寒、副伤寒的发病因素。

（2）疾病发病率分级神经网络预测法是按发病率高低来进行预测，在定义发病率等级时，要结合专业知识及当地情况而定，并根据网络学习训练效果而适时调整，以使网络学习训练达到最佳效果。

（3）资料处理问题在实践中发现，资料的特征往往很大程度地影响网络学习和训练的稳定性，因此，数据的应用、纳入、排出问题有待于进一步研究。

6.3.1人工神经网络的基本原理人工神经网络（ANN）是近年来发展起来的十分热门的交叉学科，它涉及生物、电子、计算机、数学和物理等学科，有着广泛的应用领域。

人工神经网络是一种自适应的高度非线性动力系统，在网络计算的基础上，经过多次重复组合，能够完成多维空间的映射任务。

神经网络通过内部连接的自组织结构，具有对数据的高度自适应能力，由计算机直接从实例中学习获取知识，探求解决问题的方法，自动建立起复杂系统的控制规律及其认知模型。

人工神经网络就其结构而言，一般包括输入层、隐含层和输出层，不同的神经网络可以有不同的隐含层数，但他们都只有一层输入和一层输出。

神经网络的各层又由不同数目的神经元组成，各层神经元数目随解决问题的不同而有不同的神经元个数。

6.3.2BP神经网络模型BP网络是在1985年由PDP小组提出的反向传播算法的基础上发展起来的，是一种多层次反馈型网络（图6.17），它在输入和输出之间采用多层映射方式，网络按层排列，只有相邻层的节点直接相互连接，传递之间信息。

在正向传播中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元的状态只影响下一层神经元的状态。

如果输出层不能得到期望的输出结果，则转入反向传播，将误差信号沿原来的连同通路返回，通过修改各层神经元的权值，使误差信号最小。

BP网络的学习算法步骤如下（图6.18）：图6.17BP神经网络示意图图6.18BP算法流程图第一步：设置初始参数ω和θ，（ω为初始权重，θ为临界值，均随机设为较小的数）。

第二步：将已知的样本加到网络上，利用下式可算出他们的输出值yi，其值为岩溶地区地下水与环境的特殊性研究式中：xi为该节点的输入；ωij为从I到j的联接权；θj为临界值；yj为实际算出的输出数据。

第三步：将已知输出数据与上面算出的输出数据之差（dj-yj）调整权系数ω，调整量为ΔWij=ηδjxj式中：η为比例系数；xj为在隐节点为网络输入，在输出点则为下层（隐）节点的输出（j=1，2…，n）；dj为已知的输出数据（学习样本训练数据）；δj为一个与输出偏差相关的值，对于输出节点来说有δj=ηj（1-yj）（dj-yj）对于隐节点来说，由于它的输出无法进行比较，所以经过反向逐层计算有岩溶地区地下水与环境的特殊性研究其中k指要把上层（输出层）节点取遍。

误差δj是从输出层反向逐层计算的。各神经元的权值调整后为ωij（t）=ωij（t-1）+Vωij式中：t为学习次数。

这个算法是一个迭代过程，每一轮将各W值调整一遍，这样一直迭代下去，知道输出误差小于某一允许值为止，这样一个好的网络就训练成功了，BP算法从本质上讲是把一组样本的输入输出问题变为一个非线性优化问题，它使用了优化技术中最普遍的一种梯度下降算法，用迭代运算求解权值相当于学习记忆问题。

6.3.3BP神经网络模型在伤寒、副伤寒流行与传播预测中的应用伤寒、副伤寒的传播与流行同环境之间有着一定的联系。

根据桂林市1990年以来乡镇为单位的伤寒、副伤寒疫情资料，伤寒、副伤寒疫源地资料，结合现有资源与环境背景资料（桂林市行政区划、土壤、气候等）和社会经济资料（经济、人口、生活习惯等统计资料）建立人工神经网络数学模型，来逼近这种规律。

6.3.3.1模型建立（1）神经网络的BP算法BP网络是一种前馈型网络，由1个输入层、若干隐含层和1个输出层构成。

如果输入层、隐含层和输出层的单元个数分别为n，q1，q2，m，则该三层网络网络可表示为BP（n，q1，q2，m），利用该网络可实现n维输入向量Xn=（X1，X2，…，Xn）T到m维输出向量Ym=（Y1，Y2，…，Ym）T的非线性映射。

输入层和输出层的单元数n，m根据具体问题确定。

（2）样本的选取将模型的输入变量设计为平均温度、平均降雨量、岩石性质、岩溶发育、地下水类型、饮用水类型、正规自来水供应比例、集中供水比例8个输入因子（表6.29），输出单元为伤寒副伤寒的发病率等级，共一个输出单元。

其中q1，q2的值根据训练结果进行选择。表6.29桂林市伤寒副伤寒影响因素量化表通过分析，选取在伤寒副伤寒有代表性的县镇在1994～2001年的环境参评因子作为样本进行训练。

利用聚类分析法对疫情进行聚类分级（Ⅰ、Ⅱ、Ⅲ、Ⅳ），伤寒副伤寒发病最高级为Ⅳ（BP网络中输出定为4），次之的为Ⅲ（BP网络中输出定为3），以此类推，最低为Ⅰ（BP网络中输出定为1）（3）数据的归一化处理为使网络在训练过程中易于收敛，我们对输入数据进行了归一化处理，并将输入的原始数据都化为0～1之间的数。

如将平均降雨量的数据乘以0.0001；将平均气温的数据乘以0.01；其他输入数据也按类似的方法进行归一化处理。

（4）模型的算法过程假设共有P个训练样本，输入的第p个（p=1，2，…，P）训练样本信息首先向前传播到隐含单元上。

经过激活函数f（u）的作用得到隐含层1的输出信息：岩溶地区地下水与环境的特殊性研究经过激活函数f（u）的作用得到隐含层2的输出信息：岩溶地区地下水与环境的特殊性研究激活函数f（u）我们这里采用Sigmoid型，即f（u）=1/[1+exp（-u）]（6.5）隐含层的输出信息传到输出层，可得到最终输出结果为岩溶地区地下水与环境的特殊性研究以上过程为网络学习的信息正向传播过程。

另一个过程为误差反向传播过程。

如果网络输出与期望输出间存在误差，则将误差反向传播，利用下式来调节网络权重和阈值：岩溶地区地下水与环境的特殊性研究式中：Δω（t）为t次训练时权重和阈值的修正；η称为学习速率，0＜η＜1；E为误差平方和。

岩溶地区地下水与环境的特殊性研究反复运用以上两个过程，直至网络输出与期望输出间的误差满足一定的要求。该模型算法的缺点：1）需要较长的训练时间。

由于一些复杂的问题，BP算法可能要进行几小时甚至更长的时间的训练，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。2）完全不能训练。

主要表现在网络出现的麻痹现象上，在网络的训练过程中，当其权值调的过大，可能使得所有的或大部分神经元的加权总和n偏大，这使得激活函数的输入工作在S型转移函数的饱和区，从而导致其导数f′（n）非常小，从而使得对网络权值的调节过程几乎停顿下来。

3）局部极小值。BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解。

这是因为BP算法采用的是梯度下降法，训练从某一起点沿误差函数的斜面逐渐达到误差的最小值。

考虑到以上算法的缺点，对模型进行了两方面的改进：（1）附加动量法为了避免陷入局部极小值，对模型进行了改进，应用了附加动量法。

附加动量法在使网络修正及其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，它允许网络忽略网络上的微小变化特性。

在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用则有可能滑过这些极小值。

该方法是在反向传播法的基础上在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生心的权值变化。

促使权值的调节向着误差曲面底部的平均方向变化，从而防止了如Δω（t）=0的出现，有助于使网络从误差曲面的局部极小值中跳出。

这种方法主要是把式（6.7）改进为岩溶地区地下水与环境的特殊性研究式中：A为训练次数；a为动量因子，一般取0.95左右。

训练中对采用动量法的判断条件为岩溶地区地下水与环境的特殊性研究（2）自适应学习速率对于一个特定的问题，要选择适当的学习速率不是一件容易的事情。

通常是凭经验或实验获取，但即使这样，对训练开始初期功效较好的学习速率，不见得对后来的训练合适。

所以，为了尽量缩短网络所需的训练时间，采用了学习速率随着训练变化的方法来找到相对于每一时刻来说较差的学习速率。

下式给出了一种自适应学习速率的调整公式：岩溶地区地下水与环境的特殊性研究通过以上两个方面的改进，训练了一个比较理想的网络，将动量法和自适应学习速率结合起来，效果要比单独使用要好得多。

6.3.3.2模型的求解与预测采用包含了2个隐含层的神经网络BP（4，q1，q2，1），隐含层单元数q1，q2与所研究的具体问题有关，目前尚无统一的确定方法，通常根据网络训练情况采用试错法确定。

在满足一定的精度要求下一般认小的数值，以改善网络的概括推论能力。

在训练中网络的收敛采用输出值Ykp与实测值tp的误差平方和进行控制：岩溶地区地下水与环境的特殊性研究1）将附加动量法和自适应学习速率结合应用，分析桂林市36个乡镇地质条件各因素对伤寒副伤寒发病等级的影响。

因此训练样本为36个，第一个隐含层有19个神经元，第二个隐含层有11个神经元，学习速率为0.001。A.程序（略）。B.网络训练。

在命令窗口执行运行命令，网络开始学习和训练，其学习和训练过程如下（图6.19）。图6.19神经网络训练过程图C.模型预测。

a.输入未参与训练的乡镇（洞井乡、两水乡、延东乡、四塘乡、严关镇、灵田乡）地质条件数据。b.预测。程序运行后网络输出预测值a3，与已知的实际值进行比较，其预测结果整理后见（表6.30）。

经计算，对6个乡镇伤寒副伤寒发病等级的预测符合率为83.3%。表6.30神经网络模型预测结果与实际结果比较c.地质条件改进方案。

在影响疾病发生的地质条件中，大部分地质条件是不会变化的，而改变发病地区的饮用水类型是可以人为地通过改良措施加以实施的一个因素。

因此，以灵田乡为例对发病率较高的乡镇进行分析，改变其饮用水类型，来看发病等级的变化情况。

表6.31显示，在其他地质条件因素不变的情况下，改变当地的地下水类型（从原来的岩溶水类型改变成基岩裂隙水）则将发病等级从原来的最高级4级，下降为较低的2级，效果是十分明显的。

因此，今后在进行伤寒副伤寒疾病防治的时候，可以通过改变高发区饮用水类型来客观上减少疫情的发生。

表6.31灵田乡改变饮用水类型前后的预测结果2）选取桂林地区1994～2000年月平均降雨量、月平均温度作为输入数据矩阵，进行样本训练，设定不同的隐含层单元数，对各月份的数据进行BP网络训练。

在隐含层单元数q1=13，q2=9，经过46383次数的训练，误差达到精度要求，学习速率0.02。A.附加动量法程序（略）。B.网络训练。

在命令窗口执行运行命令，网络开始学习和训练，其学习和训练过程如下（图6.20）。C.模型预测。a.输入桂林市2001年1～12月桂林市各月份的平均气温和平均降雨量。预测程度（略）。b.预测。

程序运行后网络输出预测值a2，与已知的实际值进行比较，其预测结果整理后见（表6.32）。经计算，对2001年1～12月伤寒副伤寒发病等级进行预测，12个预测结果中，有9个符合，符合率为75%。

图6.20神经网络训练过程图表6.32神经网络模型预测结果与实际值比较6.3.3.3模型的评价本研究采用BP神经网络对伤寒、副伤寒发病率等级进行定量预测，一方面引用数量化理论对不确定因素进行量化处理；另一方面利用神经网络优点，充分考虑各影响因素与发病率之间的非线性映射。

实际应用表明，神经网络定量预测伤寒、副伤寒发病率是理想的。其主要优点有：1）避免了模糊或不确定因素的分析工作和具体数学模型的建立工作。2）完成了输入和输出之间复杂的非线性映射关系。

3）采用自适应的信息处理方式，有效减少人为的主观臆断性。虽然如此，但仍存在以下缺点：1）学习算法的收敛速度慢，通常需要上千次或更多，训练时间长。2）从数学上看，BP算法有可能存在局部极小问题。

本模型具有广泛的应用范围，可以应用在很多领域。从上面的结果可以看出，实际和网络学习数据总体较为接近，演化趋势也基本一致。

说明选定的气象因子、地质条件因素为神经单元获得的伤寒、副伤寒发病等级与实际等级比较接近，从而证明伤寒、副伤寒流行与地理因素的确存在较密切的相关性。