径向基函数RBF

2006-12-12 北京科技大学 付冬梅 * 例 建立一个径向基神经网络，对非线性函数y=sqrt(x)进行逼近，并作出网络的逼近误差曲线。 6-7 RBF网络的MATLAB函数及功能 2006-12-12 北京科技大学 付冬梅 * 误差曲线和逼近曲线 6-7 RBF网络的MATLAB函数及功能 2006-12-12 北京科技大学 付冬梅 * 1.基于K-均值聚类方法求取基函数中心 (1)网络初始化 随机选取 个训练样本作为聚类中心 。 (2)将输入的训练样本集合按最近邻规则分组 按照 与中心为 之间的欧氏距离将 分配到输入样本的各个聚类集合 中。 (3)重新调整聚类中心 计算各个聚类集合 中训练样本的平均值，即新的聚类中心 ，如果新的聚类中心不再发生变化，则所得到的 即为RBF神经网络最终的基函数中心，否则返回(2)，进入下一轮的中心求解。 RBF网络的学习算法步骤的再总结 2006-12-12 北京科技大学 付冬梅 * 2.求解方差 当基函数为高斯函数时，方差可由下式求解： 式中 为中所选取中心之间的最大距离。 3.计算隐含层和输出层之间的权值 隐含层至输出层之间神经元的连接权值可以用最小二乘法直接计算得到，计算公式如下： RBF网络的学习算法步骤的再总结 2006-12-12 北京科技大学 付冬梅 * 本章结束，谢谢大家！ 2006-12-12 北京科技大学 付冬梅 * 已知　　学习7次　　　未知 2006-12-12 北京科技大学 付冬梅 * 已知　　学习8次　　　未知 2006-12-12 北京科技大学 付冬梅 * 已知　　学习9次　　　未知 2006-12-12 北京科技大学 付冬梅 * 已知　　学习10次　　　未知 2006-12-12 北京科技大学 付冬梅 * 学习10次－－J　 2006-12-12 北京科技大学 付冬梅 * 学习算法需要求解的参数 径向基函数的中心参数 径向基函数的散度参数 隐含层到输出层的权值 学习方法分类(按选取方法的不同分) 随机选取中心法 自组织选取中心法 有监督选取中心法 正交最小二乘法等 6-4 RBF网络的学习算法 2006-12-12 北京科技大学 付冬梅 * 自组织选取中心学习方法: 第一步，自组织学习阶段 无导师学习过程，求解隐含层基函数的中心与方差； 第二步，有导师学习阶段 求解隐含层到输出层之间的权值。 高斯函数作为径向基函数: 6-4 RBF网络的学习算法 2006-12-12 北京科技大学 付冬梅 * 网络的输出: 设d是样本的期望输出值，那么基函数的方差可表示为 : 6-4 RBF网络的学习算法 2006-12-12 北京科技大学 付冬梅 * 6-4 RBF网络的学习算法 2006-12-12 北京科技大学 付冬梅 * 1.无导师学习 对所有输入样本进行聚类，求得各隐层节点的RBF的中心。介绍用k--均值聚类算法调整中心参数。 1) 聚类 聚类分析符合“物以类聚，人以群分”的原则，把相似性大的样本聚集为一个类型，在特征空间里占据着一个局部区域。类型越多，这样的具备区域就越多。每个局部区域都形成一个聚合中心，往往以聚合中心代表相应的类型。 聚类分析算法可以自动地确定类型的数目K，不必以预知K为前提条件。当然，也可以给定K作为算法终止的条件。如果没有给定K，如何在聚类过程中自动的确定K，是聚类分析中的一个关键性的问题。 6-4 RBF网络的学习算法 2006-12-12 北京科技大学 付冬梅 * 2)相似性度量 如何衡量样本相似性，对聚类有直接影响。通常使用距离相似性度量和角度相似性度量。 距离相似性度量 一个模式样本，在它的特征空间里是一个点。如果模式的特征是适当选择的，即各维特征对于分类来说都是等效的，那么，同一类的模式样本就密集的分布在一个区域里，不同类的模式样本就会远离。因此，点间距离远近反映了相应模式样本所属类型有无差异，可以作为样本相似性度量。点间距离近，则样本相似性大，它们属于同一个类型；否则，它们属于不同的类型。 6-4 RBF网络的学习算法 2006-12-12 北京科技大学 付冬梅 * 在聚类分析中，最经常使用的就是距离相似性。 (1)欧式(Euclidean)距离 欧式距离又称为距离，模式样本向量x和y之间的欧式距离定义为： 其中d为特征空间的维数。显然，若样本x和y位于同一个类型区域里，欧式距离 是比较小的；若它们位于不同类型的区域里，则是比较大的。 (2)马氏(Mahalanobis)距离