深度学习：径向基网络（RBF）

http://blog.csdn.net/pipisorry/article/details/71872331

如果对于输入空间的某个局部区域只有少数几个连接权值影响输出，则该网络称为局部逼近网络。常见的局部逼近网络有RBF网络、小脑模型（CMAC）网络、B样条网络等。

RBF网络能够逼近任意的非线性函数，可以处理系统内的难以解析的规律性，具有良好的泛化能力，并有很快的学习收敛速度，已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。

为什么RBF网络学习收敛得比较快？当网络的一个或多个可调参数（权值或阈值）对任何一个输出都有影响时，这样的网络称为全局逼近网络。由于对于每次输入，网络上的每一个权值都要调整，从而导致全局逼近网络的学习速度很慢。BP网络就是一个典型的例子。

基于高斯核的RBF神经网络拓扑结构

第一层输入层：由信号源节点构成，仅起到数据信息的传递作用，对输入信息不做任何变换。

第二层隐含层：节点数视需要而定。隐含层神经元核函数(作用函数)是高斯函数，对输入信息进行空间映射的变换。

第三层输出层，对输入模式做出响应。输出层神经元的作用函数为线性函数，对隐含层神经元输出的信息进行线性加权后输出，作为整个神经网络的输出结果。

径向基网络传递函数是以输入向量与阈值向量之间的距离|| X-Cj ||作为自变量的。其中|| X-Cj ||是通过输入向量和加权矩阵C的行向量的乘积得到的。此处的C就是隐藏层各神经元的中心参数，大小为隐层神经元数目*可见层单元数。再者，每一个隐神经元中心参数C都对应一个宽度向量D，使得不同的输入信息能被不同的隐层神经元最大程度地反映出来。随着权值和输入向量之间距离的减少，网络输出是递增的，当输入向量和权值向量一致时，神经元输出为1。图中的b为阈值，用于调整神经元的灵敏度。

径向基神经网络传递参数可以取多种形式。常见的有：

①Gaussian函数(高斯函数)

这里使用的就是这个

②Reflected sigmoidal函数(反常S型函数)

③逆Multiquadric函数（逆畸变校正函数）

RBF神经网络中心选取方法

对于RBF神经网络的学习算法，关键问题是隐藏层神经元中心参数的合理确定。常用的方法是从中心参数(或者其初始值)是从给定的训练样本集里按照某种方法直接选取，或者是采用聚类的方法确定。

①直接计算法(随机选取RBF中心)

隐含层神经元的中心是随机地在输入样本中选取，且中心固定。一旦中心固定下来，隐含层神经元的输出便是已知的，这样的神经网络的连接权就可以通过求解线性方程组来确定。适用于样本数据的分布具有明显代表性。

②自组织学习选取RBF中心法

RBF神经网络的中心可以变化，并通过自组织学习确定其位置。输出层的线性权重则是通过有监督的学习来确定的。这种方法是对神经网络资源的再分配，通过学习，使RBF的隐含层神经元中心位于输入空间重要的区域。这种方法主要采用K-均值聚类法来选择RBF的中心，属于无监督(导师)的学习方法。

③有监督(导师)学习选取RBF中心

通过训练样本集来获得满足监督要求的网络中心和其他权重参数。常用方法是梯度下降法。

④正交最小二乘法选取RBF中心法

正交最小二乘法(Orthogoal least square)法的思想来源于线性回归模型。神经网络的输出实际上是隐含层神经元某种响应参数(回归因子)和隐含层至输出层间连接权重的线性组合。所有隐含层神经元上的回归因子构成回归向量。学习过程主要是回归向量正交化的过程。

在很多实际问题中，RBF神经网络隐含层神经元的中心并非是训练集中的某些样本点或样本的聚类中心，需要通过学习的方法获得，使所得到的中心能够更好地反应训练集数据所包含的信息。

[人工神经网络——径向基函数(RBF)神经网络]

[径向基函数（RBF）神经网络]

from: http://blog.csdn.net/pipisorry/article/details/71872331

ref: