【零散知识】径向基函数，径向基神经网络和其与BP神经网络的区别

前言：

{

最近在重新看傅立叶变换，感觉这简直是打开新世界的大门。都怪我之前没学好，现在看起来比较费劲，花了不少时间，所以这次还是零散知识。

这次的主要内容都是围绕径向基神经网络展开的。

}

正文：

{

根据[1]中的介绍，径向基函数（Radial basis function，RBF）是一类函数。设输入样本为x，一个中心点为c，则任何只依赖x和c之间距离的函数都是径向基函数（叫径向是因为当c固定时，径向基函数的输出是关于x径向对称的）。

径向基函数的典型形式为高斯基函数（Gaussian basis functions），见式1。

其中ci对应上述c，i为隐含层节点的编号，隐含层的具体定义在下面。

图1是[1]中给出的一种径向基神经网络（Radial basis function network）的结构。

其中，中间的隐含层才会用到径向基函数。

隐含层的节点i的输出为式2。

其中ai是节点i的权值；ci即为节点i对应的中心点，可通过对原样本聚类的方式（或其他无监督方式）获得，ρ()的定义见式1，输出无特殊激活函数。

关于训练方法，可采用一般的线性模型优化算法（例如最小二乘法）。

其他部分和BP神经网络类似。

值得注意的是，[1]中还给出了式2的局部线性模型，见式3,4,5,6。

简单来说，式3的结果可分为非线性部分和线性部分，每个部分又有很多项，每个项对应一个权值。非线性部分中的项如式2，线性部分涉及x和ci的差（不是距离，是向量的差，即对x和ci按位相减的结果）。

径向基神经网络与BP神经网络的区别在于（个人简单总结，以图1的网络为例）：

径向基神经网络的隐含层中添加了径向基函数（最大的区别）；
径向基神经网络是线性的，可以被作为线性模型来优化，所以优化无需反向传播过程，也比较快；
径向基神经网络没有偏置项（bias）；
在径向基神经网络的权值训练之前，需要先得到一些中心点；
径向基神经网络的隐含层节点数量比输入层节点数量还多，起到了增维的作用。

我没有具体使用过这种网络，所以不好评价其效果的区别。[2]中说在速度快的前提下，径向基神经网络甚至可以接近BP网络的能力。图2是[2]中给出的两种网络的文字分类结果。

}

结语：

{

[2]中还提到了模型组合的可行性，有时间我可以把这种网络加到我的其他模型中试试。

参考资料：

{

[1] https://en.wikipedia.org/wiki/Radial_basis_function_network

[2] A Comparison among Three Neural Networks for Text Classification Zhan Wang, Yifan He and Minghu Jiang http://www.nlpr.ia.ac.cn/2006papers/gjhy/gh93.pdf

}

【零散知识】径向基函数，径向基神经网络和其与BP神经网络的区别相关推荐

bp神经网络需要多少样本,bp神经网络训练时间
1.BP神经网络的训练集需要大样本吗?一般样本个数为多少? BP神经网络的训练集需要大样本吗?一般样本个数为多少? BP神经网络样本数有什么影响学习神经网络这段时间,有一个疑问,BP神经网络中训练的 ...
BP神经网络最大训练次数,bp神经网络训练时间
BP神经网络学习样本是不是越多越好! 这个没有明确要求,样本也不是越多越好.通常情况下,你的样本可以一部分用来做验证.加速你有100个样本,90%用来做训练,10%用来做验证等,当然,有时候还得留下1 ...
bp神经网络数据预测实例,bp神经网络实例分析
BP人工神经网络方法 (一)方法原理人工神经网络是由大量的类似人脑神经元的简单处理单元广泛地相互连接而成的复杂的网络系统.理论和实践表明,在信息处理方面,神经网络方法比传统模式识别方法更具有优势. 人 ...
bp神经网络实验报告结论,bp神经网络实验报告
bp神经网络 BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络 ...
【深度学习】感知器、线性神经网络案例应用、BP神经网络算法详细推导
感知器.线性神经网络.BP神经网络及手写数字识别 1. 单层感知器 1.1 感知器的介绍 1.2 感知器的学习规则 1.3 感知器单输入输出示例 1.4 学习率 η\etaη 1.5 模型训练收敛条件 ...
matlab神经网络(二)-bp神经网络,MATLAB神经网络（2） BP神经网络的非线性系统建模——非线性函数拟合...
2.1 案例背景在工程应用中经常会遇到一些复杂的非线性系统,这些系统状态方程复杂,难以用数学方法准确建模.在这种情况下,可以建立BP神经网络表达这些非线性系统.该方法把未知系统看成是一个黑箱,首先用 ...
《MATLAB 神经网络43个案例分析》：第25章基于MIV的神经网络变量筛选----基于BP神经网络的变量筛选
<MATLAB 神经网络43个案例分析>:第25章基于MIV的神经网络变量筛选----基于BP神经网络的变量筛选 1. 前言 2. MATLAB 仿真示例 3. 小结 1. 前言 < ...
神经网络笔记1-三层BP神经网络
神经网络笔记1-三层BP神经网络神经网络性质简介信息正向传输预期神经网络的获得误差反向更新(输出层→隐藏层) 误差反向更新(隐藏层→输入层) 伪代码实现训练函数测试函数,用训练好的神经网络 ...
bp神经网络预测未来数据,bp神经网络数据预处理
如何建立bp神经网络预测模型建立BP神经网络预测模型,可按下列步骤进行:1.提供原始数据2.训练数据预测数据提取及归一化3.BP网络训练4.BP网络预测5.结果分析现用一个实际的例子,来预测20 ...
bp神经网络的训练过程,BP神经网络图像识别
MATLAB中BP神经网络的训练算法具体是怎么样的 BP算法的基本思想是,学习过程由信号的正向传播与误差的反向传播两个过程组成.正向传播时,输入样本从输入层传入,经各隐层逐层处理后,传向输出层. 若输 ...

【零散知识】径向基函数，径向基神经网络和其与BP神经网络的区别

【零散知识】径向基函数，径向基神经网络和其与BP神经网络的区别相关推荐

最新文章

热门文章