技术04期：关于神经网络的概念及技术领域

导读

一般而言，我们可以把神经网络分为前馈网络、递归网络和反馈网络。前馈网络一般指前馈神经网络或前馈型神经网络。它是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层地输出，并输出给下一层，各层间没有反馈。包括：BP神经网络、RBF神经网络等。

递归神经网络（RNN）是两种人工神经网络的总称。一种是时间递归神经网络（recurrent neural network），又名循环神经网络，包括RNN、LSTM、GRU等；另一种是结构递归神经网络（recursive neural network）。

反馈网络(Recurrent Network)，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。包括CHNN、DHNN等。

前馈神经网络的网络结构比较简单，一般为神经网络的入门跳板。

前馈神经网络之——RBF（Radial basis function）径向基函数神经网络

对神经网络有最基础了解的人都知道，神经网络其实就是输入层、几层隐含层、输出层。不同的layer之间的神经元互相连接，连接方式通常为线性加权。

如上图。最简单的神经网络框架中，每一层神经元的连接是线性的。该层的输入为，上层所有输出的加权求和。

而RBF神经网络就是其中的一种特殊的神经网络。RBF神经网络只有三层，包括输入层、隐层和输出层。并且输入空间到隐层的变换是非线性的。如下图：

RBF网络

的基本思想是：用RBF作为隐单元的“基”构成隐含层空间，这样就可以将输入矢量直接映射到隐空间，而不需要通过权连接。当RBF的中心点确定以后，这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的，即网络的输出是隐单元输出的线性加权和，此处的权即为网络可调参数。

其中，隐含层的作用是把向量从低维度的p映射到高维度的h，这样低维度线性不可分的情况到高维度就可以变得线性可分了，主要就是核函数的思想。这样，网络由输入到输出的映射是非线性的，而网络输出对可调参数而言却又是线性的。网络的权就可由线性方程组直接解出，从而大大加快学习速度并避免局部极小问题。

很多人在入门RBF神经网络时接触上述的一段文字，会出现从入门到放弃的问题。所以我们下面为大家通俗地介绍一下，什么是RBF神经网络的运作过程。

RBF径向基函数

首先在介绍径向基函数神经网络之前，先介绍一下什么是径向基函数。

所有满足

的函数都可以叫径向基函数。也可以按到某一中心点c的距离来定义，

即

由此可见，径向基函数是一个取值仅依赖于样本点到原点（或中心点）距离的实值函数。

常见的径向基函数包括但不限于

1. 高斯函数

2. 多二次函数（multiquadric）

3. 逆二次函数（inverse quadratic）

4. 逆多二次函数（inverse multiquadric）

5. 多重调和样条（polyharmonic spline）

6. 薄板样条（thin plate spline）

常见RBF的函数逼近过程

数学上可以用许多的径向基函数的和来逼近某一个给定的函数。这一逼近的过程可看作是一个简单的神经网络。换句话说也就是使用径向基函数解决多变量插值问题。基于径向基函数的插值函数如下：

由公式可知，基于径向基函数的插值过程即由p个径向基函数与其相应的权值构成。下图先给出二维平面的n个样本点：

实际操作中，我们往往希望能构建一个函数，使得所有的样本点均落在函数上。此处，我们以径向基函数进行拟合，以一维高斯函数为例，当以原点作为高斯函数的中心点时，高斯函数的曲线如下图：

高斯函数的公式为：

即距离中心点的径越大，高斯函数的取值越小；反之，高斯函数的取值越大，其最大值为1。其高斯函数关于中心点对称。

得益于这一属性，我们构造N个高斯函数，使每一个高斯函数的中心点均与样本点重合，获得下图的红色曲线：

对上图所有的高斯曲线分别乘上一个权值，使得高斯函数的峰值逼近样本点的真实值。

下图中，蓝色曲线为真正的样本点分布曲线。我们把所有的高斯曲线进行加权叠加，边能得到逼近蓝色曲线的拟合曲线。这便对应了插值函数就是由p个径向基函数和其权值构成(p为给定的样本数)。

如果我们把这里的一维高斯函数曲线推广到二维曲面上，若干个二维高斯曲面叠加，就能实现曲面的拟合。

结合上图和下图，径向基函数神经网络中，隐层的每一个神经元对应着一个上图中的高斯函数曲线（面），而网络的输出为隐含层所有神经元的加权叠加。

总结：

RBF网络能够逼近任意的非线性函数，可以处理系统内的难以解析的规律性，具有良好的泛化能力，并有很快的学习收敛速度，已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。

作者 | 钟穗希，海南大学硕士

技术04期：关于神经网络的概念及技术领域相关推荐

技术11期：Atlas的概念你了解多少？
导读在当今大数据的应用越来越广泛的情况下,数据治理一直是企业面临的巨大问题,大部分只是单纯的对数据进行了处理,而数据的血缘.分类等等却很难实现,市场上也急需要一个专注于数据治理的技术框架,这时Atl ...
04期：技术美女超上镜，音乐也要玩开源
开源资讯综合 <一周开源弹>04期:技术美女超上镜,音乐也要玩开源 2014-04-25 19:23 CSDN CODE 作者 CSDN CODE 38 15325 开源开源社区 ...
读书笔记《数据挖掘概念与技术》第2章数据预处理 2.4 数据集成和变换
<数据挖掘:概念与技术(原书第2版)> 2.4 数据集成和变换数据挖掘经常需要数据集成-合并来自多个数据存储的数据.数据还可能需要转换成适于挖掘的形式.本节介绍数据集成和数据变换. 2. ...
人工神经网络的硬件实现,人工神经网络基本概念
人工神经网络的论文神经网络的是我的毕业论文的一部分4．人工神经网络人的思维有逻辑性和直观性两种不同的基本方式. 逻辑性的思维是指根据逻辑规则进行推理的过程:它先将信息化成概念,并用符号表示,然后,根 ...
卷积神经网络基本概念
卷积神经网络基本概念最近有一个词特别火啊,那就是"内卷",我一开始看到还以为是说头发弄卷了呢,但是好像不太对,那么什么是内卷呢?通俗的讲就是内部竞争,内卷是从内卷化而来,内卷化最 ...
人工神经网络技术及应用,人工神经网络最新应用
1.什么是人工智能最大的平台? 一.百度--自动驾驶百度在AI领域早已深耕已久.今年4月,百度公布了"Apollo(阿波罗)计划",向全产业链开放百度在自动驾驶方面的技术能力,打 ...
人工神经网络与神经网络,人工神经网络基本概念
什么是人工神经网络? 谷歌人工智能写作项目:神经网络伪原创人工神经网络,人工神经网络是什么意思一. 人工神经网络的概念人工神经网络(Artificial Neural Network,ANN)简称 ...
神经网络技术是啥意思,神经网络是啥意思
神经网络是什么? 生物神经网络主要是指人脑的神经网络,它是人工神经网络的技术原型. 人脑是人类思维的物质基础,思维的功能定位在大脑皮层,后者含有大约10^11个神经元,每个神经元又通过神经突触与大约1 ...
java md5加密解密_技术09期：数据安全之加密与实现
前言:大数据时代,每个人的生活中都不存在所谓的绝对"秘密",通过网络上的数据信息可以分析出一个人生活的各种痕迹.因此,保障大数据信息安全至关重要. 本文主要介绍了散列算法.对称加密 ...

技术04期：关于神经网络的概念及技术领域

前馈神经网络之——RBF（Radial basis function）径向基函数神经网络

技术04期：关于神经网络的概念及技术领域相关推荐

最新文章

热门文章