神经网络与机器学习 笔记—核方法和径向基函数网络（下）
径向基函数（RBF）网络结构，基于产值理论
- 输入层，由m0个源节点组成，其中m0是输入向量x的维数。
- 隐藏层，由和训练样本的大小N相同个数的计算单元组成，每个单元都从数学上用一个径向基函数描述：
第j个输入数据点xj定义了该径向基函数中心，向量x是作用于输入层的信号（模式）。因此，与多层感知器不同，源节点和隐藏单元的链接是直接链接，没有权值。
- 输出层，上图输出层由单一计算单元构成。除了一般情况下输出层的大小比隐藏层的大小要小得多之外，对于输出层的大小没有限制。
之后，重点考虑高斯函数作为径向基函数的使用，在这样的情况下，隐藏层的每个计算单元可以定义为：
其中ρj是第j个以xj为中心的高斯函数的宽的测量。一般情况下，高斯隐藏单元被分配给一个公用的宽ρ。在这一类情形下，将隐藏单元区分开的参数是中心x,。在建立RBF网络时选择高斯函数作为径向基函数背后的基本原理是它具有多个所希望的性质，随着学习的进行这些性质将变得很明显。
模式识别或者非线性回归的背景下训练样本{xi,di}^N i=1 通常是含噪声的。遗憾的是，基于噪声数据使用插值将导致引入歧途的结果-一次需要RBF网络的不同设计途径。
需要注意的另一个实际问题是：使隐藏层具有和输入样本数相同的大小可能导致计算资源的浪费，尤其是处理大规模训练样本时。当RBF网络的隐藏层是由上式描述的方式所指定时，发现在训练样本中数据点之间存在的相关性相应地一直到了隐藏层的单元上。由于训练样本中可能存在的固有冗余，隐藏神经元也具有冗余。在这种情况下，使得隐藏层的大小事训练样本大小的一部分因而是一个好的设计实践（也就是把隐藏层压缩减小）。
可以考虑利用K均值聚类（ https://blog.csdn.net/u013761036/article/details/96136282 ）的方式把隐藏层N压缩到K。
最后在用最小二乘估计（RLS）计算输出层之前的那些W
“K-均值，RLS”算法的一个有吸引力的特征是它的计算高效性，这是由于K-均值和RLS算法都在其各自的方式上是计算高效的这一事实。这一算法唯一可疑的特征是缺少将隐藏层的训练和输出层的训练结合起来的总的最优准则，从而在统计意义上保证整个系统的最优性。
神经网络与机器学习 笔记—核方法和径向基函数网络（下）相关推荐
- 神经网络与机器学习 笔记—核方法和径向基函数网络（上）
对于神经网络的监督学习有多种不同方法.之前一直总结整理的多层感知器反向传播算法,可以看做是递归技术的应用,这种技术在统计学中通称为随机逼近. 这次是采用不同的途径,通过包含如下两个阶段的混合方式解决非 ...
- 一文读懂基本的核方法和径向基函数
来源:Deephub Imba本文约2000字,建议阅读8分钟 核方法就是通过将数据的输入空间映射到高维特征空间,在高维特征空间中可以训练简单的线性模型,从而得到高效.低偏差.低方差的模型. 偏差-方 ...
- 神经网络与机器学习 笔记—基本知识点（下）
神经网络与机器学习 笔记-基本知识点(下) 0.1 网络结构: 神经网络中神经元的构造方式与用于训练网络的学习算法有着密切的联系,有三种基本的网络结构: 0.7 知识表示 ...
- 神经网络学习笔记（一) RBF径向基函数神经网络
神经网络学习笔记(一) RBF径向基函数神经网络 2018年08月06日 13:34:26 吃机智豆长大的少女乙 阅读数:2735 RBF径向基函数神经网络 初学神经网络,以下为综合其他博主学习材料及 ...
- 神经网络与机器学习 笔记—LMS（最小均方算法）和学习率退火
神经网络与机器学习 笔记-LMS(最小均方算法)和学习率退火 LMS算法和Rosenblatt感知器算法非常想,唯独就是去掉了神经元的压制函数,Rosenblatt用的Sgn压制函数,LMS不需要压制 ...
- 神经网络与机器学习 笔记—基本知识点（上）
神经网络与机器学习 笔记-基本知识点(上) 0.1 什么是神经网络: 神经网络是由简单处理单元构成的大规模并行分布处理器,天然具有存储经验知识和使之可用的特性.神经网络在两个方面与大脑类似. 神经网络 ...
- matlab rbe神经网络代码,第五课 径向基函数网络(RBFN) 人工神经网络理论及应用 教学课件.ppt...
第五课 径向基函数网络(RBFN) 人工神经网络理论及应用 教学课件 人工神经网络理论及应用 屈桢深 哈尔滨工业大学 准备知识:矩阵QR分解 非奇异矩阵P的正交三角分解:P=QR 证明思路:对P中各向 ...
- Matlab-RBF网络（径向基函数网络）-rbepnngrnn
一.介绍 径向基函数网络(RBF网络)在matlab中有两种: rb和rbe 二者区别可以参考 (2条消息) RBF神经网络通用函数 newrb, newrbe_LY-林雨的博客-CSDN博客 优点: ...
- pytorch 实现径向基函数网络（RBF Network）
文章目录 径向基函数网络 pytorch 实现 时间序列预测 多变量序列的多步预测结果展示 径向基函数网络 f(x)=w0+∑i=1Nwiϕ(x;ci),=[w0w1⋯wN][1ϕ(x;c1)⋮ϕ(x ...
最新文章
- [BZOJ 4800][Ceoi2015]Ice Hockey World Championship（Meet-in-the-Middle）
- 【转】JAVA 并发性和多线程 -- 读感 (二 线程间通讯，共享内存的机制)
- SQL Server 2008 复习（三）
- 飞鸽传书（http://www.freeeim.com）软件下载
- 【原创】OllyDBG 入门系列（一）－认识OllyDBG
- 课工场新闻管理jsp修改项目_jspmvc实验室预约管理系统
- oracle开机启动脚本
- Python 的低性能问题是无法忽视的
- MyBatis_Study_003(字段名与属性名称不一致,resultMap)
- [2019BUAA软工]第0次代码作业
- JS实现div随鼠标移动练习
- 轻轻松松背单词软件测试,十款背单词软件测评报告(转载)
- 详解Runtime运行时机制
- 一文掌握GSEA，超详细教程！
- 《数据结构（C语言版）》严巍敏课件～第二章：线性表
- Docker以及DockerHub的使用
- 关于Java调用dll文件的一系列问题（持续更新）
- Atlas：手淘Native容器化框架和思考
- 燃气缴费显示服务器内部错误,燃气热水器常见故障代码、原因及维修方法
- python输出字符的ascii码_如何获取一个字符的ASCII码