机器学习随笔三—再生核Hilbert空间

我们做的非线性映射，它将原始特征空间中的数据点映射到另一个高维空间中，之前我们没有提过，其实这个高维空间在这里有一个华丽的名字——“再生核希尔伯特空间 (Reproducing Kernel Hilbert Space, RKHS)”。“再生核”就是指的我们用于计算内积的核函数，再说“再生”之前，我们先来简单地介绍一下 Hilbert Space ，它其实是欧氏空间的一个推广。首先从基本的向量空间开始，空间中的点具有加法和数乘的操作，在这个向量空间上定义一个内积操作，于是空间将升级为内积空间。根据内积可以定义一个范数：

从而成为一个赋范向量空间。范数可以用于定义一个度量从而成为一个度量空间。如果这样的空间在这个度量下是完备的，那么这个空间叫做 Hilbert Space 。简单地来说，Hilbert Space 就是完备的内积空间。最简单的例子就是欧氏空间，这是一个Hilbert Space 。

我们这里的 RKHS 就是一个函数空间。实际上，在这里我们有一个很有用的性质，就是维度相同的 Hilbert Space 是互相同构的——也就是说空间的各种结构（包括内积、范数、度量和向量运算等）都可以在不同的空间之间转换的时候得到保持。有了这样的性质，就可以让我们不用去关心 RKHS 中的点到底是什么。

更明确的解释(知乎TimXP的解释)：

希尔伯特空间名字听上去似乎很难理解，但是真正弄明白其与线性空间之间的关系就会发现并没有那么难。我们一般接触的是线性空间（向量空间），首先看线性空间和各种空间之间的关系：

1.线性空间（向量空间）
线性空间又称作向量空间，关注的是向量的位置，对于一个线性空间，知道基（相当于三维空间中的坐标系）便可确定空间中元素的坐标（即位置）；线性空间只定义了加法和数乘运算。

如果我们想知道向量的长度怎么办？—-定义范数，引入赋范线性空间

2.赋范线性空间

定义了范数的线性空间！！

如果我们想知道向量的夹角怎么办？—-定义内积，引入内积空间

3.内积空间

定义了内积的线性空间！！

4.欧式空间

定义了内积的有限维实线性空间！！

如果我们想研究收敛性（极限）怎么办？—-定义完备

5.Banach空间

完备的赋范线性空间！！！

6.Hilbert空间

完备的内积空间！！！（极限运算中不能跑出度量的范围）

他们之间的关系可以用下图表示：

举个简单的类比例子：我们知道水果是个很大的类别，在水果的基础上加一个限定，如红色的水果，那么想到的可能有苹果、樱桃等，如果在苹果、樱桃两类水果上再加一个限定，例如果实较大，那么想到的便是苹果。这里水果可以看成线性空间，红色的水果可以看成赋范线性空间，果实较大的红色水果可以看出内积空间。 Hilbert空间便是在线性空间的基础上加入了几个约束或者限定条件！

机器学习随笔三—再生核Hilbert空间相关推荐

核函数，再生核Hilbert空间，表示定理
在许许多多的分类模型中,线性模型f(x)=w⊤xf(x)=w⊤x是最为简单高效的一种,它最后可以得到一个线性分界面,如下图左图所示,但是在数据集 S={x1,-,xm}, xi∈XS={x1,-, ...
再生核Hilbert空间
支持向量机:Kernel II by pluskid, on 2011-01-25, in Machine Learning 28 comments 本文是"支持向量机系列&quo ...
再生核希尔伯特空间（Reproducing Kernel Hilbert Space）
再生核希尔伯特空间(Reproducing Kernel Hilbert Space) 一.Basic Definitions 1.The Basic Idea 2.The Reproducing K ...
MachineLearning(4)-核函数与再生核希尔伯特空间
核函数与再生核希尔伯特空间 1.支持向量积-核函数 2.一个函数为核函数的条件 3.核函数与希尔伯特空间 3.1希尔伯特空间-Hilbert空间 1.支持向量积-核函数核(kernel)的概念由Ai ...
再生核希尔伯特空间（RKHS）
今天看一篇论文,看到了一个名词,RKHS(Reproducing Kernel Hilbert space)即再生核希尔伯特空间,不太明所以,所以百度查一查,这里简单记录一下. 线性空间通俗来讲,线 ...
从线性空间到再生核希尔伯特空间（RKHS）
在学习机器学习的同学如果对SVM中的核函数进行深究,一定会见到再生核希尔伯特空间(RKHS)这个概念,其他理工科的同学往往也会在书中遇到希尔伯特空间这样的字眼,还有什么巴拿赫空间.赋范线性空间等等.但 ...
ML 03、机器学习的三要素
FROM: http://www.cnblogs.com/ronny/p/4062792.html 机器学习算法原理.实现与实践--机器学习的三要素 1 模型在监督学习中,模型就是所要学习的条件概率 ...
【斯坦福大学公开课CS224W——图机器学习】三、节点和图嵌入
[斯坦福大学公开课CS224W--图机器学习]三.节点和图嵌入文章目录 [斯坦福大学公开课CS224W--图机器学习]三.节点和图嵌入 1. 节点嵌入 1.1 编码器与解码器 1.2 节点嵌入的游走 ...
机器学习中的概念---输入空间、标记空间、样本空间、假设空间、版本空间
一:输入空间/特征空间/属性空间这三个概念都是指的X,都是指的输入量二:标记空间/输出空间指的是Y,指的是输出量.(有时候,X-Y的所有映射也被当作Y,概念上有点混乱) 一:样本空间样本空间的 ...

机器学习随笔三—再生核Hilbert空间

机器学习随笔三—再生核Hilbert空间相关推荐

最新文章

热门文章