本系列为我硕士课程《机器学习数学原理》的课堂笔记总结，在本学期学习的过程中，网络中各前辈的博客以及文章对我的学习产生了许多积极的帮助，所以我也希望在结课之际，一来自己编辑博文总结笔记，二来为后续学习相关知识的同学提供一些参考，也算是一件有诸多意义的事情。

上一篇文章已经介绍了线性空间的定义，本文将在其基础上介绍赋范线性空间以及内积空间的定义，上图为三个空间的相互包含关系。

赋范空间

范数：

范数指的是一种映射关系，是将空间中的元素映射为一个实数域的一种映射关系

$\left \| \cdot \right \|:S\rightarrow \mathbb{R}$

并且该映射满足如下性质：

1. $\left \| x \right \|\geq 0$ ，并且 $\left \| x \right \|=0\Leftrightarrow x=0$ （非负性）

范数的性质让一个空间具备了长度与距离的概念

我们将定义了范数的线性空间（即定义了长度与距离的线性空间）称之为赋范线性空间。

内积空间

内积：

为了简化我们只以实数域上的定义来讲

在空间S上的内积是一种映射： $S\times S\rightarrow \mathbb{R}$

并且遵循如下性质：

1. <x,y>=<y,x> 对称性

2. 对于任意的标量a，b，<ax+by,z>=a<x,z>+b<y,z> 线性

3. $\left \langle x,x \right \rangle\geq 0$ 当且仅当x为0时等号成立

内积空间则是被定义了内积运算的空间，而因为内积运算同样满足范数的定义，因此内积空间一定是赋范空间。

内积的性质让空间具备了角度的概念，当内积为0时，两个空间中的元素正交

希尔伯特空间

在说明希尔伯特空间之前我们一定要谈一谈完备性的概念

完备空间

这是我在这门课的学习过程中所遇到的第一个卡壳的地方，因为直接通过定义理解空间的完备性对我来说是一件困难的事情，因此整理时，我们不妨从源头入手，谈谈我们为什么要引入空间的完备性。

我们发现了一件事情，至少在我学习的时候，我把上述所提及的空间全部与欧拉空间作类比，赋范赋予了空间欧拉空间中距离的概念，内积则赋予了欧拉空间中垂直的概念，这种直观的转化是非常有用的。但是现在出现了一个问题，当空间的维数无限时，是否还同样可以等价的类比。

因此我们需要对空间加上一个性质：完备。

粗略但是直观的说，完备是指空间中没有任何遗漏的点。而想要理解没有遗漏的点这个概念，我们需要用到距离，一个空间需要定义距离，完备才变得有意义。从实数空间入手，我们说实数空间R是完备的，在实数空间中，距离的定义是两元素差的绝对值，可以想想看，任何一个点在与它距离趋近为0的地方都存在一个点并且这个点是在实数空间中的，因此我们说实数空间是完备的。以上是我们直觉上的判断，但是相信读到这里如何理解完备已经比较清晰了（至少我是这样理解的）。接下来我们需要用数学的语言来描述如何证明一个空间是完备的。

柯西序列

柯西序列是我们定义空间完备性的重要工具，柯西序列的定义如下：

对于一个序列 $x_1,x_2,...x_n$ ，存在正整数N使得： $m,n\geq N\quad \left \| x_m-x_n \right \|<r$ ，则我们说该序列为一个柯西序列。

完备空间的定义

当空间中所有的柯西序列均收敛时，该空间是完备的。

可以这样理解，所有的柯西序列都收敛了，意味着整个空间都是无孔的，这也就意味着空间是没有遗漏任何其他元素的，因此空间是完备的。

希尔伯特空间的定义

终于终于到了希尔伯特空间，有了上述铺垫，定义其实只有一句话：

完备的内积空间被称为希尔伯特空间

机器学习的数学基础（2）：赋范空间、内积空间、完备空间与希尔伯特空间相关推荐

向量空间内积空间线性空间欧氏空间希尔伯特空间
向量空间向量空间一个最大的特征是对加法运算和数乘运算封闭.n维向量空间的定义是n维实向量全体构成的集合,同事考虑到向量的线性运算,成为实n维向量空间,用RnR^n表示,显然RnR^n中任意两个向量的 ...
线性空间，度量空间，赋范空间，线性赋范空间，内积空间，巴拿赫空间以及希尔伯特空间、拓扑空间
1. 距离.向量空间.度量空间.线性度量空间距离包括各个点之间的距离,向量之间的距离,曲线之间的距离,函数之间的距离等. 距离用于衡量同一空间不同元素之间的差异,下面是关于距离的属性: 1)元素之 ...
距离空间,线性空间,赋范线性空间,Banach空间,内积空间,Hilbert空间的内在关系
转自一个百度百科的回答,觉得很概括,学习一下. 原帖地址:http://zhidao.baidu.com/question/510246021.html 4.1 联系如果在实数域或复数域上距离空间是 ...
泛函分析 03.01 内积空间与Hilbert空间-内积空间的基本性质
第三章内积空间与Hilbert空间 \color{blue}{第三章内积空间与 Hilbert 空间} 在线性空间上定义了范数之后,成为赋范空间. 在线性空间上定义了范数之后, 成为赋范空间. 赋范 ...
从线性空间到再生核希尔伯特空间（RKHS）
在学习机器学习的同学如果对SVM中的核函数进行深究,一定会见到再生核希尔伯特空间(RKHS)这个概念,其他理工科的同学往往也会在书中遇到希尔伯特空间这样的字眼,还有什么巴拿赫空间.赋范线性空间等等.但 ...
核希尔伯特空间（RKHS）
这里写自定义目录标题引自 https://blog.csdn.net/ChangHengyi/article/details/80577318 什么是数学中的空间我们知道数学的特点就是抽象,数学家 ...
MachineLearning(4)-核函数与再生核希尔伯特空间
核函数与再生核希尔伯特空间 1.支持向量积-核函数 2.一个函数为核函数的条件 3.核函数与希尔伯特空间 3.1希尔伯特空间-Hilbert空间 1.支持向量积-核函数核(kernel)的概念由Ai ...
再生核希尔伯特空间（RKHS）
今天看一篇论文,看到了一个名词,RKHS(Reproducing Kernel Hilbert space)即再生核希尔伯特空间,不太明所以,所以百度查一查,这里简单记录一下. 线性空间通俗来讲,线 ...
希尔伯特空间、拓扑空间概念理解
1.引言什么是赋范线性空间.内积空间,度量空间,希尔伯特空间 ? 现代数学的一个特点就是以集合为研究对象,这样的好处就是可以将很多不同问题的本质抽象出来,变成同一个问题. 函数空间/ 集合,最重要的 ...

机器学习的数学基础（2）：赋范空间、内积空间、完备空间与希尔伯特空间