Kernel Method: 6.再生核希尔伯特空间理论
6. Reproducing kernel Hilbert Space
一个m×mm\times mm×m维的实对称矩阵KKK如果：
aTKa≥0\boldsymbol{a}^TK\boldsymbol a\ge0 aTKa≥0
对任意的a∈Rm\boldsymbol{a}\in\mathbb{R}^ma∈Rm均成立，则KKK称为半正定矩阵。
- 一个实对称矩阵可以对角化。
- 一个实对称矩阵式半正定当且仅当它的所有特征值非负。
如果一个函数κ:Rd×Rd→R\kappa:\mathbb{R}^d\times\mathbb{R}^d\to\mathbb{R}κ:Rd×Rd→R且
K=[κ(x1,x1)⋯κ(x1,xm)⋮⋱⋮κ(xm,x1)⋯κ(xm,xm)]K=\begin{bmatrix} \kappa(\boldsymbol x_1, \boldsymbol x_1) & \cdots & \kappa(\boldsymbol x_1, \boldsymbol x_m)\\ \vdots & \ddots & \vdots\\ \kappa(\boldsymbol x_m, \boldsymbol x_1) & \cdots & \kappa(\boldsymbol x_m, \boldsymbol x_m) \end{bmatrix} K=⎣⎢⎡κ(x1,x1)⋮κ(xm,x1)⋯⋱⋯κ(x1,xm)⋮κ(xm,xm)⎦⎥⎤
对于任意{x1,⋯,xm}⊂Rd\{\boldsymbol x_1, \cdots, \boldsymbol x_m\}\subset\mathbb{R}^d{x1,⋯,xm}⊂Rd均是半正定矩阵，则κ\kappaκ称为正半定核函数。
此时核函数满足Cauchy-Schwarz不等式：
∣κ(x,z∣2≤κ(x,x)κ(z,z)|\kappa(\boldsymbol x, \boldsymbol z|^2\le \kappa(\boldsymbol x, \boldsymbol x)\kappa(\boldsymbol z, \boldsymbol z) ∣κ(x,z∣2≤κ(x,x)κ(z,z)
证：κ\kappaκ为半正定核函数，则其对应的Gram矩阵的行列式非负，即
det(K)=∣κ(x,x)κ(x,z)κ(z,x)κ(z,z)∣=κ(x,x)κ(z,z)−κ(x,z)κ(z,x)≥0κ(x,z)2≤κ(x,x)κ(z,z)⇒∣κ(x,z)∣2≤κ(x,x)κ(z,z)\det(K)= \left|\begin{matrix} \kappa(\boldsymbol x, \boldsymbol x) & \kappa(\boldsymbol x, \boldsymbol z)\\ \kappa(\boldsymbol z,\boldsymbol x) & \kappa(\boldsymbol z, \boldsymbol z) \end{matrix}\right| =\kappa(\boldsymbol x, \boldsymbol x)\kappa(\boldsymbol z,\boldsymbol z)-\kappa(\boldsymbol x, \boldsymbol z)\kappa(\boldsymbol z, \boldsymbol x)\ge0\\ \kappa(\boldsymbol x, \boldsymbol z)^2\le\kappa(\boldsymbol x, \boldsymbol x)\kappa(\boldsymbol z, \boldsymbol z)\Rightarrow |\kappa(\boldsymbol x, \boldsymbol z)|^2\le\kappa(\boldsymbol x, \boldsymbol x)\kappa(\boldsymbol z, \boldsymbol z) det(K)=∣∣∣∣κ(x,x)κ(z,x)κ(x,z)κ(z,z)∣∣∣∣=κ(x,x)κ(z,z)−κ(x,z)κ(z,x)≥0κ(x,z)2≤κ(x,x)κ(z,z)⇒∣κ(x,z)∣2≤κ(x,x)κ(z,z)
再生核映射:Φ:Rd→RRd,Φ(z)=ϕz=κ(⋅,z)\Phi:\mathbb{R}^d \to \mathbb{R}^{\mathbb{R}^d},\Phi(\boldsymbol z)=\phi_{\boldsymbol z}=\kappa(\cdot,\boldsymbol z)Φ:Rd→RRd,Φ(z)=ϕz=κ(⋅,z)。意味着，
Φ(z)(x)=ϕz(x)=κ(x,z)\Phi(\boldsymbol z)(\boldsymbol x)=\phi_{\boldsymbol z}(\boldsymbol x)=\kappa(\boldsymbol x, \boldsymbol z) Φ(z)(x)=ϕz(x)=κ(x,z)
Φ\PhiΦ是一个由向量到函数的映射，相当于将z\boldsymbol zz当作自变量获得ϕz：z↦κ(⋅,x)\phi_{\boldsymbol z}：\boldsymbol z \mapsto\kappa(\cdot,\boldsymbol x)ϕz：z↦κ(⋅,x)。
假设κ:Rd×Rd→R\kappa:\mathbb{R}^d\times \mathbb{R}^d\to\mathbb{R}κ:Rd×Rd→R是一个核函数，且Φ\PhiΦ是对应的再生核映射，则
Fκ={f=∑i=1mαiΦ(xi)∣m∈N,x1,⋯,xm∈Rd,α1,⋯,αm∈R}\mathcal{F}_\kappa=\{f=\sum_{i=1}^m\alpha_i\Phi(\boldsymbol x_i)|m\in\mathcal{N},\boldsymbol x_1,\cdots,\boldsymbol x_m\in\mathbb{R}^d,\alpha_1,\cdots,\alpha_m\in\mathbb{R}\} Fκ={f=i=1∑mαiΦ(xi)∣m∈N,x1,⋯,xm∈Rd,α1,⋯,αm∈R}
是线性空间。
由该线性空间定义内积空间：给定f=∑i=1mαiΦ(xi)=∑i=1mαiκ(⋅,xi)f=\sum_{i=1}^m\alpha_i\Phi(\boldsymbol x_i)=\sum_{i=1}^m\alpha_i\kappa(\cdot,\boldsymbol x_i)f=∑i=1mαiΦ(xi)=∑i=1mαiκ(⋅,xi)与g=∑j=1m′βjΦ(xj′)=∑j=1m′βjκ(⋅,xj′)g=\sum_{j=1}^{m'}\beta_j\Phi(\boldsymbol x_j')=\sum_{j=1}^{m'}\beta_j\kappa(\cdot,\boldsymbol x_j')g=∑j=1m′βjΦ(xj′)=∑j=1m′βjκ(⋅,xj′)。fff与ggg的内积为
<f,g>=∑i=1m∑j=1m′αiβjκ(xi,xj′)<f,g>=\sum_{i=1}^m\sum_{j=1}^{m'}\alpha_i\beta_j\kappa(\boldsymbol x_i,\boldsymbol x_j') <f,g>=i=1∑mj=1∑m′αiβjκ(xi,xj′)
性质：
<f,g>=∑i=1m∑j=1m′αiβjκ(xi,xj′)=∑i=1mαi∑j=1m′βjκ(xi,xj′)=∑i=1mαig(xi)where,g=∑j=1m′βjκ(⋅,xj′)<f,g>=\sum_{i=1}^m\sum_{j=1}^{m'}\alpha_i\beta_j\kappa(\boldsymbol x_i, \boldsymbol x_j')=\sum_{i=1}^m\alpha_i\sum_{j=1}^{m'}\beta_j\kappa(\boldsymbol x_i, \boldsymbol x_j')=\sum_{i=1}^m\alpha_ig(\boldsymbol x_i)\\ where,\ g=\sum_{j=1}^{m'}\beta_j\kappa(\cdot,\boldsymbol x_j') <f,g>=i=1∑mj=1∑m′αiβjκ(xi,xj′)=i=1∑mαij=1∑m′βjκ(xi,xj′)=i=1∑mαig(xi)where, g=j=1∑m′βjκ(⋅,xj′)
<f,g>=∑i=1m∑j=1m′αiβjκ(xi,xj′)=∑j=1m′βj∑i=1mαiκ(xj′,xi)=∑j=1m′βjf(xj′)where,f=∑i=1mαiκ(⋅,xi)<f,g>=\sum_{i=1}^m\sum_{j=1}^{m'}\alpha_i\beta_j\kappa(\boldsymbol x_i, \boldsymbol x_j')=\sum_{j=1}^{m'}\beta_j\sum_{i=1}^{m}\alpha_i\kappa(\boldsymbol x_j', \boldsymbol x_i)=\sum_{j=1}^{m'}\beta_jf(\boldsymbol x_j')\\ where,\ f=\sum_{i=1}^{m}\alpha_i\kappa(\cdot,\boldsymbol x_i) <f,g>=i=1∑mj=1∑m′αiβjκ(xi,xj′)=j=1∑m′βji=1∑mαiκ(xj′,xi)=j=1∑m′βjf(xj′)where, f=i=1∑mαiκ(⋅,xi)
由以上两点性质可知：
<κ(⋅,x),f>=f(x)=∑i=1mαiκ(xi,x)<κ(⋅,x),κ(⋅,z)>=κ(x,z)=κ(z,x)<\kappa(\cdot, \boldsymbol x),f>=f(\boldsymbol x)=\sum_{i=1}^m\alpha_i\kappa(\boldsymbol x_i, \boldsymbol x)\\ <\kappa(\cdot,\boldsymbol x), \kappa(\cdot, \boldsymbol z)>=\kappa(\boldsymbol x, \boldsymbol z)=\kappa(\boldsymbol z, \boldsymbol x) <κ(⋅,x),f>=f(x)=i=1∑mαiκ(xi,x)<κ(⋅,x),κ(⋅,z)>=κ(x,z)=κ(z,x)
下面证明假设满足内积空间的定义：对称性，线性性及正定性，
对称性
<f,g>=∑i=1m∑j=1m′αiβjκ(xi,xj′)=∑j=1m′∑i=1mβjαiκ(xj′,xi)=<g,f><f,g>=\sum_{i=1}^m\sum_{j=1}^{m'}\alpha_i\beta_j\kappa(\boldsymbol x_i, \boldsymbol x_j')=\sum_{j=1}^{m'}\sum_{i=1}^m\beta_j\alpha_i\kappa(\boldsymbol x_j',\boldsymbol x_i)=<g, f> <f,g>=i=1∑mj=1∑m′αiβjκ(xi,xj′)=j=1∑m′i=1∑mβjαiκ(xj′,xi)=<g,f>线性性
<af,g>=∑j=1m′βj(af)(xj′)=a∑j=1m′βjf(xj′)=a<f,g><af,g>=\sum_{j=1}^{m'}\beta_j(af)(\boldsymbol x_j')=a\sum_{j=1}^{m'}\beta_jf(\boldsymbol x_j')=a<f,g> <af,g>=j=1∑m′βj(af)(xj′)=aj=1∑m′βjf(xj′)=a<f,g><f+h,g>=∑j=1m′βj(f+h)(xj′)=∑j=1m′βj(f(xj′)+h(xj′))=∑j=1m′βjf(xj′)+∑j=1m′βjh(xj′)=<f,g>+<h,g><f+h, g>=\sum_{j=1}^{m'}\beta_j(f+h)(\boldsymbol x_j')=\sum_{j=1}^{m'}\beta_j(f(\boldsymbol x_j')+h(\boldsymbol x_j'))=\sum_{j=1}^{m'}\beta_jf(\boldsymbol x_j')+\sum_{j=1}^{m'}\beta_jh(\boldsymbol x_j')=<f,g>+<h,g> <f+h,g>=j=1∑m′βj(f+h)(xj′)=j=1∑m′βj(f(xj′)+h(xj′))=j=1∑m′βjf(xj′)+j=1∑m′βjh(xj′)=<f,g>+<h,g>
正定性
<f,f>=∑i=1m∑j=1mαiαjκ(xi,xj)=[α1⋯αm][κ(x1,x1)⋯κ(x1,xm)⋮⋱⋮κ(xm,x1)⋯κ(xm,xm)][α1⋮αm]=αTKα≥0<f,f>=\sum_{i=1}^m\sum_{j=1}^m\alpha_i\alpha_j\kappa(\boldsymbol x_i, \boldsymbol x_j)= \begin{bmatrix} \alpha_1 & \cdots & \alpha_m \end{bmatrix} \begin{bmatrix} \kappa(\boldsymbol x_1, \boldsymbol x_1) & \cdots & \kappa(\boldsymbol x_1, \boldsymbol x_m)\\ \vdots & \ddots & \vdots\\ \kappa(\boldsymbol x_m, \boldsymbol x_1) & \cdots & \kappa(\boldsymbol x_m, \boldsymbol x_m) \end{bmatrix} \begin{bmatrix} \alpha_1 \\ \vdots \\ \alpha_m \end{bmatrix}=\alpha^TK\alpha \ge 0 <f,f>=i=1∑mj=1∑mαiαjκ(xi,xj)=[α1⋯αm]⎣⎢⎡κ(x1,x1)⋮κ(xm,x1)⋯⋱⋯κ(x1,xm)⋮κ(xm,xm)⎦⎥⎤⎣⎢⎡α1⋮αm⎦⎥⎤=αTKα≥0∣f(x)∣2=∣<κ(⋅,x),f>∣2≤<κ(⋅,x),κ(⋅,x)><f,f>=κ(x,x)<f,f>=0|f(\boldsymbol x)|^2=|<\kappa(\cdot,\boldsymbol x),f>|^2\le<\kappa(\cdot,\boldsymbol x),\kappa(\cdot, \boldsymbol x)><f, f>=\kappa(\boldsymbol x,\boldsymbol x)<f,f>=0 ∣f(x)∣2=∣<κ(⋅,x),f>∣2≤<κ(⋅,x),κ(⋅,x)><f,f>=κ(x,x)<f,f>=0
当且仅当f(x)=0,∀xf(\boldsymbol x)=0,\forall \boldsymbol{x}f(x)=0,∀x时，<f,f>=0⇒∣f(x)∣=0<f,f>=0\Rightarrow |f(\boldsymbol x)|=0<f,f>=0⇒∣f(x)∣=0
综上，
κ(x,z)=<κ(⋅,x),κ(⋅,z)>=<Φ(x),Φ(z)>\kappa(\boldsymbol x, \boldsymbol z)=<\kappa(\cdot, \boldsymbol x), \kappa(\cdot, \boldsymbol z)>=<\Phi(\boldsymbol x), \Phi(\boldsymbol z)> κ(x,z)=<κ(⋅,x),κ(⋅,z)>=<Φ(x),Φ(z)>
意味着对于核函数κ(x,z)\kappa(\boldsymbol x, \boldsymbol z)κ(x,z)我们可以在找到特征映射函数Φ\PhiΦ将Rd→H\mathbb{R}^d\to\mathcal{H}Rd→H
测度空间：对于测度空间内的一个顺序对(M,d)(M,d)(M,d)，其中MMM是一个非空集合，ddd是MMM上的测度M×M→RM\times M\to \mathbb{R}M×M→R，对于MMM内的任意三个元素：x,y,z\boldsymbol x,\boldsymbol y,\boldsymbol zx,y,z，满足：
- d(x,y)≥0d(\boldsymbol x, \boldsymbol y)\ge0d(x,y)≥0
- d(x,y)=0⇔x=yd(\boldsymbol x,\boldsymbol y)=0\Leftrightarrow \boldsymbol x=\boldsymbol yd(x,y)=0⇔x=y
- d(x,y)=d(y,x)d(\boldsymbol x,\boldsymbol y)=d(\boldsymbol y, \boldsymbol x)d(x,y)=d(y,x)
- d(x,z)≥d(x,y)+d(y,z)d(\boldsymbol x,\boldsymbol z)\ge d(\boldsymbol x, \boldsymbol y)+d(\boldsymbol y, \boldsymbol z)d(x,z)≥d(x,y)+d(y,z)
柯西序列：对于测度空间(M,d)(M,d)(M,d)和数列x1,x2,⋯\boldsymbol x_1,\boldsymbol x_2,\cdotsx1,x2,⋯，对任意正实数ϵ>0\epsilon>0ϵ>0，存在正整数NNN，对于所有的自然数m,n>Nm,n>Nm,n>N，测度满足
d(xm,xn)≤ϵd(\boldsymbol x_m,\boldsymbol x_n)\le\epsilon d(xm,xn)≤ϵ
即数列在MMM上收敛。
一个测度空间(M,d)(M,d)(M,d)是完备的当且仅当MMM上所有的柯西序列收敛。
希尔伯特空间HHH是一个实内积空间，且是一个完备的测度空间，其距离以内积定义，如
d(x,y)=∥x−y∥d(\boldsymbol x,\boldsymbol y)=\|\boldsymbol x-\boldsymbol y\| d(x,y)=∥x−y∥
其中，∥x∥=<x,x>\|\boldsymbol x\|=\sqrt{<\boldsymbol x,\boldsymbol x>}∥x∥=<x,x>。
Kernel Method: 6.再生核希尔伯特空间理论相关推荐
- 再生核希尔伯特空间（Reproducing Kernel Hilbert Space）
再生核希尔伯特空间(Reproducing Kernel Hilbert Space) 一.Basic Definitions 1.The Basic Idea 2.The Reproducing K ...
- MachineLearning(4)-核函数与再生核希尔伯特空间
核函数与再生核希尔伯特空间 1.支持向量积-核函数 2.一个函数为核函数的条件 3.核函数与希尔伯特空间 3.1希尔伯特空间-Hilbert空间 1.支持向量积-核函数 核(kernel)的概念由Ai ...
- 再生希尔伯特空间_向量、函数向量、再生核希尔伯特空间、核技巧
参考引用:A Story of Basis and Kernel 来源:http://songcy.net/ 向量与内积 在一个 空间中,我们可以通过 个独立向量的线性组合来表示这个空间里的任意向量. ...
- 再生核希尔伯特空间（RKHS）
今天看一篇论文,看到了一个名词,RKHS(Reproducing Kernel Hilbert space)即再生核希尔伯特空间,不太明所以,所以百度查一查,这里简单记录一下. 线性空间 通俗来讲,线 ...
- 从线性空间到再生核希尔伯特空间（RKHS）
在学习机器学习的同学如果对SVM中的核函数进行深究,一定会见到再生核希尔伯特空间(RKHS)这个概念,其他理工科的同学往往也会在书中遇到希尔伯特空间这样的字眼,还有什么巴拿赫空间.赋范线性空间等等.但 ...
- 函数空间一览：从线性空间到再生核希尔伯特空间
文章目录 0. 基础概念 0.1 代数系统 0.2 数域 0.3 完备的空间 1. 线性空间/向量空间 2. 度量空间 3. 赋范向量空间 4. 内积空间 5. 巴拿赫空间 6. 希尔伯特空间 7. ...
- Kernel Method核方法—基本概念
这里只是简单叙述了核方法中运用到的几个概念和相互的关系,包括什么是核函数Kernel function.正定函数Positive definite function.再生核希尔伯特空间Reproduc ...
- 核希尔伯特空间（RKHS）
这里写自定义目录标题 引自 https://blog.csdn.net/ChangHengyi/article/details/80577318 什么是数学中的空间 我们知道数学的特点就是抽象,数学家 ...
- 再生核Hilbert空间
支持向量机:Kernel II by pluskid, on 2011-01-25, in Machine Learning 28 comments 本文是"支持向量机系列&quo ...
- 机器学习随笔三—再生核Hilbert空间
我们做的非线性映射 ,它将原始特征空间中的数据点映射到另一个高维空间中,之前我们没有提过,其实这个高维空间在这里有一个华丽的名字--"再生核希尔伯特空间 (Reproducing Kerne ...
最新文章
- git 下载 github 上的代码
- 阿里云物联网批量获取设备的在线离线状态
- java8 stream中的惰性求值
- 深圳电信网速测试工具
- mysql实现表单号：表单编码+时间+表单号
- Go web 编程资源
- 如果用户访问一个不存在的地址呢？
- PAT1043 输出PATest （20 分）
- 爬虫前期知识的储备（二）
- 《你不常用的c#之二》:略谈GCHandle
- 入门第十课 Python语句的编写之while
- SQL高级查询——50句查询(含答案) ---参考别人的，感觉很好就记录下来留着自己看。...
- 程序员加班制作了30张可视化大屏模板，套用数据直接用
- 笔试题--你准备好了吗
- 【50】了解new和delete的合理替换时机
- tomcat修改端口号
- meltdown linux 补丁,宋宝华: ARM64 Linux meltdown修复补丁KPTI的最重要3个patch
- css display contents
- 从五个方面入手保障应用安全
- 关于 618的前世今生，我帮东哥告诉你