核函数和核矩阵【转】

核函数

为了解决线性不可分的问题，需要将样本从原始空间映射到高维空间，在高维空间实现线性可分。然后利用常见的线性分类器ex：SVM分类

然而，将输入的空间中样本映射到新的空间中，在新的空间中求内积；维数高，计算开销大。【可通过最后一张图理解】

设计采用核函数的方法：利用核函数，不需要将输入空间中的样本映射到新的空间中去，在输入空间中就可以直接计算出内积了。对输入空间向高维空间的一种隐式映射（注意，这也是低维空间到高维空间的一种映射）。不需要给出那个映射，而在输入空间中就可以计算内积，即核函数方法。【核函数可以简化映射空间中的内积运算】

核函数K，对于所有的x1,x2满足：

注：核函数和隐射没有关系，只是用来计算映射到高维空间空间之后内积计算的简便方法。故；上面提到为隐形隐射。

核函数也就是一种函数，本质上跟其他常见的函数（如幂函数）是一样的。

满足以下要求的函数才能称为核函数（定理）：

令 $\chi$ 为输入空间， $\kappa (*,*)$ 是定义在 $\chi \ast \chi$ 上的对称函数，则 $\kappa$ 是核函数当且仅当对于任意数据 $D = \{x_{1},x_{2},...,x_{m}\}$ ，核矩阵K总是半正定的：

$K = \begin{bmatrix} \kappa (x_{1},x_{1}) & . & . & . & \kappa (x_{1},x_{m}) \\ . & . & . & . & .\\ . & . & . & . & .\\ . & . & . & . & .\\ \kappa (x_{m},x_{1}) & . & . & . & \kappa (x_{m},x_{m}) \end{bmatrix}$ .

上面的定理表明，只要一个对称函数对应的核矩阵半正定，它就能作为核函数。

核函数的作用：隐含着一个从低维空间到高维空间的映射，计算样本在高维空间的内积。

假如出于某些原因，我们要将样本从原始空间映射到高维空间（如在低维空间样本线性不可分，需要映射到高维空间产生线性可分的样本）。

假设映射为 $\phi$ ， $\phi (x)$ 表示x映射后的特征向量。假设在高维空间中，正好涉及到计算内积： $\left \langle \phi (x_{i}),\phi (x_{j}) \right \rangle= \phi (x_{i})^{T}\phi (x_{j})$ 。这时，就可以引入核函数（涉及选择什么核函数）：

$\kappa (x_{i},x_{j}) = \left \langle \phi (x_{i}),\phi (x_{j}) \right \rangle= \phi (x_{i})^{T}\phi (x_{j})$ .

上式将 $x_{i},x_{j}$ 在高维空间的内积转化到在原始空间计算。

那为什么不直接在映射后的高维空间计算？原因有两点：

通常我们不知道映射 $\phi$ 的具体形式；
映射后的空间维数可能非常高，甚至无限维，直接计算开销太大，十分困难.

上面提到有5种常用的核函数，选择了不同的核函数，意味选择了不同的某种映射。因为我们不知道映射的具体形式，所以我们并不知道什么样的核函数合适。核函数的选择成为算法的“变数”。

核函数的选择有一些基本经验：

例如对文本数据通常采用线性核，情况不明时可先尝试高斯核。线性核和高斯核也是最为常用的核函数。

https://blog.csdn.net/weixin_35732969/article/details/81603520

https://blog.csdn.net/puqutogether/article/details/41309745

http://www.360doc.com/content/14/0728/15/14106735_397653989.shtml

核函数和核矩阵【转】相关推荐

OpenCV-Python图像运算变换处理：开运算和闭运算以及不同核矩阵的影响分析
☞ ░ 前往老猿Python博客 https://blog.csdn.net/LaoYuanPython ░ 一.引言在<OpenCV-Python图像处理:腐蚀和膨胀原理及erode.dil ...
核密度聚类（一）核函数、核密度估计、核密度聚类
核密度聚类当问题需要自动地确定聚类数目时,传统的KMeans等聚类方法不在适用.因此,使用"核概率密度估计"的思路自行设计了两种聚类方法.本文收录: 核是什么核密度估计基于核 ...
机器学习中的核函数与核方法（好！）
原文见:https://blog.csdn.net/qq_34099953/article/details/84316905 我们在学习机器学习的时候,总是会看到一个概念--核,然后看到一堆公式.但是 ...
【补充知识】支持向量机和核函数
1)Zhang, Kun, et al. "Domain adaptation under target and conditional shift." International ...
核函数，再生核Hilbert空间，表示定理
在许许多多的分类模型中,线性模型f(x)=w⊤xf(x)=w⊤x是最为简单高效的一种,它最后可以得到一个线性分界面,如下图左图所示,但是在数据集 S={x1,-,xm}, xi∈XS={x1,-, ...
机器学习-特征工程中的特征降维
对于一个机器学习问题,数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限.由此可见,数据和特征在模型的整个开发过程中是比较重要.特征工程,顾名思义,是对原始数据进行一系列工程处理,将其提炼为 ...
机器学习笔记（六） ---- 支持向量机（SVM）
支持向量机(SVM)可以说是一个完全由数学理论和公式进行应用的一种机器学习算法,在小批量数据分类上准确度高.性能好,在二分类问题上有广泛的应用. 同样是二分类算法,支持向量机和逻辑回归有很多相似性,都 ...
沈华伟老师图卷积神经网络教学视频笔记
图卷积神经网络感谢 0. 背景介绍基于图的应用 node-level graph-level singal-level 数据集介绍 1. Cora数据集: 2. CiteSeer 3. Pubme ...
西瓜书学习（task2）
4.1.1 组成一颗决策树包含一个根结点.若干个子结点和若干个叶结点. 根结点:包含样本全集: 子结点:对应属性划分,包含划分样本: 叶结点:对应决策结果,包含决策样本. 从根结点到每个叶结点的路径 ...

核函数和核矩阵【转】

核函数和核矩阵【转】相关推荐

最新文章

热门文章