kernel function

下面这张图位于第一、二象限内。我们关注红色的门，以及“北京四合院”这几个字下面的紫色的字母。我们把红色的门上的点看成是“+”数据，紫色字母上的点看成是“-”数据，它们的横、纵坐标是两个特征。显然，在这个二维空间内，“+”“-”两类数据不是线性可分的。

我们现在考虑核函数 $K(v_1,v_2) = <v_1,v_2>^2$ ，即“内积平方”。
这里面 $v_1=(x_1,y_1), v_2=(x_2,y_2)$ 是二维空间中的两个点。

这个核函数对应着一个二维空间到三维空间的映射，它的表达式是：
$P(x,y)=(x^2,\sqrt{2}xy,y^2)$
可以验证，
$<P(v_1),P(v_2)> &= &<(x_1^2,\sqrt{2}x_1y_1,y_1^2),(x_2^2,\sqrt{2}x_2y_2,y_2^2)> \\ &= &x_1^2x_2^2 + 2x_1x_2y_1y_2+y_1^2y_2^2 \\ &= &(x_1x_2 + y_1y_2)^2 \\ &= &<v_1,v_2>^2 \\ &= &K(v_1,v_2)$

在P这个映射下，原来二维空间中的图在三维空间中的像是这个样子：
（前后轴为x轴，左右轴为y轴，上下轴为z轴）
注意到绿色的平面可以完美地分割红色和紫色，也就是说，两类数据在三维空间中变成线性可分的了。
而三维中的这个判决边界，再映射回二维空间中是这样的：
这是一条双曲线，它不是线性的。

================================================

如上面的例子所说，核函数的作用就是隐含着一个从低维空间到高维空间的映射，而这个映射可以把低维空间中线性不可分的两类点变成线性可分的。

当然，我举的这个具体例子强烈地依赖于数据在原始空间中的位置。
事实中使用的核函数往往比这个例子复杂得多。它们对应的映射并不一定能够显式地表达出来；它们映射到的高维空间的维数也比我举的例子（三维）高得多，甚至是无穷维的。这样，就可以期待原来并不线性可分的两类点变成线性可分的了。

================================================

在机器学习中常用的核函数，一般有这么几类，也就是LibSVM中自带的这几类：
1) 线性： $K(v_1,v_2)=<v_1,v_2>$
2) 多项式： $K(v_1,v_2)=(\gamma<v_1,v_2>+c)^n$
3) Radial basis function： $K(v_1,v_2)=\exp(-\gamma||v_1-v_2||^2)$
4) Sigmoid： $K(v_1,v_2)=\tanh(\gamma<v_1,v_2>+c)$

我举的例子是多项式核函数中 $\gamma=1, c=0, n=2$ 的情况。

在实用中，很多使用者都是盲目地试验各种核函数，并扫描其中的参数，选择效果最好的。至于什么样的核函数适用于什么样的问题，大多数人都不懂。很不幸，我也属于这大多数人，所以如果有人对这个问题有理论性的理解，还请指教。

================================================

核函数要满足的条件称为Mercer's condition。
由于我以应用SVM为主，对它的理论并不很了解，就不阐述什么了。
使用SVM的很多人甚至都不知道这个条件，也不关心它；有些不满足该条件的函数也被拿来当核函数用。

转载于:https://www.cnblogs.com/lmsj918/p/4035415.html

kernel function相关推荐

核函数K（kernel function）
https://blog.csdn.net/zkq_1986/article/details/52448238 1 核函数K(kernel function)定义核函数K(kernel functi ...
Loss Function , Cost Function and Kernel Function in ML(To be continued)
机器学习中的损失函数.代价函数.核函数 1.Definiton Shark Machine Learning Library–分别有介绍 "objective function, cost ...
核函数(Kernel function)(举例说明，通俗易懂)
已知有一组向量,可用线性函数去探索其是否具有线性关系,若数据之间是非线性呢? 非线性数据是指只有利用非线性模型才能更好的预测.但非线性问题往往不好求解,所以希望用解线性分类问题的方法解决这个问题.所采 ...
核函数(Kernel function)
已知有一组向量,可用线性函数去探索其是否具有线性关系,若数据之间是非线性呢? 非线性数据是指只有利用非线性模型才能更好的预测.但非线性问题往往不好求解,所以希望用解线性分类问题的方法解决这个问题.所采 ...
Android笔记-Linux Kernel Ftrace (Function Trace)解析
from : http://blog.csdn.net/hlchou/article/details/6441272 [ ftrace 简介 http://www.ibm.com/developerw ...
Kernel Method的理解
kernel method是针对低维线性不可分而提出的一种解决方法,在PRML中有一章节的介绍,对其理解,也是迭代更进的过程. 简单来说,kernel method是一种低维和高维特征空间映射的方法, ...
kernel笔记——块I/O
Linux下,I/O处理的层次可分为4层: 1. 系统调用层,应用程序使用系统调用指定读写哪个文件,文件偏移是多少 2. 文件系统层,写文件时将用户态中的buffer拷贝到内核态下,并由cache缓 ...
支持向量机: Kernel
支持向量机: Kernel by pluskid, on 2010-09-11, in Machine Learning 61 comments 本文是"支持向量机系列&quo ...
matlab 数据降维和重构_核主成分分析（Kernel PCA, KPCA）的MATLAB 实现
前言核主成分分析 (KPCA) 是一种非线性数据处理方法,其核心思想是通过一个非线性映射把原始空间的数据投影到高维特征空间, 然后在高维特征空间中进行基于主成分分析 (PCA) 的数据处理.KPCA ...
台湾大学林轩田机器学习技法课程学习笔记3 -- Kernel Support Vector Machine
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了SVM的对偶形式,即dual SVM.Dual SVM也是一个二次规划问题,可以用QP来进行求解.之所以要推导SVM的对偶形式 ...

kernel function

kernel function相关推荐

最新文章

热门文章