Kernel Trick

什么是kernel trick

在机器学习当中，我们有时需要将n维数据投影到更高维的空间然后做内积，传统思想是先用空间转换函数将数据投影到高维空间，然后再对数据做内积。例如，有两个向量

$x=\begin{bmatrix} x_1\\ x_2 \end{bmatrix}^T,z=\begin{bmatrix} z_1\\ z_2 \end{bmatrix}^T$

我们要利用转换函数

$\phi(x)=\begin{bmatrix} x_1\\ x_2 \end{bmatrix}^TA = \begin{bmatrix} x_1& x_2 \end{bmatrix} \begin{bmatrix} a_{11} &a_{12} &a_{13} \\a_{21} & a_{22} & a_{23} \end{bmatrix} =\begin{bmatrix} x_1^2& \sqrt{2}x_1x_2& x_2^2 \end{bmatrix}$

将x和z做转换然后再内积，过程如下

$\phi(x)*\phi(z)^T=\begin{bmatrix} x_1^2\\ \sqrt{2}x_1x_2\\ x_2^2 \end{bmatrix} \begin{bmatrix} z_1^2& \sqrt{2}z_1z_2& z_2^2 \end{bmatrix}\\ =x_1^2z_1^2+2x_1x_2z_1z_2+x_2^2z_2^2\\ =(x_1z_1+x_2z_2)^2 =(\begin{bmatrix} x_1& x_2 \end{bmatrix} \begin{bmatrix} z_1\\ z_2 \end{bmatrix})^2\\ =(x*z^T)^2\\ =K(x,z)$

可以看到，将x和z通过函数转换再做内积的步骤，可以替换成x和z的内积再取平方，后者就是用了kernel trick。当数据需要投影到更高维时，计算 $\phi(x)$ 的代价将会很高，如下图所示

这时使用kernel trick，先计算x和z的内积再取平方，可以减少计算代价，节省时间。

kernel trick的判断与构造

Mercer 定理：任何半正定的函数都可以作为核函数。

未完待续。。。

Kernel Trick相关推荐

UA MATH567 高维统计II 随机向量10 Grothendieck不等式的证明版本二：kernel trick
UA MATH567 高维统计II 随机向量10 Grothendieck不等式的证明版本二:kernel trick 在介绍亚高斯随机向量的更多应用之前,我们先简单介绍一下核方法(kernel t ...
Kernel Trick——核机制，更高维空间内积的快速计算
这是小弟的第一篇技术博客,功力尚浅,写的不准确不专业的地方,还请各位同仁,多多包涵. blog归正传. 引言理论 1 Kernel SVM 2 2阶多项式核 3 常见核的种类应用 1 Kernel ...
机器学习与高维信息检索 - Note 6 - 核，核方法与核函数（Kernels and the Kernel Trick）
Note 6 核, 核方法与核函数到目前为止,我们所讨论的机器学习算法的成功都依赖于对输入数据分布的假设.例如,PCA的效果越好,数据围绕线性子空间分布.或者在线性判别分析中,我们假设类的高斯分布, ...
机器学习基础（五十五）—— 核（Kernel Trick）
如果原始空间(x\mathbf x)是有限的,即属性数有限,那么一定存在一个高维特征空间(ϕ(x)\phi(\mathbf x))使样本可分.
机器学习与高维信息检索 - Note 7 - 核主成分分析（Kernel Principal Component Analysis，K-PCA）
Note 7 - 核主成分分析(Kernel Principal Component Analysis) 核主成分分析 Note 7 - 核主成分分析(Kernel Principal Compone ...
UA MATH567 高维统计II 随机向量11 kernel的构造用内积替换反三角函数
UA MATH567 高维统计II 随机向量11 kernel的构造用内积替换反三角函数我们来做上一讲剩下的kernel的构造,完成Grothendieck不等式的证明中的kernel trick ...
台湾大学林轩田机器学习技法课程学习笔记5 -- Kernel Logistic Regression
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了Soft-Margin SVM,即如果允许有分类错误的点存在,那么在原来的Hard-Margin SVM中添加新的惩罚因子C, ...
台湾大学林轩田机器学习技法课程学习笔记3 -- Kernel Support Vector Machine
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了SVM的对偶形式,即dual SVM.Dual SVM也是一个二次规划问题,可以用QP来进行求解.之所以要推导SVM的对偶形式 ...
机器学习技法(3)--Kernel Support Vector Machine
根据上一次推导出来的问题: 从计算的角度来说,如果维度太大,向量z的内积求解起来非常的耗时耗力. 我们可以把这个过程分拆成两个步骤,先是一个x空间到z空间的转换Φ,再在z空间里做内积.如果能把这两个步 ...

Kernel Trick

什么是kernel trick

kernel trick的判断与构造

Kernel Trick相关推荐

最新文章

热门文章