核方法（Kernel Methods）

　　核方法中最有名的是Support Vector Machines(支持向量机)。这种方法把输入数据映射到更高维度上，将其变得可分，使得归类和回归问题更容易建模。

Support Vector Machines (SVM)
Radial Basis Function (RBF)
Linear Discriminate Analysis (LDA)

多核学习

　　核选择是核方法的关键内容，因其是提高核方法泛化性能的重要一环。
多核学习（Multiple Kernel Learning，MKL）通过利用多个基本核的组合代替单核，将核选择问题转化为对组合系数的选择。
　　通过将异构数据的不同特征分量利用对应的核函数进行映射，使数据在新的特征空间中得到更好的表达，能显著提高分类性能[31]。
　　MKL的本质问题就是，如何得到这个组合的特征空间，即如何通过学习得到组合系数

算法

　　1）主流方法是对组合系数进行l1-范数和l2-范数约束
　　2）构造多核模型，最基本的方法就是考虑多个基本核函数的凸组合：

　　其中K是基本核函数，M是基本核的总个数，耳朵旁是组合系数，条件可以确保由此产生的Gram矩阵是半正定的。

现状

　　多核学习已被成功应用于机器学习的许多领域，如多示例学习、半监督学习、增量学习等，并在生物特征识别、无人机、信息检索等领域得到了广泛应用。

不足/问题/趋势

　　1）基本核的选择和组合方式缺乏理论依据。多核学习中的很多方法都是基于有限个基本核的线性组合加以讨论，基本核的选择也大都是启发式的
　　2）对于大规模数据集，由于涉及到多核矩阵的快速求解、高维多核扩展矩阵的各种分解等问题，通常的多核学习方法的学习效率会很低，如何提高其学习速度值得我们进行深入的探讨。

机器学习基础--各种学习方式（18）--核方法和多核学习相关推荐

机器学习基础（四）预测方法（分类回归）概述
预测问题任务描述任务目标: 总体来说,分类问题与回归问题的目的是一致的,都是为了预测根据预测目标不同,可以将预测问题分为以下三类分类: 预测目标值无顺序意义且为有限个数离散量预测目标值只有单 ...
机器学习基础（四）：特征选择与稀疏学习
4.特征选择与稀疏学习对一个学习任务来说,给定属性集,其中有些属性可能很关键.很有用,另一些则可能没什么用.将属性称为特征feature,则对当前学习任务有用的属性称为相关特征relevant fe ...
机器学习中的核函数与核方法（好！）
原文见:https://blog.csdn.net/qq_34099953/article/details/84316905 我们在学习机器学习的时候,总是会看到一个概念--核,然后看到一堆公式.但是 ...
机器学习基础（七）：概率图模型（HMM、MRF、CRF、话题模型、推断方法）
7.概率图模型概率模型probabilistic model:提供一种描述框架,将学习任务归结于计算变量的概率分布,核心是如何基于可观测变量推测出未知变量的条件分布 → ①生成式generative ...
机器学习基础与实践（二）----数据转换
------------------------------------本博客所有内容以学习.研究和分享为主,如需转载,请联系本人,标明作者和出处,并且是非商业用途,谢谢!-------------- ...
多模态机器学习基础、应用及预训练模型介绍
早在公元前四世纪,哲学家和艺术学家提出了多模态的概念,用以定义融合不同内容的表达形式与修辞方法.在当今大数据时代,我们总说数据是多源异构的: 多源:数据持有方多样化.比如数据来源于问卷调查.GPS追踪 ...
一文读懂基本的核方法和径向基函数
来源:Deephub Imba本文约2000字,建议阅读8分钟核方法就是通过将数据的输入空间映射到高维特征空间,在高维特征空间中可以训练简单的线性模型,从而得到高效.低偏差.低方差的模型. 偏差-方 ...
【机器学习基础】机器学习训练中常见的问题和挑战！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:奥雷利安·杰龙由于我们的主要任务是选择一种学习算法,并对某些数据 ...
机器学习基础（六）：贝叶斯分类（贝叶斯决策论、朴素/半朴素贝叶斯分类器、贝叶斯网、EM算法）
6.贝叶斯分类 6.1贝叶斯决策论Bayesian decision theory 概率框架下实施决策的基本方法. 对分类任务来说,在所有相关概率都已知的理想情形下,贝叶斯决策论考虑如何基于这些概率和 ...
机器学习基础（五）：计算学习理论（PAC学习、有限假设空间、VC维、Rademacher复杂度、稳定性）
5.计算学习理论计算学习理论computational learning theory:研究关于机器学习的基础理论几个常用不等式: 5.1 PAC学习概率近似正确(PAC)Probably Ap ...

机器学习基础--各种学习方式（18）--核方法和多核学习

核方法（Kernel Methods）

多核学习

算法

现状

不足/问题/趋势

机器学习基础--各种学习方式（18）--核方法和多核学习相关推荐

最新文章

热门文章