主动学习、纯半监督学习、直推学习的联系与区别

　　最近在学习半监督学习方面的内容，一开始便遇到了这么几个概念：主动学习(active learning)、半监督学习(semi-supervised learning)和直推学习(transductive learning)。想必刚开始大家都觉得有点迷糊，下面就让我来详细把它们之间的联系与区别讲述一下，相信读完大家一定会思路清晰，至少在概念上不会再搞错了。

　　什么是主动学习？

　　主动学习指的是这样一种学习方法：有的时候，有类标的数据比较稀少而没有类标的数据是相当丰富的，但是对数据进行人工标注又非常昂贵，这时候，学习算法可以主动地提出一些标注请求，将一些经过筛选的数据提交给专家进行标注。这个筛选过程也就是主动学习主要研究的地方了。

　　什么是半监督学习？

　　半监督学习特指的是学习算法不需要人工干预，基于自身对未标记数据加以利用，来提高学习模型的泛化性能。

　　一般认为半监督学习包含纯半监督学习和直推学习。

　　三者的联系：

　　主动学习、纯半监督学习、直推学习都属于利用未标记数据的学习技术，只是其基本思想不同。

它们的区别：

　　主动学习与半监督学习的区别：

　　主动学习的主动指的是主动提出标注请求，也就是说还需要一个外在的能够对其进行标注的实体(通常是相关人员)，即主动学习是交互进行的。其目标是使用尽量少的“查询”(query)来获得尽量好的性能。主动学习引入了额外的专家知识，用过与外界的交互来将部分未标记样本转变为有标记样本。

　　纯半监督学习与直推学习的区别：

　　假设有如下的数据集，其中训练集为X_L+X_U,测试集为X_test,标记样本数目为L,未标记样本数目为U,L<<U

标记样本(X_L,Y_L)={(x_1:L,y_1:L)}　　
未标记样本X_U={x_L+1:N},训练时可用
测试样本X_test={x_N+1:},只有在测试时才可以看到

　　纯半监督学习是一种归纳学习(inductive learning),可以对测试样本X_test进行预测。也即纯半监督学习是基于“开放世界”的假设。

　　直推学习是transductive学习，仅仅可以对未标记样本X_U进行标记，模型不具备对测试样本X_test进行泛化的能力。直推学习是基于“封闭世界”的假设。

　　直推学习假设未标记的数据就是最终要用来测试的数据，学习的目的就是在这些数据上取得最佳泛化能力。相对应的，纯半监督学习在学习时并不知道最终的测试用例是什么。

---------------------------------

　　参考：1.机器学习西瓜书周志华著

2.Active Learning Poll的笔记

　　　　　3.半监督学习和直推学习

转载于:https://www.cnblogs.com/yanmk/p/8118864.html

主动学习、纯半监督学习、直推学习的联系与区别相关推荐

半监督学习：semi-supervised learning 直推学习：transductive learning 主动学习：active learning
目前,利用未标记示例的主流学习技术主要有三大类:半监督学习(semi-supervised learning).直推学习(transductive learning)和主动学习(active lear ...
机器学习主动学习和半监督学习
一.主动学习(active learning) 学习器能够主动选择包含信息量大的未标注的样例并将其交由专家进行标注,然后置入训练集进行训练,从而在训练集较小的情况下获得较高的分类正确率,这样可以有效的 ...
【深度学习】半监督学习入门：伪标签学习和无监督SVM
一.半监督学习 1-1.什么是半监督学习让学习器不依赖外界交互.自动地利用未标记样本来提升学习性能,就是半监督学习(semi-supervised learning). 要利用未标记样本,必然要做一 ...
深度学习入门 --- 自我学习与半监督学习
该章节参考ufldl 1.什么是自我学习(Self-Taught Learning)与半监督学习首先,什么是半监督学习?当你手头上拥有在大量未标注数据和少量的已标注数据,那这种场景就可以说是半监督学 ...
【深度学习】生动分析半监督学习与负相关学习算法
[深度学习]生动分析半监督学习与负相关学习算法文章目录 1 半监督学习1.1 定义1.2 半监督深度学习1.3 GAN1.4 应用 2 深度负相关学习算法2.1 负相关2.2 通俗解释 1 半监督学 ...
【机器学习基本概念】监督学习、无监督学习、半监督学习与强化学习
本文转载自:一文读懂监督学习.无监督学习.半监督学习与强化学习这四种深度学习方式一般说来,训练深度学习网络的方式主要有四种:监督.无监督.半监督和强化学习.在接下来的文章中,计算机视觉战队将逐个解释 ...
理解监督学习、无监督学习、半监督学习、强化学习
目录监督学习回归问题分类问题无监督学习半监督学习强化学习参考链接监督学习监督学习简单来说就是我们给学习算法一个数据集. 这个数据集由"正确答案"组成,然后使用已知 ...
自我学习,监督学习,半监督学习和迁移学习的区别
区别自我学习和半监督学习一样,当前手头上只有少量训练样本,但是周围手头上还有大量无标注样本.举一个经典的例子,分离大象和犀牛. 对于监督学习来说,我们手头有大量大象的样本和犀牛的样本,接下来训练分类 ...
AI之强化学习、无监督学习、半监督学习和对抗学习
1.强化学习文章目录 1.强化学习 1.1 强化学习原理 1.2 强化学习与监督学习 2.无监督学习 3.半监督学习 4.对抗学习强化学习(英语:Reinforcement Learning,简称 ...
监督学习，非监督学习，半监督学习和增强学习
分成四类监督学习,非监督学习,半监督学习和增强学习监督学习:给机器的训练数据拥有"标记"或者"答案" 监督学习:银行已经积累了一定的客户信息和他们的信用卡的 ...

主动学习、纯半监督学习、直推学习的联系与区别

主动学习、纯半监督学习、直推学习的联系与区别相关推荐

最新文章

热门文章