transductive inference（转导推理，直推式学习）

在统计学习中，转导推理（Transductive Inference）是一种通过观察特定的训练样本，进而预测特定的测试样本的方法。另一方面，归纳推理（Induction Inference）先从训练样本中学习得到通过的规则，再利用规则判断测试样本。然而有些转导推理的预测无法由归纳推理获得，这是因为转导推理在不同的测试集上会产生相互不一致的预测。

归纳推理中的一个经典方法是贝叶斯决策，通过求解P(Y|X)=P(X|Y)P(Y)/P(X)得到从样本X到类别Y的概率分布P(Y|X)，进而使用P(Y|X)预测测试样本的类别。这一过程的缺点在于，在预测某一测试样本的类别之前，先要建立一个更通用的判别模型。那么是否能够更直接判别测试样本的类别呢？一个办法就是通过转导推理。转导推理由Vladimir Naumovich Vapnik（弗拉基米尔·万普尼克）于20世纪90年代最先提出，其目的就在于建立一个更适用于问题域的模型，而非一个更通用的模型。这方面的经典算法有最近邻（K Nearest Neighbour）和支持向量机（Support Vector Machine）等。

　　特别是当训练样本非常少，而测试样本非常多时，使用归纳推理得到的类别判别模型的性能很差，转导推理能利用无标注的测试样本的信息发现聚簇，进而更有效地分类。而这正是只使用训练样本推导模型的归纳推理所无法做到的。一些学者将这些方法归类于半监督模型（Semi-Supervised Learning），但Vapnik认为是转导推理3。这方面的经典算法有转导支持向量机（Transductive Support Vector Machine）等。

　　转导推理的产生的第三个动机在于模型近似。在某些工程应用中，严格的推导所产生的计算量可能是非常巨大的，工程人员希望找到某些近似模型能适应他们所面临的特定问题，不需要适用于所有情况。

转导推理会利用所有点的信息进行预测，也就是说转导推理会根据数据所从属的类簇进行类别标注。这样中间红色圈的点由于非常接近标为B的点所从属的类簇，就会标注为B。可以看出转导推理的优势就在于其能通过少量的标注样本进行预测。而其不足之处就在于其没有预测模型。当新未知点加入数据集时，转导推理可能需要与数据量成正比的计算来预测类别，特别是当新数据不断地被获取和加入时，这种计算量的增长显得犹为突出，而且新数据的添加可能会造成旧数据类别的改变（根据实际应用的不同，可能是好的，也可能是坏的）。相反地，归纳推理由于有模型存在，在计算量上可能会优于转导推理（模型的更新可能增加计算量）。

transductive inference（转导推理，直推式学习）相关推荐

《中国人工智能学会通讯》——11.52 基于直推式学习的异质人脸图像合成
11.52 基于直推式学习的异质人脸图像合成前面介绍的方法都是基于归纳式学习(InductiveLearning) 的,这些方法取得了不错的效果,但是它们也使得测试样本风险误差增加,进而可能影响合 ...
GNN-图卷积模型-2016：GCN【消息传递（前向传播）：聚合函数+更新函数】【聚合函数：mean（邻域所有节点取平均值）】【训练更新函数的参数】【空域+频域】【直推式学习】【同质图】
一.概述在扎进GCN的汪洋大海前,我们先搞清楚GCN是做什么的,有什么用.深度学习一直都是被几大经典模型给统治着,如CNN.RNN等等,它们无论再CV还是NLP领域都取得了优异的效果,而GCN主要是 ...
第五课.可变图结构下的归纳式学习图注意力
目录图采样聚合网络 Inductive and Transductive Learning GraphSAGE 算法流程 GraphSAGE与InductiveLearning的关系损失函数注意 ...
半监督学习：semi-supervised learning 直推学习：transductive learning 主动学习：active learning
目前,利用未标记示例的主流学习技术主要有三大类:半监督学习(semi-supervised learning).直推学习(transductive learning)和主动学习(active lear ...
推理计算过程_转导推理—Transductive Learning
在统计学习中,转导推理(Transductive Inference)是一种通过观察特定的训练样本,进而预测特定的测试样本的方法.另一方面,归纳推理(Induction Inference)先从训练样 ...
转导推理——Transductive Learning
在统计学习中,转导推理(Transductive Inference)是一种通过观察特定的训练样本,进而预测特定的测试样本的方法.另一方面,归纳推理(Induction Inference)先从训练样 ...
【机器学习】转导推理——Transductive Learning
在统计学习中,转导推理(Transductive Inference)是一种通过观察特定的训练样本,进而预测特定的测试样本的方法.另一方面,归纳推理(Induction Inference)先从训练样 ...
从递推式到通项公式特征方程学习笔记
参考文章 ruanxingzhi 引入对于一些递推式,我们常常会有关于求数列某一项的问题,如果我们能推出其通项公式,那么问题就会变得更好解决,特征方程就是一个有力的工具. 相关定义及引理我们定义对 ...
论文浅尝 - ICML2020 | 基于子图推理的归纳式关系预测
论文笔记整理:陈名杨,浙江大学在读博士生,主要研究方向为知识图谱表示学习. 论文来源:ICML 2020 Introduction 当前在知识图谱上(KnowledgeGraph,KG)进行关系预测的 ...
【字节跳动-搜索】22秋招提前批/社招内推来了！直推到组！全程跟进！
字节跳动-搜索 22秋招提前批/社招部门内推来了!直推到组!全程跟进! 团队介绍1:字节跳动搜索字节跳动搜索团队主要负责抖音.今日头条.西瓜视频等产品的搜索算法创新和架构研发工作.我们使用最前 ...

transductive inference（转导推理，直推式学习）

transductive inference（转导推理，直推式学习）相关推荐

最新文章

热门文章