论文浅尝 | 用图网络做小样本学习

链接： https://arxiv.org/abs/1711.04043

本文提出了用 GNN(GraphNeural Network) 来解决 Few-Shot Learning 场景的分类问题。在 Few-Shot Learning 中，每个类别的训练样本数据较少，如果直接训练一个多分类模型，会由于每个类别的样本较少而无法训练充分。而 GNN 的一个优点在于可以通过节点之间的连接来做信息扩散，如果把每个样本视作图中一个节点，节点之间的边是它们的某种距离度量，那么，就可以把已有label的样本的 label 信息根据节点之间相似性的强弱，有选择的扩散到与之最相似的，需要预测的样本上。这样，新样本在预测的时候，可以利用到各个类别的标注数据，类似于迁移学习，从而缓解了 Few-Shot Learning 中每个类别训练样本较少的问题。

基于以上思路，本文利用 GNN 在小样本 Few-Shot Learning 数据集上，对 Few-Shot Learning, Semi-supervised Learning 以及 Active Learning 三个任务都做了实验，验证了GNN利用信息传播做预测的有效性。

模型的基本结构是常见的 GNN，流程如下：

（1）初始化：将每个样本视作图中的节点，随机初始化每个节点的表示。初始化方式为：利用CNN得到的图片（实验数据集是图片分类）的向量表示，以及样本的label的onehot表示，拼接得到。对于半监督的情形，未标注样本的label的onehot表示是随机生成的。

（2）信息传播：计算节点之间的相似性，得到节点两两之间的相似性矩阵。然后以每个节点的邻居节点的表示和自己当前的表示来更新下一步的表示，即：自己的表示+ sum(相似性 * 邻居节点的表示)，是一个常用的加权平均更新方式

（3）对于需要预测label的节点，利用其最终的表示，通过softmax做分类。

实验结果：

相比已有的一些利用样本间相似性做 Few-Shot Learning 的模型，如 Siamese Net, Matching Network,Prototypical Network，都有提升。另外，论文中证明了后续这三种模型都是 GNN 模型的特例。

（1） Few-Shot Learning：

（2） Semi-supervised Learning:

(3) Active Learning:

本文作者: 王梁，浙江大学硕士，研究方向为知识图谱，自然语言处理.

OpenKG.CN

中文开放知识图谱（简称OpenKG.CN）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

转载须知：转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题，请注明原标题。

点击阅读原文，进入 OpenKG 博客。

论文浅尝 | 用图网络做小样本学习相关推荐

论文浅尝 - AAAI2021 | 从历史中学习：利用时间感知拷贝生成网络建模时态知识图谱...
笔记整理 | 朱珈徵,天津大学硕士链接:https://arxiv.org/pdf/2012.08492.pdf 动机大型知识图通常会增长以存储时态事实,这些时间事实对实体沿时间线的动态关系或交互 ...
论文浅尝 - EMNLP | 通过元强化学习实现少样本复杂知识库问答
笔记整理 | 谭亦鸣,东南大学博士生来源:EMNLP 2020 链接:https://www.aclweb.org/anthology/2020.emnlp-main.469.pdf 本文关注聚合型 ...
论文浅尝 | 利用机器翻译和多任务学习进行复杂的知识图谱问答
笔记整理 | 谭亦鸣,东南大学博士生. 来源:EACL'21 链接:https://www.aclweb.org/anthology/2021.eacl-main.300.pdf 概述知识图谱问答过 ...
论文浅尝 | 当知识图谱遇上零样本学习——零样本学习综述
随着监督学习在机器学习领域取得的巨大发展,如何减少人工在样本方面的处理工作,以及如何使模型快速适应层出不穷的新样本,成为亟待解决的问题.零样本学习(Zero-Shot Learning, ZSL)的提 ...
论文浅尝 | 图神经网络综述：方法及应用
论文链接:https://arxiv.org/pdf/1812.08434.pdf GNN相关论文列表链接:https://github.com/thunlp/GNNPapers 近日,清华刘知远老师 ...
论文浅尝 | 近期论文精选
本文转载自公众号 PaperWeekly, 对我们近期的论文浅尝进行了精选整理并附上了相应的源码链接,感谢 PaperWeekly! TheWebConf 2018 ■ 链接 | https://ww ...
论文浅尝 | 利用多语言 wordnet 上随机游走实现双语 embeddings
论文笔记整理:谭亦鸣,东南大学博士生,研究方向为知识图谱问答. 来源:Knowledge Based System 链接:https://www.sciencedirect.com/science/a ...
论文浅尝 | 从 6 篇顶会论文看「知识图谱」领域最新研究进展 | 解读代码
本文内容源自往期「论文浅尝」,由 PaperWeekly 精选并重新排版整理,感谢 PaperWeekly. ISWC 2018 ■ 链接 | http://www.paperweekly.site/ ...
###好好好#######论文浅尝 | 基于图注意力的常识对话生成
论文浅尝 | 基于图注意力的常识对话生成 OpenKG 祝各位读者新春快乐,猪年吉祥! 来源:IJCAI 2018. 论文下载地址:https://www.ijcai.org/proceedings/ ...

论文浅尝 | 用图网络做小样本学习

论文浅尝 | 用图网络做小样本学习相关推荐

最新文章

热门文章