1 Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs

——CMU CVPR2018

1.1 任务描述

total label: n (okapi/ zebra/ deer)

seen label: m (zebra/ deer) + training pictures

unseen label: n-m (okapi)

knowledge graph：seen + unseen

1.2 模型框架

Input：Word Embedding x_i （a semantic description of each specific class）

Output：visual classifier (logistic regression model) \hat{w}_i (GT w_i(i=1,...,m) by training data)

visual feature (by pre-trained ConvNet) * classifier = classification score

1.3 实验结果

效果翻两倍(๑•̀ㅂ•́)و✧

Code https://github.com/JudyYe/zero-shot-gcn

2 Rethinking Knowledge Graph Propagation for Zero-Shot Learning

2019.3.27 论文1的进阶版

2.1 主要思路

论文1中的6层GCN会造成over-smoothing的问题，所以本文提出了Dense Graph Propagation (DGP) 模块，直接连接远距离的结点，只需1层GCN。

2.2 模型框架

Dense Graph Propagation

2 connect patterns: descendant propagation & ancestor propagation

Training:

1. train the DGP to predict the last layer weights of a pre-trained CNN

2. train the CNN by optimizing the cross-entropy classification loss on the seen classes

Test:

CNN Feature Extraction * \wave{W}

2.3 实验结果

比文章1的结果更好(๑•̀ㅂ•́)و✧

3 The More You Know: Using Knowledge Graphs for Image Classification

——CMU CVPR2017

As most knowledge graphs are large for reasoning, [60] selects some related entities to build a sub-graph based on the result of object detection and applies GGNN to the extracted graph for prediction.

Graph model: GGNN -> GSNN

4 Multi-Label Zero-Shot Learning with Structured Knowledge Graphs

——CMU CVPR2018

4.1 新的知识图谱

结点特征是word embedding

Source: WordNet (easily accessible and contains rich semantic relationships between different concepts)

边种类：

1 super-subordinate: directly extracted from WordNet

2 positive correlation & negative correlation: label similarities are calculated by WUP similarity [45], followed by thresholding the soft similarities into positive and negative correlations.

4.2 模型结构

结点特征是x的feature，word embedding在边上起作用

1. 正常的multi-label分类作为初始化 x features -> Fi = node initial belief states hv^0

y \in {0,1}^{|S|}

2. label之间开始传递 Graph model：GGNN->GSNN

边W word embedding: F_R^k (w_u,w_v)->a_vu propagation weight (k=3)

3. 输出 hv^(T) -> Fo ->\hat{y}\in {0,1}

propagation matrix A

F_R^k: neural network

information propagation

4.3 实验结果

5 总结

论文中的知识图谱的结构都是事先规定好的。

5.1 知识图谱数据库

语言知识图谱：WordNet

事实性知识图谱：OpenCyc , Freebase , DBpedia , YAGO2

领域知识图谱：人物之间的亲属关系Kinships，医学领域UMLS，Cora

机器自动构建的知识图谱：Knowledge Vault，NELL

统一医学语言系统(Unified Medical Language System，UMLS)是美国国立医学图书馆持续开发了20多年的巨型医学术语系统，涵盖了临床、基础、药学、生物学、医学管理等医学及与医学相关学科，收录了约200万个医学概念，医学词汇更是空前，达到了500多万个。

医疗图像具有特定性，比如WSI，就是癌细胞和非癌细胞两种，不像自然图片会有那么多种类。

准确性还比较低，医疗不太能允许有那么低的准确率

GNN + Zero-shot相关推荐

GNN教程：与众不同的预训练模型！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:秦州,算法工程师,Datawhale成员 0 引言虽然 GNN ...
GNN教程：预训练模型
转载目录 0 引言 1 预训练介绍 2 GCN 预训练模型框架介绍 2.1 预训练任务介绍本节小结 2.2 应用于下游任务本节小结后记 0 引言虽然 GNN 模型及其变体在图结构数据的学习方 ...
Single Shot Multibox Detection (SSD)实战（下）
Single Shot Multibox Detection (SSD)实战(下) Training 将逐步解释如何训练SSD模型进行目标检测. 2.1. Data Reading and Initi ...
Single Shot Multibox Detection (SSD)实战（上）
Single Shot Multibox Detection (SSD)实战(上) 介绍了边界框.锚框.多尺度对象检测和数据集.现在,我们将利用这些背景知识构建一个目标检测模型:单次多盒检测(SSD) ...
SSD(Single shot multibox detector)目标检测模型架构和设计细节分析
先给出论文链接:SSD: Single Shot MultiBox Detector 本文将对SSD中一些难以理解的细节做仔细分析,包括了default box和ground truth的结合,def ...
PCL中3D特征描述子Shot详解
上周点云公众号开始分享群友们的反馈分享,由博主分配任务,半个月甚至一个月参与学习小伙伴的反馈给群主,并在微信交流群中进行学术交流,加强大家的阅读文献能力,并提高公众号的分享效果.已经有一些开始陆续反馈 ...
赠书 | GNN 模型在生物化学和医疗健康中的典型应用
计算生物化学和医疗健康的数据常常通过图来表示. 例如,分子和化合物可以自然地表示为以原子为节点.以键为边的图.蛋白质相互作用(Protein-ProteinInteractions,PPI)记录了两个 ...
ICLR 2020论文投稿2600篇，GNN、BERT、Transformer领跑热门研究方向
(图片由AI科技大本营付费下载自视觉中国) 出品 | AI科技大本营(ID:rgznai100) 2019 年 4,ICLR 2020 论文征集活动开始,截止 9 月 25 日,大会共收到近 2600 ...
什么限制了GNN的能力？首篇探究GNN普适性与局限性的论文出炉！
作者 | Andreas Loukas 译者 | 凯隐责编 | Jane 出品 | AI科技大本营(ID: rgznai100) [导读]GNN是目前机器学习领域的热门网络之一,肯多研究与技术分享相 ...
GNN教程：DGL框架中的采样模型！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:秦州,算法工程师,Datawhale成员引言本文为GNN教程的 ...

GNN + Zero-shot

1 Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs

——CMU CVPR2018

1.1 任务描述

1.2 模型框架

1.3 实验结果

2 Rethinking Knowledge Graph Propagation for Zero-Shot Learning

2.1 主要思路

2.2 模型框架

2.3 实验结果

3 The More You Know: Using Knowledge Graphs for Image Classification

——CMU CVPR2017

4 Multi-Label Zero-Shot Learning with Structured Knowledge Graphs

——CMU CVPR2018

4.1 新的知识图谱

4.2 模型结构

4.3 实验结果

5 总结

5.1 知识图谱数据库

GNN + Zero-shot相关推荐

最新文章

热门文章