论文浅尝 | GMNN: Graph Markov Neural Networks
论文笔记整理:吴锐,东南大学硕士研究生,研究方向为自然语言处理
来源:ICML 2019
链接:http://proceedings.mlr.press/v97/qu19a/qu19a.pdf
问题定义
弱监督下的在关系数据中的对象分类。形式化地来说,给定一个图G,图上有结点V表示一系列对象,在对象间存在有一系列边E,且每个结点都有对应的属性XV。当前已知部分结点L的标签,目的是推测出剩余结点U的标签值。
相关工作
该问题当前主要可以从两个方向进行研究:
1)统计关系学习(SRL, Statistical Relational Learning)
以统计模型来对关系数据进行建模,代表性的方法有条件马尔可夫网络(relational Markov networks)和马尔可夫逻辑网(Markov logic networks)。这些方法通常使用条件随机场来对对象之间的依赖关系进行建模,也正是因为这种建模的有效性,这些方法能够在弱监督的对象分类上取得不错的效果。
2)图神经网络(GNN, Graph Neural Network)
通过非线性的神经结构,能够以端到端的方式学习到有效的对象表示(representation),从而解决对象分类的问题。例如图卷积网络(graph convolutional networks)可以有效地将周围结点的信息学习到结点的表示当中。这类方法由于能够有效地从关系数据中学习到对象的表示,目前已经达到了SOTA的表现。
存在的问题
在传统的统计关系学习方法中,存在着以下缺陷:
1) 由于这些方法通常采用CRF进行建模,因此需要手动地构造一些特征函数来作为势函数的组成部分,而这些特征函数往往是启发式的,从而导致了模型的能力有限;
2) 由于对象之间关系结构的复杂性,导致难以推理(inference)出未知标签的结点U的后验分布(posterior distribution)。
在图神经网络的方法中,由于各个结点的标签是根据相关的表示分别预测的,因此忽略了各个结点的标签之间的依赖性
方法
提出图马尔可夫神经网络(GMNN, Graph Markov Neural Network),结合了SRL与GNN的优点,既能够学习到有效的结点表示,也能够对结点标签之间的依赖进行建模。
具体来说,GMNN仍然以CRF对已知结点标签之间的联合条件概率分布(以所有结点的属性为条件)进行建模。
该模型可以有效且高效地通过变分EM框架进行优化,在推断(E步)与学习(M步)中不断交替、迭代。
在E步中,由于具体的后验分布是难以计算的,因此引入了平均场近似(mean-field approximation)。
受摊还推断(amortized inference)的启发,同样使用一个GNN来参数化结点标签的后验分布,该GNN能够学习到有利于标签预测的结点的表示。
目标函数如下:
可以理解用变分的方法,不断减小q与真实的后验分布之间的KL散度,使得q不断逼近真实的后验分布(式11),同时由于部分已知标签的存在,因此该部分结点标签的概率分布直接使用真实值即可(式12)。
E步的形式化过程如下图:
在M步中,由于直接优化似然函数存在困难,因此以优化伪似然(pseudolikelihood)的方式来代替极大似然方法。
用一个GNN来参数化局部的结点标签的条件概率分布。
这样就能够对结点标签之间的依赖性进行建模,并且不需要手动构建势函数。目标函数如下:
M步的形式化过程如下图:
具体的优化算法如下:
OpenKG
开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。
点击阅读原文,进入 OpenKG 博客。
论文浅尝 | GMNN: Graph Markov Neural Networks相关推荐
- 文献学习(part12)--GMNN: Graph Markov Neural Networks
学习笔记,仅供参考,有错必纠 文章目录 GMNN: Graph Markov Neural Networks Abstract Introduction 相关著作 统计关系学习 基于图的半监督分类 图 ...
- 【论文导读】- Variational Graph Recurrent Neural Networks(VGRNN)
文章目录 文章信息 摘要 Background Graph convolutional recurrent networks (GCRN) Semi-implicit variational infe ...
- 论文浅尝 | CFO: Conditional Focused Neural Question Answering
Zihang Dai, Lei Li, and Wei Xu. 2016. CFO: Conditional focused neural question answering with large- ...
- 论文浅尝 | 图神经网络综述:方法及应用
论文链接:https://arxiv.org/pdf/1812.08434.pdf GNN相关论文列表链接:https://github.com/thunlp/GNNPapers 近日,清华刘知远老师 ...
- 论文浅尝 | 当知识图谱遇上零样本学习——零样本学习综述
随着监督学习在机器学习领域取得的巨大发展,如何减少人工在样本方面的处理工作,以及如何使模型快速适应层出不穷的新样本,成为亟待解决的问题.零样本学习(Zero-Shot Learning, ZSL)的提 ...
- 论文浅尝 | 近期论文精选
本文转载自公众号 PaperWeekly, 对我们近期的论文浅尝进行了精选整理并附上了相应的源码链接,感谢 PaperWeekly! TheWebConf 2018 ■ 链接 | https://ww ...
- 每天一篇论文 323/365 Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning
每天一篇论文汇总list Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning 摘要 ...
- Action Recognition Using Attention-Joints Graph Convolutional Neural Networks翻译
对Action Recognition Using Attention-Joints Graph Convolutional Neural Networks(19年ieee上的一篇)这篇论文的翻译,可 ...
- ###好好好#######论文浅尝 | 基于图注意力的常识对话生成
论文浅尝 | 基于图注意力的常识对话生成 OpenKG 祝各位读者新春快乐,猪年吉祥! 来源:IJCAI 2018. 论文下载地址:https://www.ijcai.org/proceedings/ ...
最新文章
- 专属程序员的编程日历,终于来了 | 10月书讯
- python 函数(二)
- vscode怎么用命令行打开本地项目(code .)
- linux apu 分辨率,编写xorg.conf 简单三行解决Ubuntu分辩率不可调的问题
- Filter过滤器链(多个过滤器)
- 在GridView控件FooterTemplate内添加记录 Ver2
- mysql基础之mariadb集群双主(主主)架构
- OFFICE软件有哪三大语言功能?
- VMware Data Recovery安装配置
- spring cloud gateway 网关_33、Spring Cloud网关Gateway
- 51单片机之逻辑运算指令ANL、ORL、XRL等
- Ubuntu20.04更换软件源
- idea无法下载源码 Sources not found for: org.springframework:spring-context:5.1.5.RELEAS
- 说说 PWA 和微信小程序--Progressive Web App
- 关于安装Spacy以及de和en模块遇到的坑---附最终解决方案
- 贝叶斯在计算机视觉中的应用,KNN与朴素贝叶斯在计算机视觉的鱼苗计数中的应用探索.doc...
- 关于FileSystemWatcher类
- 矩阵分解--超详细解读
- 使用JavaScrip实现简单问卷星快速生成自定义数据
- JVM总结之垃圾回收详解