《Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs》论文阅读笔记
《Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs》论文阅读笔记
主要挑战贡献：
KG上的推理挑战主要有两个：1.KG的规模很大，每跳一步候选答案集的候选答案数量便指数增长，因此通过跳转来寻找答案不现实；2.绝大多数的现实世界的KG根本不完全，缺少很多边（关系），因此跳转可能都跳不动，根本无法找到答案。
BetaE是第一个可以在大型异构知识图谱上处理**所有逻辑操作符号（包括存在、交、或、非，之前主要是无法处理逻辑“非”）的方法，它具有embedding类方法的隐含归纳关系**的能力、并且可以建模实体语义的不确定性，极大的增强了真实世界知识图谱上多跳推理的可拓展性和处理能力。
原文摘要：
人工智能的基本问题之一是对知识图（KG）捕获的事实执行复杂的多跳逻辑推理。这个问题具有挑战性，因为KG可能庞大且不完整。最近的方法将KG实体嵌入到低维空间中，然后使用这些嵌入来找到答案实体。但是，由于当前方法仅限于FOL（一阶逻辑）运算符的一个子集，因此如何处理任意的一阶逻辑（FOL）查询一直是一个严峻的挑战。特别是，不支持（¬）运算符。当前方法的另一个局限性在于它们不能自然地对不确定性建模。
在这里，我们介绍BETAE，这是一个概率嵌入框架，用于回答KG上的任意FOL查询。 BETAE是第一种可以处理一阶逻辑运算全集：合取（∧），析取（∨）和取反（¬）的方法。 BETAE的一个关键idea是使用有限支持下的概率分布，具体来说就是Beta分布，并将查询/实体作为Beta分布嵌入，因此，我们也可以对不确定性进行建模。逻辑操作是由神经运算符在概率嵌入中在嵌入空间中执行的。我们展示了BETAE在回答三个大型不完整KG上的任意FOL查询时的性能。与一般的KG推理方法相比，BETAE更为通用，它的相对性能也提高了25.4％，后者只能处理合取查询而没有取反操作。
相关工作：
1.KGE（trans、convE、transG/KG2E）以链接预测为目标，并不知道怎么泛化这些方法到使用逻辑操作的多跳知识图谱推理
2.建模不确定性，使用order embedding、分布、量子逻辑
I. Vendrov, R. Kiros, S. Fidler, and R. Urtasun, “Order-embeddings of images and language,” in International Conference on Learning Representations (ICLR), 2016.
S. He, K. Liu, G. Ji, and J. Zhao, “Learning to represent knowledge graphs with gaussian embedding,” in Proceedings of the 24th ACM International on Conference on Information and Knowledge Management, 2015.
D. Garg, S. Ikbal, S. K. Srivastava, H. Vishwakarma, H. Karanam, and L. V. Subramaniam, “Quantum embedding of knowledge for reasoning,” in Advances in Neural Information Processing Systems (NeurIPS), 2019.
3.知识图谱多跳推理-回答多跳逻辑查询（GQE、Q2B）
K. Guu, J. Miller, and P. Liang, “Traversing knowledge graphs in vector space,” in Empirical Methods in Natural Language Processing (EMNLP), 2015.
R. Das, A. Neelakantan, D. Belanger, and A. McCallum, “Chains of reasoning over entities, relations, and text using recurrent neural networks,” in European Chapter of the Association for Computational Linguistics (EACL), 2017.
4.知识图谱多跳推理-使用多跳规则或路径来提高链接预测准确度（Deeppath）
W. Xiong, T. Hoang, and W. Y. Wang, “Deeppath: A reinforcement learning method for knowledge graph reasoning,” in Empirical Methods in Natural Language Processing (EMNLP), 2017.
X. V. Lin, R. Socher, and C. Xiong, “Multi-hop knowledge graph reasoning with reward shaping,” in Empirical Methods in Natural Language Processing (EMNLP), 2018.
X. Chen, M. Chen, W. Shi, Y. Sun, and C. Zaniolo, “Embedding uncertain knowledge graphs,” in AAAI Conference on Artificial Intelligence (AAAI), 2019.
S. Guo, Q. Wang, L. Wang, B. Wang, and L. Guo, “Knowledge graph embedding with iterative guidance from soft rules,” in AAAI Conference on Artificial Intelligence (AAAI), 2018.
S. Guo, Q. Wang, L. Wang, B. Wang, and L. Guo, “Jointly embedding knowledge graphs and logical rules,” in Empirical Methods in Natural Language Processing (EMNLP), 2016.
H. Wang, H. Ren, and J. Leskovec, “Entity context and relational paths for knowledge graph completion,” arXiv preprint arXiv:2002.06757, 2020.
基础概念：
-推理：从已知知识/事实中获得逻辑结论或者作出预测的过程
-知识图谱推理：本质上是使用存在(∃)、与(∧)、或(∨)、非(¬)四种逻辑操作来回答KG上的一阶逻辑查询
-一阶逻辑查询：一阶逻辑是一种将自然语言形式化为可计算格式的方法，由非变量锚实体集，存在性量化变量集、单目标变量组成，详见维基百科，下面的例子中分别对应*（Europe、worldcup）、（V）、（V？）*。
-推理过程：给定一个一阶逻辑查询q，将其解析为一个计算图computation graph，这个计算图明确了来找到答案所需要的所有步骤，按照步骤可以推理出最终答案。
-举例：欧洲没有举办过世界杯的国家的总统有哪些？
步骤1.写成FOL形式：
很有意思的一篇paper.在众多Knowledge Graph Embedding (KGE) 的论文中通过问题设计和有意思的解决方式脱颖而出. 首先来看看问题设计. 一般的KGE model都是利用 ... 目录 标题翻译:基于Beta分布引导方面感知图的方面类别情感分析 原文链接:https://aclanthology.org/2021.emnlp-main.19.pdf 摘要: 1 引言 2 相关工 ... 问题: 因为bert是在长文本(512token长度)预训练的,因此,如果没有特定于任务的微调,BERT在短语和句子上的表现通常比简单基线(如GLoVe的平均池化)更差.且字节2020在EMNLP上的 ... DeepWeak: Reasoning Common Software Weaknesses via Knowledge Graph Embedding 阅读笔记 Article Background ... [论文阅读笔记] Are Meta-Paths Necessary? Revisiting Heterogeneous Graph Embeddings 购物返利 www.cpa5.cn 本文结构 解 ... 这是一篇非常有趣的工作,看完会觉得眼前一亮. 论文标题:Reasoning on Knowledge Graphs with Debate Dynamics 发表于AAAI,2020 动机 很多机器 ... <a simple but tough-to-beat baseline for sentence embeddings>published at ICLR 2017. ICLR会议的论文 ... 我的博客链接 0. 前言 1. 作者试图解决什么问题? 作者想在KGE中对语义层级(semantic hierarchies)进行建模. 2. 这篇论文的关键元素是什么? semantic hiera ... 1. 基于嵌入的知识图推理 目标:如何对知识图进行多跳推理? 知识图推理: 回答多跳查询 路径查询 连接查询 Query2box 示例:生物医学图 知识图谱上的预测查询 我们是否可以进行多跳推理,即在 ...《Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs》论文阅读笔记相关推荐
最新文章
热门文章