文章目录

基于变量推理的知识图路径推理分析
摘要
- 1.Introduction
- 2.Related Work
- 3. Methods
- - 3.1DIVA Model
  - 3.2. GraphSAGE Algorithm
  - 3.3. Graph DIV A Model
  - - 3.3.1. Path Feature Generation Process
    - 3.3.2. Structure Diagram of Path Reasoning Module
- 4. Experiments
- - 4.1. Datasets
  - 4.2. T raining Environment
  - 4.3. Path Search Module T raining
  - 4.4. Accuracy Rate Analysis
  - 4.5. Number of T raining Sessions
- 5. Conclusions and Future Work
- References

基于变量推理的知识图路径推理分析

原文链接：https://doi.org/10.3390/app12126168

摘要

知识图推理提高了图结构特征的感知能力，提高了模型精度，增强了模型学习和推理能力。本文提出了一种新的基于变分推理发散自动编码器（DIV a）模型的GraphDIV a模型。分析了模型的网络结构和计算过程。将图形图像算法引入路径推理模块，以解决原始模型无法感知图形结构的特征，从而导致准确率下降的问题。因此，GraphDIV A可以通过更少的学习迭代实现更高的准确率。实验证明了我们的模型的效率和有效性，并证明了我们的方法在FB15k-237和NELL-995基准数据集上比基线模型在准确率和训练难度方面具有更好的效果。

1.Introduction

可以应用于简单机器学习和统计的知识图（KG）[1]添加了推理，以实现传统模型难以实现的结果。KGs已应用于许多领域，如环境监测[2]、危机管理[3]和旅游[4]，并取得了良好的效果。KG推理方法是主流，从传统的逻辑推理到机器学习推理[5]。推理技术可分为基于路径的方法、基于特征的方法和基于自动编码器的方法。基于路径推理，通过识别和分类连接路径，可以判断实体之间的关系，完成推理任务。基于特征的推理模型不关注获取实体之间的连接路径，而是直接对实体的特征或给定路径的特征进行分类以获得推理结果。基于变分自动编码器（V AE）[6]的结构，将基于识别实体之间连接路径的路径模型和基于完美路径质量判断优势的特征模型相结合，以避免各自的缺陷，并最终实现性能改进。
研究发现，DIV A模型的性能优于基于路径和特征推理的单个模型。为了提高现有KG推理模型的稳定性并处理噪声环境，Chen等人[7]将知识图推理问题分为两个步骤：寻路和路径推理。通过改善这两个步骤之间的相互作用，将问题构造为势变量图模型。路径被视为势变量；该关系被视为在给定实体对之后可以观察到的变量；寻路模块被视为应用程序作为先验分布来推断潜在联系；将路径推理模块视为似然分布，将潜在链接划分为多个类别，以便更好地总结未知情况。然而，当图形结构更复杂时，DIV A的精度会下降。因此，本文的重点是通过实现相邻图结构的感知特征和解决原始模型的性能瓶颈来改进DIV-A模型。本文的贡献如下：

我们提出了一种图变分推理模型框架（GraphDIV a），该框架结合了图神经网络，并引入了预训练过程，以提高知识图的推理性能
我们将图形图像算法引入路径推理模块，以生成路径特征矩阵，增强模型对图形结构的感知，并提高模型的准确性
我们证明了我们的方法可以扩展到大KG，并在两个流行的数据集上获得更好的结果。

本文的其余部分安排如下。第2节回顾并讨论了与知识推理算法相关的工作。第3节介绍了DIV A模型、GraphSAGE算法和GraphDIV A模型结构和计算过程。第4节描述了实验中使用的数据集、训练环境、路径搜索模块预训练以及相关参数设置。然后，通过大量实验验证了模型的有效性和有效性，并对实验结果进行了分析。第5节总结并讨论了未来的工作。

2.Related Work

第一个路径推理算法，路径排序算法（PRA），由Lao等人于2010年开发[8]。PRA基于随机行走策略来完成实体之间多跳连接路径的搜索过程。然后，熊等人[9]提出了KG推理的深度路径方法。同年，Das等人[10]提出了基于KGs和增强学习的MINERV A推理算法。2013年提出了最早的基于特征的模型TransE[11]，以及知识图实体和KGs到低维向量空间的关系。在TransE的基础上，其他作者提出了连续方法，如TransH[12]、TransD[13]、TransR[14]和TransSparse[15]，这表明了这一想法的有效性。Neelakantan等人[16]提出了一种基于复合向量空间的KG推理模型。Das等人[17]提出了一个推理链模型。张等[18]于2017年提出了一种基于变分推理的知识地图问答模型。
在DIV A模型提出几个月后，陈等人[7]提出了单跳关系的单样本知识图推理模型。与专注于提取路径和学习路径特征的DIV-A路由相比，该模型直接比较了以目标实体为核心的知识图谱子图的结构特征，以实现单样本学习的能力。虽然结构非常简单，但与之前的DIV a模型结构图相比，它的性能有了很大的提高。CNN仅设计用于常规大小的连续数据，如图像和语音数据。图形结构数据的离散性和不规则性有很大不同。因此，研究界一直在探索如何将CNN思想应用于图形结构数据[19]。2015年，Duvenaud等人[20]引入了一种CNN来绘制数据以提取分子结构特征，但这种方法仅用于分子结构图，缺乏系统的定义。2017年，Kipf和Welling[21]系统地提出了图卷积网络（GCN），并首次利用单样本学习方法定义了图结构数据的卷积运算。王等人[22]于2019年提出了一种基于注意机制的GCN图卷积网络的知识图推理模型。作者使用GCN直接卷积原始图结构，在知识图中提取训练样本的拓扑信息，最后生成特征向量，并对其进行预测。在实验中，与传统的基于特征的方法相比，使用GCN进行特征分析的模型的性能显著提高。该模型只能在固定的网络结构上训练，并且需要在网络结构改变后重新训练。它对更动态的图形数据适应性较差。2021，彭等人[23]提出了一种新的基于路径的推理方法，采用knearest邻居和位置嵌入方法。该方法可以改进忽略相似关系之间路径重叠现象和路径中关系顺序信息的路径推理方法。Tiwari等人[24]集成了图形自注意力（GSA）机制，以从相邻实体和关系中捕获更全面的实体信息。他们一次训练了agent，以降低问题的复杂性。王等人[25]提出了深度IDA框架，该框架应用神经网络和强化学习（RL），使IDA算法能够解决KG推理中的路径发现问题。2022年，刘等人[26]提出了一个动态知识图推理框架。他们使用长短时记忆（LSTM）和马尔可夫决策过程来有效地建模路径推理，路径推理将动作和搜索历史嵌入前馈神经网络作为策略网络。此外，还实现了动态路径推理。张等人[27]引入了一种由重叠关系路径组成的关系有向图（r-digraph）来捕捉KG的局部证据，并提出了一种图神经网络的变体，即REDGNN。RED-GNN利用动态规划递归编码具有共享边的多个r-有向图，并利用查询相关注意机制来选择强相关边。与现有方法相比，它在归纳推理和归纳推理任务中都取得了显著的性能提升。朱等人[28]应用了分层强化学习框架，将任务分解为关系检测的高级过程和实体推理的低级过程。他们为低层策略引入了一种动态前景机制，在这种机制中，信息可以引导我们进入经过优化和改进的行动空间，并辅以基于嵌入的方法。结果证明了同时推理过程的可解释性。

3. Methods

本节介绍DIV A模型方法、GraphSAGE算法以及GraphDIV A模型结构和计算过程。

3.1DIVA Model

受VAE[6]（2013年提出）的启发，DIVA模型在其设计中使用VAE结构，将路径搜索和路径推理相结合。编码器通过编码压缩输入图像 $x_i$ 。将其转换为符合先验分布 $p （ z ）$ 的低维隐式变量 $z$ ，该过程用（1）表示。接下来，解码器解码隐藏变量并将其升级为具有原始图像的精确尺寸的生成图像 $xi^\hat{x_i}$ 。该过程由（2）表示。在训练过程中，编码器和解码器的参数同时更新，以提高编码质量并增强解码器的生成能力。对于样本 $x_i$ ，损失函数如（3）所示。在应用V AE的过程中，对A部分进行了调整。最后，KG推理任务可以描述为找到实体对之间潜在关系的概率分布，如（4）所示。DIV A将V AE中的后验分布与路径搜索模块 $qφ（l∣（es，ed），r)q_\varphi（l |（e_s，e_d），r)$ 相关联，并且通过在搜索决策中添加注释关系的特征向量r来提高学习效率。后验分布学习完成后，先验分布 $p_β（l |（e_s，e_d））$ 通过（5）逼近后验分布 $qφ（l∣（es，ed），r)q_\varphi（l |（e_s，e_d），r)$ ，最后完成路径搜索模块的训练过程。
$qθ(z∣xi)(1)q_\theta(z|x_i) \tag{1}$
$pφ(xi^∣z)(2)p_\varphi(\hat{x_i}|z) \tag{2}$
$li(θ,φ)=−Ez∽qθ(z∣xi)[logpφ(xi)∣z]+KL(qθ(z∣xi)∣∣p(z))(3)l_i(\theta,\varphi) = -E_{z\backsim q^\theta(z|x_i)}[logp_\varphi(x_i)|z]+KL(q_\theta(z|x_i)||p(z)) \tag{3}$
$p(r∣(es,ed))=pβ(l∣(es,ed))pθ(r∣l)(4)p(r|(e_s,e_d)) = p_\beta(l|(e_s,e_d))p_\theta(r|l) \tag{4}$
$KL(q(l∣(es,ed),r)∣∣pβ(l∣(es,ed)))(5)KL(q(l|(e_s,e_d),r)||p_\beta(l|(e_s,e_d))) \tag{5}$
路径推理模块生成路径特征矩阵的过程如图1所示，其中实心圆表示路径中的实体，箭头表示路径中的关系，空心圆和虚拟连接线表示与路径实体相邻的实体和关系。路径特征矩阵直接由路径中嵌入的实体和关系向量的叠加组成。

Figure 1. DIVA路径特征生成过程图

3.2. GraphSAGE Algorithm

图图像算法由Hamilton等人[29]于2017年提出，用于感知图结构的特征，对动态图结构具有很好的适应性。与需要特定计算结构的GCN[30]不同，GraphSAGE应用了计算策略。该算法假设节点的特征由周围节点决定，经过多轮采样和聚合后可以获得最终的节点特征。此外，特征聚合操作被定义为一个递归过程，该过程首先从中心节点逐层扩散采样，然后从最外层逐层聚合。该方法可以解决GCN灵活性不足的问题。采样过程从最终节点开始，沿相邻节点逐层展开，然后依次添加需要最终聚合特征的节点。在选择邻居时，可以随机选择固定数量，或者可以筛选边缘和相邻节点的类型，这具有非常高的自由度。对所有节点进行采样后，从最外层逐层聚合特征。通过聚合过程，相邻节点的输出特征包括其所在子图的拓扑特征，最终节点的特征也包括两跳内子图的拓扑特征。

3.3. Graph DIV A Model

在DIV-A模型的路径推理模块中，路径特征矩阵直接由路径中实体和关系嵌入向量的叠加组成，缺乏路径中实体所在子图的特征。路径模块中的三个卷积窗口只能从特征矩阵中提取路径本身的序列特征，无法感知路径的子图结构。当知识地图的结构复杂时，路径推理模块无法有效区分路径特征，导致性能下降的现象。因此，本文的重点是改进原始模型的路径特征生成过程，并提高路径推理模块对路径子图的环境感知能力，以解决精度下降的问题.

3.3.1. Path Feature Generation Process

为了提高路径推理模块对路径特征的感知范围，在生成路径特征矩阵时，GraphDIV A模型引入了GraphSAGE算法来采样和聚合路径所在的子图结构。该过程如图2所示。

Figure 2. GraphDIV A路径特征生成过程图。
首先，使用图形图像随机采样路径中每个实体的多个静态数据和连接关系，然后使用MaxPooling策略聚合采样的嵌入向量，以获得路径实体和关系的特征表示。详细计算过程如（6）所示。在（7）中， $[r v ； e v]$ 表示路径中某一步的关系嵌入向量和实体嵌入向量， $N （ v ）$ 表示从路径实体中随机选择多个相邻实体， $r_{ui}；e_{ui}]$ 表示与路径实体相邻的实体和连接关系嵌入向量， $f （ v ）$ 是路径特征向量的最终输出。最终生成的路径特征矩阵由路径中的多步特征向量组成。
$max({\sigma(W_{pool}[r_{ui};e_{ui}]+b_{pool}),∀u_i∈N(v)}) \tag{6}$
$W_{neighbor}AGGREGATE(v)+W_{self}[r_v;e_v]+b_{pool} \tag{7}$

3.3.2. Structure Diagram of Path Reasoning Module

为了提高路径推理模块对子图的环境感知能力，GraphDIV A模型首先通过GraphSAGE识别路径中实体所在子图的结构特征，然后使用LSTM提取路径的序列特征。最后，将矢量连接嵌入并输入MLP全连接网络以计算当前状态特征，这显著提高了模型相对于图形的感知范围和能力。GraphSAGE使用LSTM计算路径的有序特征，最后使用LSTM的输出向量作为路径的特征向量，如（8）和（9）所示。调整后的GraphDIV A模型如图3所示。
$ht+1=LSTM(ht,(f(vn))),i∈1,2,...,n−1(8)h_{t+1} = LSTM(h_t,(f(v_n))),i∈1,2,...,n-1 \tag{8}$
$LSTM(h_n, ( f (v_n))) \tag{9}$
其中h是LSTM计算路径的每个时间步长的特征，v是图中的节点。

Figure 3. GraphDIVA 路径推理模块

4. Experiments

本节描述了实验中使用的数据集、训练环境、路径搜索模块预训练以及相关参数设置。然后，通过大量实验验证了模型的有效性和有效性，并对实验结果进行了分析。

4.1. Datasets

在本文中，实验数据集与deep path论文和DIV A论文一致，并基于已发布的FB15k-237[31]和NELL-995[9]数据集。Fb15k-237是著名的FreeBase创建的链路预测数据集，涵盖体育、人文、地理、电影和电视等不同领域。Nell-995源于著名的永无止境的语言学习系统[32]，该系统是在第995次迭代后生成的数据内容。数据集的参数包括实体数、关系数、三元组数和任务类型。表1显示了数据集的大小。

1 https://www.microsoft.com/en-us/download/details.aspx?id=52312; (accessed on 15 January 2021).
2 https://paperswithcode.com/dataset/nell-995 (accessed on 15 January 2021).
        在实际测试中，本文选择的任务如下。FB15k-237 包含 /film/director/film, /film/film/language, /film/film/written_by, /peo-ple/person/nationality , /tv/tv/program_languages, 等. NELL-995 包含 ath-letehomestadium, athleteplaysinleague, organizationheadquarteredincity , personborninlo-cation, worksfor, personleadsorganization, 等.
        每个任务都选择了所有阳性样本和相同数量的阴性样本。随机排序后，前200个样本作为预训练的训练数据，前100个样本作为联合训练的训练数据。接下来，从测试集中平均选择320个样本作为测试数据。其中，任务数据包含两种不同的情况：噪声较大的低质量标记数据和高质量标记数据，以验证模型在灵敏度和性能改善方面的效果。
        其中，/film/director/film、/film/film/language、worksfor和personleadsorganization任务的数据注释质量较低，且包含大量噪声。在以前的测试中，很难确定不同模型方法之间的显著性能差距。在实验中，使用上述任务来验证GraphDIV A模型在增强图形结构感知后是否对噪声更敏感。
        由/film/film/written_by, /people/person/nationality,/tv/tv/program_languages, athletehomestadium, athleteplaysinleague, organizationhead-quarteredincity , 和 personborninlocationtasks质量较高，这些通常用于表示不同模型之间的性能差异。在实验中，上述任务用于验证GraphDIV（图形结构感知模型）的增强是否可以转化为最终的性能改进。
        在测试最终准确率的同时，研究了两个模型在实验中实现最佳性能所需的训练次数。理论上，在增强对图结构的感知后，GraphDIV A可以比原始模型更有效地学习有效的样本分类特征，因此所需的训练次数也应该显著减少。

4.2. T raining Environment

实验使用TensorFlow 2.0.0框架来训练和执行推理模型。基于TensorFlow框架的源代码，通过继承和重写层和模型类来实现GraphDIV A模型。硬件平台使用CPU来训练和测试推理模型。实验分别对原始的DIV A和改进的GraphDIV A模型进行了训练和测试。表2显示了网络的具体参数值。

训练过程中涉及的主要训练参数是有监督预训练期间路径搜索模块的学习率、最大迭代次数、每个样本使用的最大路径数、联合训练中的迭代次数、后验分布和路径推理的学习率以及模块的学习率。给出了每轮样本的先验分布学习率和后验分布生成的路径数。详细信息见表3。除了在联合训练期间使用随机梯度下降（SGD）优化器的后验分布外，其他部分使用Adam优化器。

4.3. Path Search Module T raining

在实验中，为了提高路径搜索模块的训练速度，我们对路径搜索模块进行了预训练，并使用基于带宽的广度优先搜索（BFS）算法来提高搜索速度[33]。该方法可以提供更稳定的训练样本和可控的时间开销。与直接联合训练相比，预训练路径搜索模块可以将搜索失败的概率降低到5%以下。

4.4. Accuracy Rate Analysis

对原始模型和改进模型进行了训练和测试。在实验中，两个模型在后期训练阶段经历过拟合，因此记录最佳检查点作为测试结果。任务中两个模型的准确率如表4和表5所示。

实验结果表明，与原始模型相比，GraphDIV A模型显著提高了标记任务的准确率。在/film/film/written_by task，GraphDIV A的准确率比原始模型提高了4.7%。在/tv/tv/program_languages task中，原始模型的准确率极高，为96%，GraphDIV A的准确率为98%。personborninlocation任务的改进最为明显：原始模型的准确率为78.4%，GraphDIV A的准确率为85.3%，高出6.9%。最后，GraphDIV A在高分辨任务中的平均准确率分别比原始模型高3.2%和3.7%；这表明性能显著提高，并证明了图结构特征对推理任务有显著影响。此外，对于有噪声的任务，GraphDIV A的准确率与原始模型相同，并且由于添加了图形结构特征，对噪声没有过度敏感，反映了改进的实用性。测试结果如图4所示。

Figure 4. （a）FB15K-237测试结果（b）NELL-995测试结果

4.5. Number of T raining Sessions

在数据集上进行了训练和测试，以验证原始模型和改进模型在学习速度和训练时间方面的比较效果。表6和7显示了两个模型实现最佳结果所需的培训课程。

上述数据表明，与原始模型相比，GraphDIV A的学习速度显著提高。例如，在OrganizationalHeadquarteedinCity任务中，GraphDIV A只需要四轮训练即可达到最佳效果。相比之下，DIV A需要14轮训练才能达到最佳效果，而DIVA的最终表现不如GraphDIVA。对于噪声任务，当/film /director /film和/film /film /film /语言达到相当的性能时，GraphDIV A所需的训练课程数与DIV A所需的训练课程数相比显著减少。在最后11项任务中，GraphDIVA在9项任务中比原始模型快，这证明了图形结构感知改进了模型。最佳结果训练阶段如图5所示。

Figure 5. （a）描述FB15K-237最佳结果训练时间；（b）描述NELL-995最佳结果训练阶段。

5. Conclusions and Future Work

在本文中，我们提出了一个新的GraphDIV a模型。该模型基于变分推理DIV-A模型，从网络模型结构和计算过程两个维度进行分析。将图形图像算法引入路径推理模块。它用于解决原始模型无法感知图形结构的特征，从而导致准确率下降的问题。GraphDIV A模型减少了模型训练所需的时间，同时提高了准确率，从而实现了对相邻图结构的特征感知，增强了模型的学习和推理能力。我们在公共数据集上训练了模型。然后，实验证明了该模型的效率和有效性，证明了我们的方法比使用几个基准数据集（如FB15k-237和NELL-995）的基线模型具有更好的准确率和训练时间。通过将图形图像算法引入路径推理模块，本文解决了DIV-A模型无法感知图的结构特征的问题。虽然与原始模型相比，新模型的性能有所提高，但路径搜索模块成为了新的潜在性能瓶颈。由于路径搜索只能实现一维路径表示，因此路径推理模块的视野仅限于以路径为中心的狭窄子网。因此，未来一个重要的研究方向将是进一步调整变分推理模型的架构，以扩大其可以感知的图形特征范围。

References

Hogan, A.; Blomqvist, E.; Cochez, M.; D’Amato, C.; de Melo, G.; Gutierrez, C.; Gayo, J.E.L.; Kirrane, S.; Neumaier, S.; Polleres,
A.; et al. Knowledge graphs. arXiv 2020, arXiv:2003.02320v3.
Caihua, Y .; Tonghui, K.; Jun, L. knowledge graph analysis of low carbon research in China. Resour. Sci. 2012, 10, 1959–1964.
Xu, Z.; Zhang, H.; Hu, C.; Mei, L.; Xuan, J.; Choo, K.K.R.; Sugumaran, V .; Zhu, Y . Building knowledge base of urban emergency
events based on crowdsourcing of social media. Concurr. Comput. Pract. Exp. 2016, 28, 4038–4052. [CrossRef]
Tonghui, K.; Caihua, Y .; Qianjin, Z.; Qinjian, Y . Analysis of knowledge graph of tourism research from 2000 to 2010 based on
CSSCI. J. T our. 2013, 3, 114–119.
Wang, Q.; Mao, Z.; Wang, B.; Guo, L. Knowledge graph embedding: A survey of approaches and applications. IEEE T rans. Knowl.
Data Eng. 2017, 29, 2724–2743. [CrossRef]
Kingma, D.P .; Welling, M. Auto-encoding variational bayes. arXiv 2013, arXiv:1312.6114.
Chen, W.; Xiong, W.; Yan, X.; Wang, W. Variational knowledge graph reasoning. arXiv 2018, arXiv:1803.06581.
Lao, N.; Mitchell, T.; Cohen, W. Random walk inference and learning in a large scale knowledge base. In Proceedings of the
2011 Conference on Empirical Methods in Natural Language Processing, Edinburgh, UK, 27–31 July 2011; Association for
Computational Linguistics: Edinburgh, UK, 2011; pp. 529–539.
Xiong, W.; Hoang, T.; Wang, W.Y . Deeppath: A reinforcement learning method for knowledge graph reasoning. arXiv
2017, arXiv:1707.06690.
Das, R.; Dhuliawala, S.; Zaheer, M.; Vilnis, L.; Durugkar, I.; Krishnamurthy , A.; Smola, A.; McCallum, A. Go for a walk and arrive
at the answer: Reasoning over paths in knowledge bases using reinforcement learning. arXiv 2017, arXiv:1711.05851.
Bordes, A.; Usunier, N.; García-Durán, A.; Weston, J.; Yakhnenko, O. Translating embeddings for modeling multi-relational
data. In Proceedings of the 26th International Conference on Neural Information Processing Systems, Lake Tahoe, NV , USA,
5–10 December 2013; Curran Associates Inc.: Red Hook, NY , USA, 2013; pp. 2787–2795.
Wang, Z.; Zhang, J.; Feng, J.; Chen, Z. Knowledge graph embedding by translating on hyperplanes. In Proceedings of the
Twenty-Eighth AAAI Conference on Artificial Intelligence, AAAI, Québec City , QC, Canada, 27–31 July 2014; pp. 1112–1119.
Ji, G.; He, S.; Xu, L.; Liu, K.; Zhao, J. Knowledge graph embedding via dynamic mapping matrix. In Proceedings of the 53rd
Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language
Processing, Beijing, China, 26–31 July 2015; Association for Computational Linguistics: Beijing, China, 2015; pp. 687–696.
Lin, Y .; Liu, Z.; Sun, M.; Liu, Y .; Zhu, X. Learning entity and relation embeddings for knowledge graph completion. In Proceedings
of the Twenty-Ninth AAAI Conference on Artificial Intelligence, Austin, TX, USA, 25–30 January 2015; AAAI Press: Palo Alto,
CA, USA, 2015; pp. 2181–2187.
Ji, G.; Liu, K.; He, S.; Zhao, J. Knowledge graph completion with adaptive sparse transfer matrix. In Proceedings of the Thirtieth
AAAI Conference on Artificial Intelligence, AAAI, Phoenix, AZ, USA, 12–17 February 2016; pp. 985–991.
Neelakantan, A.; Roth, B.; McCallum, A. Compositional vector space models for knowledge base inference. In AAAI Spring
Symposia 2015; AAAI: Palo Alto, CA, USA, 2015; pp. 1–4.
Das, R.; Neelakantan, A.; Belanger, D.; McCallum, A. Chains of reasoning over entities, relations, and text using recurrent neural
networks. arXiv 2016, arXiv:1607.01426.
Zhang, Y .; Dai, H.; Kozareva, Z.; Smola, A.J.; Song, L. Variational reasoning for question answering with knowledge graph. In
Thirty-Second AAAI Conference on Artificial Intelligence; AAAI Press: New Orleans, LA, USA, 2018; pp. 6069–6076.
Geng, Q.; Zhou, Z.; Cao, X. Survey of recent progress in semantic image segmentation with CNNs. Sci. China Inf. Sci. 2018,
61, 051101. [CrossRef]
Duvenaud, D.; Maclaurin, D.; Aguilera-Iparraguirre, J.; Gómez-Bombarelli, R.; Hirzel, T.; Aspuru-Guzik, A.; Adams, R.P .
Convolutional networks on graphs for learning molecular fingerprints. arXiv 2015, arXiv:1509.09292.
Kipf, T.N.; Welling, M. Semi-supervised classification with graph convolutional networks. arXiv 2016, arXiv:1609.02907.
Wang, H.; Lin, H.Z.; Lu, L.Y . Knowledge Map Inference Algorithm Based on AT_GCN Model[J/OL].Computer Engineering and
Application:1-8[2019-08-15]. Available online: http://kns.cnki.net/kcms/detail/11.2127.TP .20190719.0943.005.html (accessed on
25 January 2021).
Peng, Z.; Yu, H.; Jia, X. Path-based reasoning with K-nearest neighbor and position embedding for knowledge graph completion.
J. Intell. Inf. Syst. 2021, 58, 513–533. [CrossRef]
Tiwari, P .; Zhu, H.; Pandey , H.M. DAPath: Distance-aware knowledge graph reasoning based on deep reinforcement learning.
Neural Netw. 2021, 135, 1–12. [CrossRef] [PubMed]
Wang, Q.; Hao, Y .; Chen, F. Deepening the IDA* algorithm for knowledge graph reasoning through neural network architecture.
Neurocomputing 2021, 429, 101–109. [CrossRef]
Liu, H.; Zhou, S.; Chen, C.; Gao, T.; Xu, J.; Shu, M. Dynamic knowledge graph reasoning based on deep reinforcement learning.
Knowl.-Based Syst. 2022, 241, 108235. [CrossRef]
Zhang, Y .; Yao, Q. Knowledge graph reasoning with relational digraph. In Proceedings of the ACM Web Conference, Lyon,
France, 25–29 April 2022; pp. 912–924.
Zhu, A.; Ouyang, D.; Liang, S.; Shao, J. Step by step: A hierarchical framework for multi-hop knowledge graph reasoning with
reinforcement learning. Knowl.-Based Syst. 2022, 248, 108843. [CrossRef]
Hamilton, W.; Ying, R.; Leskovec, J. Inductive representation learning on large graphs. In Proceedings of the 31st International
Conference on Neural Information Processing Systems, Long Beach, CA, USA, 4–9 December 2017; pp. 1025–1035.
Połap, D.; Wo´ zniak, M.; Wei, W.; Damaševiˇ cius, R. Multi-threaded learning control mechanism for neural networks. Future Gener.
Comput. Syst. 2018, 87, 16–34. [CrossRef]
Toutanova, K.; Chen, D.; Pantel, P .; Poon, H.; Choudhury , P .; Gamon, M. Representing text for joint embedding of text and
knowledge bases. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, Lisbon, Portugal,
17–21 September 2015; Association for Computational Linguistics: Lisbon, Portugal, 2015; pp. 1499–1509.
Betteridge, J.; Carlson, A.; Hong, S.A.; Hruschka, E.R.; Law, E.L.M.; Tom, M.; Wang, S.H. Toward never ending language
learning. In Proceedings of the AAAI Spring Symposium: Learning by Reading and Learning to Read, Stanford, CA, USA,
23–25 March 2009; pp. 1–2.
Liu, S.; Xia, Z. A two-stage BFS local community detection algorithm based on node transfer similarity and local clustering
coefficient. Phys. A Stat. Mech. Appl. 2020, 537, 122717. [CrossRef]