知识图谱推理：现代的方法与应用

摘要：

知识图谱推理技术再根据已有的知识推导出新的知识，是机器智能具有和人类一样的推理能力和决策能力的关键性技术，系统的研究了知识图谱推理的现代方法，通过统一的架构介绍了向量空间中进行知识图谱推理的现代方法，通过统一的架构介绍了向量空间中进行知识图谱推理的模型，包括基于几何运算嵌入欧几里得空间和双曲空间的方法，基于卷积神经网络、胶囊网络、图神经网络等深度网络模型的方法，同时系统地梳理了知识推理技术在各技术领域和各行业的应用情况，指出了当前存在挑战以及其中蕴含的机会。

关键词：

知识推理、双曲空间嵌入、几何运算、胶囊网络、图神经网络。

介绍：

近年来，知识图谱技术得到极大的发展，大量的知识图谱被构建出来，并被广
泛应用在各种场景下。从语义解析、实体消歧、信息抽取、智能问答、推荐系统、个性化搜索等技术方向到金融、军工、制造业、生物医药等行业，都可以看到知识图谱的应用，同时知识图谱的应用也在促进知识图谱技术的发展。知识图谱是事实或知识的结构化表示，是由实体和实体间的关系组成的网状结构。实体是指独立的、拥有清晰特征的、能够区别于其他事物的事物。在知识图谱中，用来描述这些事物的信息即实体。实体在属性图中用顶点来表示，实体关联的类型即实体类型，在属性图中用顶点标签来表示。关系表达了两个实体之间的某种语义关系，通常以语义标签来表示，在属性图中表示为有向的边。也就是说，知识图谱G由一系列的三元组<h,r,t>组成，其中h和t分别表示头实体和尾实体，r表示由h 到t的有向关系。推理是一种人类逻辑思维，让机器能够像人类一样拥有推理能力一直是人工智能发展的目标。符号推理和专家系统是早期的尝试，在知识图谱被提出和发展起来
之后，基于知识图谱的推理技术[1-2]也随之发展，并成为人工智能中非常热门的领域之一，也被认为是人工智能迈向具备和人类一样的推理和决策能力的G关键技术。在知识图谱推理中，知识图谱本身提供了人类知识和经验的总结，推理技术则实现了基于知识图谱中已有的知识来发现潜在的、未知的知识，极大地扩展了诸如知识问答、个性化搜索和智能推荐等能力。同时，在行业应用中，将领域知识图谱和推理技术结合，从而实现辅助分析和决策支持。
本文给出了知识推理的定义，并介绍了知识图谱推理技术；然后分别介绍了现代的基于几何运算和基于深度学习的知识图谱推理技术，并分别从技术领域和行业领域两个角度介绍了知识图谱推理技术的应用；最后给出了知识图谱推理存在的挑战以及值得关注的研究方向。

2、知识图谱推理

知识图谱推理旨在从已有的知识中发现新的知识。对于知识图谱来说，新的知识可以分为两种：新的实体和新的关系。新的实体涉及的技术领域通常是实体抽取、实体消歧、实体融合等相关的自然语言处理或知识图谱技术。新的关系涉及的技术领域则有关系抽取和知识推理等。知识图谱推理，或称知识推理，指在既定的知识图谱中通过推理技术推导出实体间潜在的或者新的关系，发现新的知识。在图数据库、图论等相关领域往往又被称为链接预测。
知识图谱推理技术是伴随着人工智能、自然语言处理、语义网等技术发展起来的。早期有基于规则的方法，著名知识图谱NELL[3]利用手写规则的推理方法来不断扩充规模。一阶逻辑（first order logic，FOL）是早期的一种符号推理系统，也被用于知识图谱推理[4]。针对手写规则烦琐的问题，可采用将规则与统计学习结合的马尔可夫逻辑网（Markov logic network，M LN ）[5-7]，ＭLN是经典的推理方法。知识图谱的层次结构和逻辑结构往往被表示为本体（ontology）或模式（schema），基于本体的推理方法是知识图谱推理的经典方法之一，也是现实应用中很有意义的方法[8]。随机游走（random walk）是概率统计中经典的随机过程，将其应用于知识图谱推理中产生了著名的路径排序算法（path ranking algorith m，PRA）[9]及其与深度强化学习结合的深度路径（deep path）方法[10]。近年来，随着以深度学习为基础的人工智能技术的蓬勃发展，将知识图谱嵌入低维空间的方法逐渐成为主流，TransE[11]是其中的先锋。
本文中关注的知识图谱推理方式是从TransE模型开始，源自自然语言处理领域的word2vec。是当前效果最好的、主流的、契合深度学习潮流的方法，也被称为现代的方法。这类方法可学习出知识图谱的稠密向量表示，是知识图谱领域的表示学习。对于学习出的稠密向量，既可以直接进行推理应用，也便于使用各种深度学习模型和算法来实现下游任务，如知识问答或辅助决策等。
知识图谱G={<h,r,t>}⊆E×R×E，其中E为实体集合，h、t∈E；R为关系集合，r∈R。现代知识图谱推理方法的目标是通过定义一个打分函数 fr(h,t)来学习出表示实体和关系的向量h,tϵRd,rϵRdh,t\epsilon R^{d},r \epsilon R^{d}h,tϵRd,rϵRd所示，其中→表示映射：
fh,t:RdxRdxRd→Rf_{h,t}:R^{d}xR^{d}xR^{d} \rightarrow R fh,t:RdxRdxRd→R
对于符合知识图谱的正样本来说，期望打分函数计算出的分数无限接近于0。其中，de和dr表示实体和关系向量的维度，在大多数模型中:d=de=dr,在进行知识图谱推理时，对于任意给定的实体对<h,t>，遍历知识图谱中的关系r∈R，并计算<h,r,t>的分数，若低于某个阈值，则表示h和t之间存在关系r。在某些时候需要从<h,r>中推断t，此时可以遍历所有的实体t∈E，使用式（1）来计算分数，若分数低于某个阈值，则表明实体h在关系r的作用下，得到了实体t。

3、基于几何运算的方法

基于几何运算的模型是从word2vec延伸出来的，将知识图谱通过平移或旋转等几何运算嵌入低维的几何空间中（通常是欧几里得空间，也可以是双曲空间等）。其中平移表现为向量加法，旋转表现为哈达玛积（Hadamard product），嵌入则是一个数学中与流形相关的概念，表达一个数学结构的实例通过映射包含到另一个实例中。将知识图谱嵌入几何空间时，解决知识图谱中不同特点的关系的推理问题，从而推进基于几何运算的方法的发展，这些特点包括一对一、一对多、多对一、多对多[13]、对称性（symmetry）、反对称性（anti-symmetry）、反向性（inversion）和组合性（c omposition）[14]等。

3.1 欧几里得空间嵌入

知识图谱推理的现代方法的雏形是word2vec，并从TransE模型开始逐渐发展起来。图1表示了word2vec 模型学习出来的词向量满足：w广东省−w广州市=w浙江省−w杭州市w_{广东省}-w_{广州市}=w_{浙江省}- w_{杭州市}w广东省−w广州市=w浙江省−w杭州市，其隐含的关系“省会”（图1中虚线）没有被明确表示出来。TransE 将word2vec中隐含的关系用向量明确地表示出来，并应用到知识图谱中。

基于几何运算的知识图谱推理在TransE[11]的基础上持续发展。TransE把实体间的关系用向量明确地表示出来，并用几何平移来解释实体间的关系。如下图所示：

继TransE后大量平移或旋转的方法被提出来，这些方法和TransE一样使用欧氏距离来计算打分函数，使用基于能量的方法来定义损失函数，并用随机梯度下降来优化模型。
TransE将实体和关系嵌入同一个空间中，并定义打分函数为：
fr(h,t)=∣∣h+r−t∣∣22f_{r}(h,t)=||h+r-t||_{2}^{2}fr(h,t)=∣∣h+r−t∣∣22
式子中：||·||2表示 L2范数（L2 norm），TransE模型对仅有一对一关系的知识图谱非常友好，能够学习出各种具有反对称性、反向性和组合性的关系。其结构简单、运算量小，是某些现实场景的首选方法。
TransH拓展了TransE模型，为每个关系学习嵌入空间中一个超平面Wr(∣∣Wr=1)W_{r}(||W_{r}=1)Wr(∣∣Wr=1)。并且将<h,r,t>三元组解释为实体在关系平面的平移变换。如图所示：

TransH先将实体向量h和t映射到关系超平面Wr 上，得到h′=h−WrThWrh^{'}=h-W_{r}^{T}hW_{r}h′=h−WrThWr和t′=t−WrTtWrt^{'}=t-W_{r}^{T}tW_{r}t′=t−WrTtWr，并且将关系表示为超平面上的平移变换，即向量加法h′+r=t′h^{'}+r=t^{'}h′+r=t′,由此可以得到TransH的打分函数如下：

TransH模型通过关系特定的超平面，实现了自反、一对多、多对一和多对多的嵌入表示。
TransR模型将实体和关系分别嵌入不同的几何空间，使得相同的实体在不同的关系下能够表示不同的语义，进一步增强知识图谱的推理能力：

TransR通过映射矩阵MrϵRdxdM_{r} \epsilon R^{dxd}MrϵRdxd将实体向量h,th,th,t映射到关系空间中得到hr=hMrh_{r}=hM_{r}hr=hMr和tr=tMrt_{r}=tM_{r}tr=tMr,并且在关系空间中进行平移变换，即hr+r=trh_{r}+r=t_{r}hr+r=tr,因此TransR的打分函数定义为：

TransD模型 [16]用实体映射向量hp,tpϵRdh_{p},t_{p} \epsilon R^{d}hp,tpϵRd和关系映射向量rpϵRdr_{p} \epsilon R^{d}rpϵRd来构造映射矩阵Mn=rphpT+IdxdM_{n}=r_{p}h_{p}^{T}+I^{dxd}Mn=rphpT+Idxd和Mn=rptpT+IdxdM_{n}=r_{p}t_{p}^{T}+I^{dxd}Mn=rptpT+Idxd，其中（I表示单位矩阵），并代替TransR中的映射矩阵Mr，使得模型能够表达实体在不同关系中潜在的多个语义关系。由于向量乘法效率高于矩阵乘法，将TransD模型应用于大规模知识图谱中具有计算效率上的优势。类似地，TransD的打分函数为：

可以看出，TransE、TransH、TransR和TransD 4个模型一脉相承，都是用欧几里得空间中的平移来解释实体间的关系，并用欧氏距离来表示分数。进一步地，TransG模型[17]对这一模式进行了泛化建模，并用贝叶斯参数无限混合模型（Bayesian non-parametric
infini te mixture model）[18]和中国餐馆过程（Chinese restaurant process，CRP）来解决关系的多语义表达问题。
TransG的打分函数是：

总体来说，TransG模型能够表示关系的多种语义。对其进行主成分（primary compo nent）分析可知，TransE 模型是TransG 模型针对主成分的特例，而TransG则是TransE的泛化，图3展示了两个模型。

旋转和平移是几何空间的基本操作。RotatE[14]使用旋转代替平移对关系进行建模，图4展示了RotatE与TransE的区别。

同时，为了表达旋转，实体和关系的嵌入向量从实数扩展到复数向量空间。旋转在复向量空间的运算表示为向量的哈达玛积，即每个元素分别相乘的运算，这个与平移操作的加法是类似的。对于<h,r,t>，RotatE将实体和关系嵌入复向量空间h,r,tϵC∗dh,r,t\epsilon C*{d}h,r,tϵC∗d，定义打分函数为：

其中，〇表示哈达玛积，模型将向量限制在单位圆中，并解释为逆时针的旋转，作用于复向量的相位部分。与平移的方法相比，RotatE能更加高效地实现对称和反对称、
反向和组合这些关系类型的建模。例如，r=e0/iπ=±1r=e^{0/i \pi }= \pm1r=e0/iπ=±1可以表示关系 r是对称的，r1 和 r2是共轭的，可以表示两个关系 r1和 r2是反向的，r3=r1〇 r2可以表示 r3是 r1和 r2的组合。RotatE对具有如上特点的知识图谱推理能够事半功倍。

3.2 双曲空间嵌入

双曲空间（hyperbolic space）是具有常数负曲率的齐次空间，而欧几里得空间则是零曲率的。双曲几何提供了高效的方法来学习层次数据的低维嵌入，特别的，仅仅用二维的双曲空间就能够以任意低的失真度嵌入树形数据。也就是说将类似知识图谱这样具有丰富层次结构的数据嵌入双曲空间中，比嵌入欧几里得空间更加高效。双曲空间嵌入通常使用d维庞加莱球：

来表示，其中d表示庞加莱球的维度，-c表示曲率，庞加莱球的远点和对应的切线空间T0cT_{0}^{c}T0c是从原点离开的所有可能路径的方向的d维向量空间。切线空间T0cT_{0}^{c}T0c到BcdB_{c}^{d}Bcd的映射通过指数映射实现，而BcdB_{c}^{d}Bcd到T0cT_{0}^{c}T0c通过对数映射来实现：

在双曲空间中，向量x、y的加法通过莫比乌斯加法⊕c实现，向量y和矩阵M的乘法通过莫比乌斯矩阵-向量乘法⊗c实现，分别定义如下：

其中， x y 表示两个向量的内积，其结果是个标量。类似欧几里得空间的欧氏距
离，双曲空间距离[21-22] 定义如下：

在双曲空间中，三元组<h,r,t>对应的d维向量h,t,rϵBcdh,t,r\epsilon B^{d}_{c}h,t,rϵBcd ，其中c表示双曲空间的曲率。和欧几里得空间一样，模型通过打分函数fr(h,t)f_{r}(h,t)fr(h,t) 来实现知识图谱推理；
MuRP[23]模型采用曲率为-1的庞加莱球模型（c=1）对图谱的实体关系进行建模，使用式（11），类似TransE，MuRP的打分函数定义为：

其中，RϵBcdxdR\epsilon B^{dxd}_{c}RϵBcdxd是关系对角矩阵，bh、bt是两个偏置。双曲嵌入与欧几里得空间嵌入不同的是，模型会为每个实体额外学习一个偏置b，b表示实体在双曲空间中的影响范围，图5是MuRP模型的几何直观解释。即头实体h和尾实体t经过同一关系r调整为双曲空间的两个球体，如果存在重叠，则表示<h,r,t>成立，反之则表示h和t不存在关系。

和MuRP使用平移来建模实体间的关系不同，ATTH[24]模型使用吉文斯变换表示旋转和反射，从而捕捉不同语义的关系，并使用双曲注意力机制来融合几何运算，同时归纳出更为复杂的逻辑模式。此外，考虑到不同关系蕴含的语义信息不一样，ATTH采用可学习的变量为不同的关系自动学习出最佳的曲率cr。类似 TransR、TransD 定义出双曲空间中的旋转运算：hrotr=Mrotrhh^{r}_{rot}=M_{rot}^{r}hhrotr=Mrotrh和反射运算：hrefr=Mrefrhh^{r}_{ref}=M_{ref}^{r}hhrefr=Mrefrh。ATTH模型中注意力机制是在庞加莱球的切线空间（一种欧几里得空间）中进行的。

4、基于深度学习的方法：

近年来，深度学习被广泛地应用在计算机视觉、图像处理、语音识别和自然语言处理等人工智能领域。同样地，深度学习也被应用于知识图谱推理，本文介绍了主流的和应用非常广泛的若干方法。首先介绍基于深度学习的知识图谱推理方法，然后将相应的深度神经网络转化成打分函数。深度神经网络更加复杂，且包含了大量的非线性运算，从而能够学到更多的特征，但也因此存在“黑盒”的不直观问题，影响了推理的解释性。

4.1 卷积神经网络模型

卷积神经网络将卷积应用于神经网络，通过局部感知、参数共享等特点，实现了深层的特征学习，成为深度学习中非常重要的网络之一。ConvE[25]将卷积神经网络应用于知识图谱推理，其网络结构如图6（a）所示，打分函数定义为：

ConvE模型通常使用小的滤波器进行卷积，这样实体和关系间的交互仅在二维矩阵rˉ\bar{r}rˉ和hˉ\bar{h}hˉ的拼接处，能够很好地被学习，而远离拼接处的特征则较少被学习。ConvR[26]将关系转化为滤波器来对实体向量进行卷积运算，从而获得更好的实体-关系间交互的特征表达。通过比较图6（a）和图6（b），可以直观地理解ConvE和ConvR的异同，并理解各自的特点和优劣。类似地，ConvR的打分函数为：

和ConvE一样，hˉ\bar{h}hˉ 由h重组得到。

4.2 胶囊网络模型

CapsE[27]是将胶囊网络（capsule network，CapsNet）[28]用于知识图谱推理的一种模型。其基本原理是将三元组的3个嵌入向量组装成3列的矩阵，用卷积网络来学习出相应的特征，并通过两层的胶囊网络为三元组打分。CapsE模型如图7所示，由于滤波器同时作用于h、r、t，因此可以捕捉到更多的特征。其打分函数为：

4.3 图神经网络模型：

图神经网络是将深度学习技术应用于图结构数据的方法，是最近人工智能中非常热门的研究领域之一。图神经网络天然地适用于知识图谱推理。关系图卷积网络（relational gr aph convolutional network，R-GCN）[29]是较早对关系进行建模实现知识图谱推理的图自编码器模型。R-GCN模型的每一层都使用了图8和式（17）所示的传播模型来编码知识图谱。

式（17）的参数Wr(l) 会因知识图谱中关系的增加而急剧变大，导致模型巨大，并且非常容易过拟合。基分解（basis decomposition）和块对角分解（block diagonal decomposition）是解决这个问题的两种方法，在使用R-GCN时可以根据
实际情况选择其中一种。
RGHAT[31]是一种通过加入两层注意力来进一步改善关系图神经网络的效果的知识图谱推理方法。ATTH[24]使用注意力机制自动归纳出知识图谱的逻辑结构，而RGHAT使用两层注意力分别归纳实体和同一关系下邻接实体的特征，其模型如图9所示：

5、知识推理应用：

5.1 知识图谱补全

知识图谱普遍存在知识缺失的事实，也就是知识图谱的不完备性。如图10所示，实线部分是知识图谱存在的关系，比如<张三,出生于,厦门市>和<张三,任职于,甲公司>等，而虚线部分是知识图谱中缺失的，比如<张三,工作于,上海市>和<张三,出生于,中国>等。知识图谱补全（knowledge graph completion）的目标是发现这些缺失的知识，并将其补充到知识图谱中，使得知识图谱趋向完备。
知识图谱补全是知识推理应用最多的领域，大量的知识图谱推理算法被提出来的初衷就是应用于知识图谱补全，如MLN[7]、TransR[15]、CapsE[27]、RGHAT[31]等。前面提到的所有方法都可以通过在向量空间的推理来断定任意实体间是否存在某种关系，进而实现知识图谱的补全。

5.2 知识问答：

问答（question answering，QA）系统是自然语言处理领域一个重要的发展方向，其目标是通过自然语言的方式来获取知识。在很多真实应用场景下，基于知识图谱的问答系统能够带来极大的知识获取的便利性。但除了简单地从知识图谱中检索实体，更多的问题要求问答系统具有知识推理的能力[32-33]。本文介绍的知识推理方法都可以用于基于知识图谱的知识问答系统中，用来回答复杂的问题，提升结果的准确性、完备性等[34-35]。
除了将知识图谱嵌入通用的知识问答系统，也可将知识推理等技术直接应用于问答系统来解决特定的问题。比如用R-GCN来建模多轮对话问答系统的对话结构和背景知识[36]。基于知识图谱嵌入的问答系统正在兴起，比如将TransE向量空间与搜索技术结合，实现了基于知识图谱嵌入的问答系统[37]。
随着现代知识图谱推理方法的研究逐渐深入，知识问答的效果也持续改善，同时将上述这些知识推理技术和问答技术结合用于解决特定问题的方法也在兴起。

5.3 推荐系统

推荐系统是随着互联网的发展、信息的极大丰富而兴起的技术，旨在理解用户并主动给用户推荐信息。随着知识图谱技术的发展，将知识图谱和推荐系统全方位地结合。从而更深入地理解用户，更好地匹配用户需求，同时提供更强的解释性。在理解用户方面，知识图谱能够对用户之间的网状关系进行建模，通过购买同一件商品、看过同一个视频、对同一条信息点赞等用户行为构建行为图谱，并利用知识图谱推理技术推断用户间的关系，挖掘潜在的深度需求，配合协同过滤等推荐技术来改善推荐的效果。参考文献[38]利用知识图谱来丰富用户信息，并使用R-GCN对关系和结构建模推理，从而更好地理解用户。推荐的内容（如商品、信息、知识、人物等）同样可以通过各种关系来构建知识图谱，使用推理技术来挖掘潜在特征，推断潜在关系，增强对推荐内容的理解，改善推荐效果。参考文献[39]尝试使用TransR[15]来建模结构化的推荐内容，以提升推荐效果。在此之上，推荐本身可以看成用户- 推荐内容之间的复杂的网状关系，由此可应用知识图谱推理技术来直接实现推荐。KGAT[40]结合TransR[15]和深度学习实现了知识图谱注意力网络的推荐方法。随着知识图谱和知识推理技术的进一步发展和成熟，各种现代的知识推理方法在推荐领域的应用也会越来越多，并逐渐成为主流。

5.4 个性化搜索

个性化搜索是充分利用搜索和点击等历史行为记录和用户本身的信息来实现个性化的搜索，返回更加匹配用户的结果。比如同样搜索“苹果”，果农和电子产品爱好者对搜索结果的期望是不同的；而搜索“天气预报”，在上海的人和在北京的人对搜索结果的期望也是不一样的。个性化搜索是致力于解决这类问题的技术。推荐系统中的使用知识图谱及推理技术对用户建模的方法可以用于个性化搜索。直接使用知识推理技术来实现个性化搜索的方法也在被尝试，参考文献[41]将用户、文档以及用户与文档产生的搜索、点击等交互关系构建成知识图谱，并使用TransE[11]推理方法实现个性化搜索。参考文献[42]则将ConvE[25]的改进版本ConvKB应用于个性化搜索。

6、行业应用

随着知识图谱的流行，知识推理在各行各业被广泛应用。在金融、投资、保险、地产、电力电网、能源、制造、生物医药、医疗、智慧城市[43]等行业都能见到知识图谱推理技术的应用，本文主要介绍金融、生物医药和智能制造行业的应用情况。

6.1 金融行业

知识图谱被广泛应用在金融行业，在风险监测与控制、事件、舆情、对话机器人、金融市场事件监测等方面都有知识图谱的身影，大量的知识推理方法也被应用在具体的场景下。在风险监测与控制方面，在基于企业工商信息、诉讼信息、招聘信息以及风险事件等数据构建的大规模知识图谱中，可以利用知识推理技术挖掘隐藏的关联关系、风险传导链、担保圈链等。在金融舆情方面，可构建事件及其影响关系的图谱，使用知识推理技术来完善图谱中的关联关系，识别事件的真伪和影响后果等。在对话机器人方面，针对规章制度、财务制度、财务知识、业务知识等建立知识图谱，并使用基于知识图谱的问答技术实现对话机器人，随时随地满足客户获取知识的需要。在投资研究方面，基于事件构建图谱，并使用知识图谱推理技术来研究对金融市场的影响[44]。针对小微企业信贷业务的特点，构建全方位企业画像与企业关联图谱的贷前反欺诈模型，定量评估小微企业客户的欺诈风险，能够有效地帮助银行机构更准确地对企业申贷欺诈行为进行评估。

6.2 生物医药行业

生物医药行业的多个子领域深入应用了知识图谱和推理技术，包括药物图谱、疾病图谱、蛋白质图谱、基因图谱、药物份子信息图谱等，涉及生物医药行业的方方面面[46-47]。这些图谱同样存在不完备的情况，可使用知识图谱推理技术来完善这些图谱。
生物医药的研究对象通常是复杂的微观结构以及这些微观结构间的关系，深度学习中很多与图结构相关的算法是生物医药领域的研究人员提出的[48]。同样地，知识图谱推理技术也被广泛地直接应用于生物医药的研究，参考文献[49]利用R-GCN[29]模型作为编码器，并使用张量分解作为解码器，使用知识图谱推理的方法来推断药物-蛋白质、蛋白质-蛋白质、药物-药物、药物-副作用等方面的相互作用。GrEDeL[50]使用两个TransE[11]结合L STM的模型，从公开文献中挖掘潜在的治疗疾病药物，该模型把文献中构建的生物医药知识图谱拆分成语义图谱（semantic graph）和类型图谱（type graph），并用两个TransE分别对这两个图谱进行建模，然后使用LSTM模型来挖掘适用于疾病的药物。

6.3 智能制造行业

智能制造行业极大地依赖于工程师和工人的知识与经验，为了适应越来越复杂的产品设计、生产制造等过程，知识图谱也被用来积淀、传承、管理和应用智能制造中理化、电子电气、工艺、失效、故障等的知识和经验，避免知识的流失，辅助设计工程师、质量工程师和制造工程师分析问题，帮助现场工人快速解决问题，以及激发创新创造等。知识图谱推理技术可以用来完善图谱数据，改善图谱质量，提升知识
和经验的完备性[51]。
智能制造通常涉及多个跨领域的知识、规范、标准等，可以使用知识图谱技术来跟踪、跟进这些规范标准，并保持更新。参考文献[52]是致力于将工业4.0的标准进行图谱化的一个尝试。中国电子技术标准化研究院也在尝试将国内各种标准图谱化。辅以知识问答技术和推荐技术，能够更加方便地推进制造业应用最新的知识、经验、规范、标准等。进一步地，设备传感器采集的大量信息能够有效地监测制造过程。知识图谱推理技术同样能够用在这些数据所构建的设备和制造过程的图谱中，优化生产制造过程，优化保养周期、预测可能发生的故障，保证生产过程处于良好的状态[53]。参考文献[54]利用TransE[11]融合来自传感器的操作数据源和制造图谱的实体，为潜在的未知实体提供自动化融合的建议，从而保持数字孪生的同步，对于依赖于数
据的实时对齐的监视和管理应用具有巨大价值。在更多专业的领域，知识图谱推
理技术也在发挥其价值，参考文献[55]探索了电子自动化设计（electronic design
automation，EDA）中应用R-GCN的场景。在更广泛的智能制造场景中（如供应链管理、客户和供应商管理、BOM的自动创建、转换与管理、工厂员工管理等方面），知识图谱推理技术也被用来提升智能化管理水平。

7、挑战与未来展望

近些年来，现代的知识图谱推理技术正在快速发展，许多模型在各自的领域有
非常好的效果，并且被广泛应用，但远未达到完美的状态，挑战和机遇并存。
● 知识图谱嵌入通常是嵌入欧几里得空间，近些年，MuRP、ATTH等模型探索了嵌入双曲空间的情形，获得了非常好的效果。但总体上，把知识图谱嵌入双曲空间的研究还是少数。而已有的模型表明双曲空间等非欧几里得空间能够更好地表达知识图谱。在非欧几里得空间进行知识图谱表示和推理是非常值得继续探索的。
● 图神经网络天然匹配知识图谱，本文介绍的R-GCN和R GHAT等模型还是早期的尝试，远未完美。设计出更加精巧的图网络结构来实现知识图谱推理会是热门
且机会巨大的方向。
● 变换器（transformer）[1,56]网络因其在自然语言处理领域强大的表达能力和高
效的并行训练能力而大放异彩，并迅速地迁移到计算机视觉、图像处理和语音识别
等领域，效果同样出众。相信变换器网络在知识图谱和知识图谱推理方面同样能表
现出众。
● 基于预训练模型的迁移学习在自然语言处理、图像处理和计算机视觉等领域应用广泛，但在知识图谱推理方面还比较少见。探索知识图谱和知识图谱推理方面。的预训练模型是值得尝试的。
● 现代的知识图谱推理技术在数据集以及相应的竞赛、评测等方面同样存在巨大的机会，特别是中文知识图谱的数据集。

8、结束语

本文首先系统地研究了知识图谱推理的现代的方法和应用，提出了一种统一的框架来详细介绍现代主流的知识图谱推理模型，方便读者基于自身研究领域来比较其中的异同和优劣。现代的知识图谱推理方法通过几何的或深度学习的方法将知识图谱嵌入低维空间，包括欧几里得空间和双曲空间等。紧接着详细介绍了嵌入欧几里得空间的Trans*和RotatE等方法，同时介绍了能够更好地表达知识图谱结构和逻辑的双曲空间嵌入，并介绍了MuRP和ATTH等方法。在深度学习发展如火如荼的今天，基于深度学习的知识图谱推理方法不断被提出，本文使用相同的框架介绍了主流的深度卷积网络、胶囊网络、图神经网络等方法。随着知识图谱推理技术的日趋成熟，其应用也日趋广泛。随后详细介绍了知识图谱推理技术在知识图谱补全、知识问答、推荐系统和个性化搜索等方面的应用，同时还针对金融、生物医药和智能制造3个行业介绍了知识图谱及其推理技术的应用。最后梳理了知识图谱推理方面的一些挑战和值得关注的研究方向，供读者参考。