知识增强图语义理解技术

公众号系统之神与我同在

本文包含四个部分:

1、语义理解与图（预训练模型与外部知识）

2、ERNIESage（语义图理解技术）

3、知识增强预训练（隐式与显式知识表示）

4、工业应用落地（案例介绍）

语义理解与图

文本匹配的多种视角

ERINE的辉煌胜绩

更强ERNIE模型的使用，可访问文心平台： https://ai.baidu.com/easydl/nlp/

GraphSage的介绍

GraphSAGE源于图卷积网络

图像卷积将一个像素点周围的像素按照不同的权重叠加起来。

图结构卷积将一个节点周围的邻居按照不同的权重叠加起来。

图像取样和聚合

已有方法对文本+图的局限

项目代码：https://github.com/PaddlePaddle

文本图的来源：知识引入

ERNIESage-Node节点语义理解

ERNIESage-Edge边的“单塔”聚合

ERNIESage-Node与ERNIESage-Edge对比

ERNIESage-1 Neighbor：邻居的单塔聚合

·用ERNIE来作为节点聚合函数实现邻居**“单塔”聚合**
·序不变性：互不相见Attention Mask，以及独立Position Embedding
·长度无限：Sampling机制、ERNIE Doc

ERNIESage-N Neighbor：多阶邻居的token-level深度聚合

结合Node和Edge的方案，将token-level的交互扩展到通用多层聚合
保留每一层的Token级别特征，并且每一层通过Multi-Head Attention交互

ERNIESage 4种模型总结

① 结合语义与结构信息的ERNIESage取得最好效果：MRR平均提升**+9.7%**

② ERNIESage横向比较：使用ERNIE建模邻居信息取得最优效果
ERNIESage在文本图推理TextGraph-14 Coling协办比赛中的应用

2006年开始举办，今年为第14届
数据量少, 人工标注困难
挑战难度大, 基于图的多步推理
任务目标：在解释图中进行多步文本推理，召回出符合推理过程的若干节点

ERNIESage在文本图推理TextGraph-14 Coling协办比赛中的应用

• 基于ERNIESage模型以60.33的MAP分数取得第1名，领先第二名2%

显式Explicit/隐式Impicit引入知识

显式知识引入

·额外知识库的引入（上线逻辑复杂）
·知识建模（计算效率变慢）

隐式知识引入

·预训练的方法“尽量”捕捉知识
·不需要再扩大预训练模型

知识增强预训练

聚合知识模块——负责知识交互，捕捉知识之间关系

通过知识增强的 CLS还原被Mask的Tokens

下游任务应用

工业应用落地

工业落地案例#1: 关键词触发

工业落地案例#2: 地图POI ERNIESage检索

总结

将知识以图的形式加入到语义理解中

用ERNIESage建模语义图

通过知识增强预训练来提升模型效果