ERNIE-Enhanced Language Representation with Informative Entities 阅读笔记

2019年清华在ACL提出ERNIE模型，同年，百度也提出一个ERNIE模型。本篇论文主要针对的是清华的模型。
BERT模型在很多NLP任务中取得很好的效果，但是BERT模型只是就事论事，缺乏对知识的理解。因此ERINE模型在输入上加入了sentence存在于知识图谱中的实体信息。比如’Bob is a writer.‘，在bert中原始的输入为[‘Bob’, ‘is’, ‘a’, ‘writer’, ‘.’]，ERINE加入的额外输入为[‘Q191000’, ‘UNK’, ‘UNK’, ‘Q1910001’, ‘.’ ]。这里的’Q191000’，‘Q1910001’是’Bob’、 'writer’这两个实体的id。对于包含多个token的实体，比如Jim Henson，只会和第一个token Jim进行对齐，因为作者假设模型会自动将实体信息传递到token上。
ERNIE和Bert在与训练基础上，都增加了预测MASK实体，但是原本标注的实体信息可能存在错误，因此ENRIE采用了以下三个策略：

5%概率随机替换实体，以期模型可以纠正错误的实体对齐
15%概率mask掉实体，以期模型可以抽取出没有标注的实体
80%概率，保留原来的实体，以期能够将实体与知识进行融合，提高NLU效果
该模型的架构如下图所示：

可以看到，该模型在T-Encoder上和bert是一样的，但是K-Encoder上，ERNIE不仅包含原始的输入，还假如了实体在知识图谱中的信息。
根据原始代码，可以画出如下的结构图：

引用：像ERNIE那样做个有知识的BERT
输入token以及entities的enbedding后，分别用5层bertlayer_sim（T-Encoder，即原始的transformer）、1层bertlayermix（K-Encoder）、6层bertlayer（K-Encoder）得到最终输出。
在普通任务上，bert和ERNIE模型的输入是一样的，但在实体相关的任务上，ERNIE需要经过特殊处理。Entity Typing任务中，在实体两端加入ENT这个token；在Relation Classification任务中，在头部实体两端加入HD这个token，在尾部实体加入TL这个token。

ERNIE-Enhanced Language Representation with Informative Entities 阅读笔记相关推荐

ERNIE: Enhanced Language Representation with Informative Entities 论文研读
1. 摘要 NLP表示模型如BERT的预训练模型能够在大量的纯文本语料中捕获丰富的语义信息,并且通过微调改进NLP任务的效果.然而,已存在的预训练语言模型很少考虑将知识图谱的结构化信息融入其中,从 ...
esrgan_ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks【阅读笔记】
针对SRGAN提出的几点改进,获得了PIRM2018视觉质量的第一名. 首先是使用去掉BN层的Residual in Residual Dense Block作为网络的basic unit.并且使用r ...
[论文阅读笔记17]A Survey on Knowledge Graph-Based Recommender Systems
一,题目 TKDE 2020 A Survey on Knowledge Graph-Based Recommender Systems 综述:基于知识图谱的推荐系统 In IEEE Transact ...
阅读《SentiLARE: Sentiment-Aware Language Representation Learning with Linguistic Knowledge》
SentiLARE: Sentiment-Aware Language Representation Learning with Linguistic Knowledge Abstract 现有的预训 ...
论文阅读笔记：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
提示:阅读论文时进行相关思想.结构.优缺点,内容进行提炼和记录,论文和相关引用会标明出处. 文章目录前言介绍背景知识相关工作具体实现结构 Pre-training BERT Fine-tun ...
论文阅读笔记（4）：Local Convex Representation with Pruning for Manifold Clustering ，带剪枝的局部凸表达进行流形聚类
论文阅读笔记(4):带剪枝的局部凸表达进行流形聚类介绍文章主要贡献理论上:局部凸表达(Local Convex Representation, **LCR**) 剪枝方法:估计流形的内在维数以剪 ...
T-PAMI-2021论文Semi-Supervised Multi-View Deep Discriminant Representation Learning阅读笔记
提示:文 0.论文信息题目:Semi-Supervised Multi-View Deep Discriminant Representation Learning 期刊: IEEE Transac ...
Align before Fuse: Vision and Language Representation Learning with Momentum Distillation
ALBEF:Align before Fuse: Vision and Language Representation Learning with Momentum Distillation 论文链接 ...
# 互信息最大化[视角统一]:Align before Fuse: Vision Language Representation Learning with Momentum Distillation
互信息最大化[视角统一]:Align before Fuse: Vision and Language Representation Learning with Momentum Distillati ...
Reconstruction and Representation of 3D Objects with Radial Basis Functions 阅读笔记
Reconstruction and Representation of 3D Objects with Radial Basis Functions 阅读笔记紧接着上面的连篇blog,本篇学习如何 ...

ERNIE-Enhanced Language Representation with Informative Entities 阅读笔记

ERNIE-Enhanced Language Representation with Informative Entities 阅读笔记相关推荐

最新文章

热门文章