【原创】BERT知识融合

预训练
- 【清华-ACL2019】ERNIE: Enhanced Language Representation with Informative Entities
  - 知识图谱中实体关系embedding和文本embedding融合；
- 【百度-2019】ERNIE: Enhanced Representation through Knowledge Integration
  - 三种mask方式：bert原始的token mask，短语mask，实体mask
- 【百度-AAAI2020】ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding
  - 三类七种预训练任务，每种预训练任务针对不同的下游任务更有效；
- 【百度-2021】ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation
  - 输入加入了知识图谱三元组，并在原有mask基础上，新增关系mask(预测关系)
- 【复旦-COLING 2020】CoLAKE: Contextualized Language and Knowledge Embedding
  - 把知识图谱中的实体关系三元组与原始文本连接，构成全连通图（与kbert类似）
Fine-tuning
- 【印度-ACL2020】Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings
- 【北大腾讯-AAAI2020】K-BERT: Enabling Language Representation with Knowledge Graph
  - 把知识图谱中的实体关系三元组与原始文本连接，构成链表结构（类似hash冲突里的拉链法）
- 【腾讯云小微-ACL2021Findings】Improving BERT with Syntax-aware Local Attention
  - 融合依存句法知识到BERT
- 【吉林大学-2021】Using Prior Knowledge to Guide BERT’s Attention in Semantic Textual Matching Tasks
  - 融合同义词知识到文本匹配BERT
- 【腾讯微信-2020】Keyword-Attentive Deep Semantic Matching
  - 融合关键词知识到文本匹配BERT
参考文献
- https://developer.aliyun.com/article/789557#slide-9
- https://zhuanlan.zhihu.com/p/476425064

【原创】BERT知识融合相关推荐

K-BERT：BERT+知识图谱
1 简介本文根据2019年<K-BERT:Enabling Language Representation with Knowledge Graph>翻译总结的.如标题所述就是BERT+ ...
【知识图谱论文】HackRL：用于跨图知识融合和协作推理的分层注意强化学习
Article 文献题目:HackRL: Reinforcement learning with hierarchical attention for cross-graph knowledge fu ...
【知识图谱】知识融合
文章目录一.知识融合 1.基本概念 2.数据层的知识融合 (1)不同KG的知识融合 (2)不同知识库的知识融合 (3)不同来源数据的知识融合 (4)知识在线融合 3.Schema层的知识融合 4.技 ...
知识图谱（三）——知识体系构建和知识融合
知识图谱不仅包含具体的实例知识数据,还包括对知识数据的描述和定义.该部分对数据进行描述和定义的"元"数据被称为知识体系(Schema)或本体(Ontology). 知识融合主要方法 ...
论文浅尝 - AAAI2020 | 多轮对话系统中的历史自适应知识融合机制
论文笔记整理:潘锐,天津大学硕士. 链接:https://www.aaai.org/ojs/index.php/AAAI/article/view/6425 来源:AAAI 2020 论文简介 ...
基于python的知识融合_知识融合
百香果nlp(nlp.100xg.cn):欢迎提交人工智能(AI).自然语言处理(NLP).大数据(big data).机器学习(ML).数据挖掘(DM).知识图谱.智能硬件.工业互联网.工业机器人. ...
《大数据管理概论》一2.5　知识融合技术
本节书摘来自华章出版社<大数据管理概论>一书中的第2章,第2.1节,作者孟小峰,更多章节内容可以访问云栖社区"华章计算机"公众号查看 2.5 知识融合技术知识融合是 ...
[原创]项目管理知识体系指南之 13项目干系人管理思维导图
[原创]项目管理知识体系指南之 13项目干系人管理思维导图转载于:https://www.cnblogs.com/mayingbao/p/3284528.html
特定领域知识图谱知识融合方案（实体对齐)论文合集
相关文章项目链接: 特定领域知识图谱知识融合方案(实体对齐):优酷领域知识图谱为例特定领域知识图谱知识融合方案(实体对齐):文娱知识图谱构建之人物实体对齐

【原创】BERT知识融合

【原创】BERT知识融合相关推荐

最新文章

热门文章