自然语言系列学习之表示学习与知识获取（六）融合实体描述的知识表示和融合实体所在句子的知识表示
利用文本信息还有还有另外一个非常重要的来源，就是来自于实体的描述，在知识库里对一些实体构建关于它的一个简单的介绍（short description）。
这些简短的介绍，往往能够很好的反映实体的表示，它的语义信息。那我们就想有没有可能充分利用这些比较简短的描述，去更好的进行知识的表示学习。
2016年清华大学发表了一篇论文《Representation Learning of Knowledge Graphs with Entity Descriptions》，论文中利用cnn，也就是卷积神经网络（上图），去对实体描述进行表示学习，那么就可以利用它的description去构建实体的表示。这个实体的表示同时也会参与knowledge graph里面transe的学习。通过这种方式，就可以可以更好的学习得到实体关系的表示。
Zero-shot场景下的关系预测
这种实体充分利用描述信息这种实体表示，它有一个非常重要的好处是，当出现一个新的实体，这个实体从来没有在knowledge graph中出现过，那么就没有办法利用transe去得到这种实体表示，我们就可以通过《Representation Learning of Knowledge Graphs with Entity Descriptions》中的cnn模型，利用实体的介绍，那么就可以自动的重建关于实体的表示。
根据上图可以看出利用重新构建的实体表示可以很好的去建立起这些实体跟知识库里已有的实体之间的关系预测。 实际上也能够取得一个相对不错的效果，也说明在zero shot scenario场景下，可以利用实体描述信息重建实体表示，能相对较好的进行关系预测。
融合实体所在句子的知识表示
在大规模互联网上实际更多是在用同时出现两个实体的句子，前面所提到的每一个实体，可以利用它们的描述信息辅助的进行知识表示。
假设这些实体描述信息存在互联网文本数据中，清华大学团队认为在互联网上出现的那些某一个实体的句子，实际上也有可能帮助我们进行实体的表示学习。清华大学团队构建出如下图的模型：
这个模型的特点是说每一个实体一方面用knowledge graph去学习，它基于知识库的表示，同时也会考虑，这些实体表示有没有可能来自于文本里的每一个句子，利用这些句子构建出来的低维向量表示，形成来自文本的表示。它问题在于比如说一个实体，并不是在互联网上出现的每一个句子都能够很好的反映实体的语义信息，而我们希望能达到的效果是，如economics出现在三句话里（上上图），根据这三句话能够反映实体的语义信息的情况，给予不同的权重。所以（上图中）特意给每一个不同的句子不同的权重，这个权重跟这个实体通过knowledge graph学习表示有密切的关系。 通过这种方式，有一个非常有意思的发现，就是可以利用modfiy graph ，为实体本身寻找在互联网中更有代表性的描述，如下图中的几个词
每个实体都找权重最高的句子，这些句子都能够很好的反映实体的语义信息，这个方法未来有潜力在构建知识图谱的时候能为新的实体自动寻找他们可能的比较好的，比较有代表性的description。 上面是介绍了几个融合文本和知识进行关系抽取的方法。
自然语言系列学习之表示学习与知识获取（六）融合实体描述的知识表示和融合实体所在句子的知识表示相关推荐
- 【转】自然语言系列学习之表示学习与知识获取（八）利用远程监督多实例的关系抽取
下面介绍下如何利用远程监督多实例进行关系抽取.前文有提到到当利用文本进行关系抽取,基本思想是利用知识图谱中,如(下图)任意两个实体同时在句子中出现: 我们把句子当成是两个实体关系训练得样例,这样就可以 ...
- 【转】自然语言系列学习之表示学习与知识获取（五）融合文本和知识，利用cnn方法进行关系抽取
本文重点放在怎么利用知识表示学习,辅助我们进行关系抽取,首先介绍如何利用分布式表示去融合知识和文本进行文本的抽取. 前文提到利用知识图谱学习了知识表示,就可以预测任意两个实体之间的关系,它是通过t-h ...
- 【转】自然语言系列学习之表示学习与知识获取（四）TransE
概述 在知识表示学习方面,一个代表性的算法就是transe, 它的基本思想是把每一个实体和每一个关系都表示成一个低维的向量,它的想法是对于每一个事实,将其中的relation看成是从头实体到尾实体的一 ...
- 【转】自然语言系列学习之表示学习与知识获取（三）知识图谱
分布式表示可以非常好的建立跨领域跨对象的知识迁移.有非常多的工作是去学习不同语言的各种词汇在同一个空间里统一的表示,这种表示对构建跨语言的知识迁移或者进行机器翻译都是非常重要的.此外有一个工作是试图建 ...
- 自然语言系列学习之表示学习与知识获取（七）利用关系路径进行关系抽取
接下来介绍另外一个方向是如何更好的利用知识图库里关系路径的信息进行关系抽取. 有一个非常直观的例子介绍关系路径的好处,如电影阿甘正传(上图),我们如果想要知道阿甘正传的语言是什么,可以通它的电影导演是 ...
- 【转】自然语言系列学习之表示学习与知识获取（二）word2vec
自然语言处理相关的对象包括词汇,词义,短语,实体,句子,文档,还有比如说社会网络,知识表示等等. 本文通过词汇表示的基本知识介绍分布式表示的基本的思想和特点. 在词汇表示方面的经典模型是2013年go ...
- 【转】自然语言系列学习之表示学习与知识获取（一）分布式表示
研究表示学习跟人工智能很多领域研究对象有关,这些领域包括自然语言处理,数据挖掘,社会网络分析,多媒体处理等等,他们研究的对象包括 : 网络结构:用户及其关系和行为 媒体信息:文本,视频,语音等信息 知 ...
- 2021年自然语言处理(NLP)算法学习路线！
NLP近几年非常火,且发展特别快.像BERT.GPT-3.图神经网络.知识图谱等技术应运而生.我们正处在信息爆炸的时代.面对每天铺天盖地的网络资源和论文.很多时候我们面临的问题并不是缺资源,而是找准资 ...
- 知识图谱论文阅读（八）【转】推荐系统遇上深度学习(二十六)--知识图谱与推荐系统结合之DKN模型原理及实现
学习的博客: 推荐系统遇上深度学习(二十六)–知识图谱与推荐系统结合之DKN模型原理及实现 知识图谱特征学习的模型分类汇总 知识图谱嵌入(KGE):方法和应用的综述 论文: Knowledge Gra ...
最新文章
- Halcon模板匹配之读取dxf文件生成xld与后续操作
- 并发测试mysql_Jmeter性能测试系列——结果分析与报告输出
- 2021CCPC华为云挑战赛：HDU 7091 重叠的子串（SAM + 线段树合并）
- SpringBoot集成Google开源图片处理框架，贼好用！
- 面试官问我：解释一下Dubbo服务暴露
- LeetCode 35. Search Insert Position
- java中的BigInteger
- 字符串格式连接sqlserver数据库的字段概念解释
- linux find grep组合使用
- Java程序员面试常见问题
- Java 二叉树完整代码（递归迭代）
- 栅格数据中的 Zone 与 Region
- wireshark密码嗅探侵入后台管理系统
- 8.linux中的远程登录服务
- 2017计算机二级ms office高级应用成绩查询
- 二进制数与二进制、十进制互化
- Python深度学习-快速指南
- WORD锁定修订功能，记录别人更改你文件的步骤？
- 海思SD3403开发板学习（三）
- Java-反射概述、操作、作用（含有代码演示）