知识图谱关键技术总览
[1] 马忠贵,倪润宇,余开航.知识图谱的最新进展、关键技术和挑战[J].工程科学学报,2020,42(10):1254-1266.DOI:10.13374/j.issn2095-9389.2020.02.28.001.
文章目录
- 知识抽取与表示
- 知识融合
- 知识推理与质量评估
- 质量评估
- 知识图谱应用
- 知识图谱的挑战与展望
- 知识融合技术
- 知识推理技术
- 知识的表示、存储和查询
知识图谱全生命周期主要包括3种关键技术:
- 从样本源中获取数据,并将其表示为结构化知识的知识抽取与表示技术
- 融合异源知识的知识融合技术
- 根据知识图谱中已有的知识进行知识推理和质量评估
知识抽取与表示
对于知识图谱首要的问题是:如何从海量的数据提取有用信息并将得到的信息有效表示并储存,即知识抽取与表示
其主要目的是从样本源中抽取特定种类的信息,然后以三元组(主语,谓语,宾语)的形式保存。针对信息抽取的种类不同,知识抽取分为实体抽取、关系抽取和属性抽取,如下是知识图谱的技术架构:
实体抽取(命名实体识别)
从样本源中识别出命名实体
- 基于规则与词典的方法
- 基于统计机器学习的方法
- 面向开放域的抽取方法
关系抽取
通过实体抽取获得的实体之间往往是离散且无关联的,通过关系抽取,简历起实体之间的语义链接
- 基于模板的关系抽取
- 基于监督学习的关系抽取
- 基于半监督或无监督学习的关系抽取
属性抽取
补全实体信息,通过从样本源中获取实体属性信息或属性值,实体属性可以看作是属性值与实体的一种关系,可以通过关系抽取的解决思路获得
知识融合
由于知识来源的不同,导致知识质量参差不齐,知识之间存在冲突或者重叠,因此可以利用知识融合技术对多源知识进行处理,一方面提高知识图谱的质量,另一方面丰富知识的存量。
知识融合方法主要有三个方面:实体消岐、实体对齐和知识合并
实体消岐
https://blog.csdn.net/m0_46246301/article/details/122748121
因数据来源复杂,存在着同名异义的实体.例如,名称为“乔丹”的实体既可以指美国著名篮球运动员,也可以指葡萄牙足球运动员,还可以指某个运动品牌.为了确保每一个实体有明确的含义,采用实体消歧技术来使得同名实体得以区分。
- 根据有无目标知识库划分
- 基于无监督聚类的实体消岐
- 基于词袋模型的聚类
- 基于语义特征的聚类
- 基于社会网络的聚类
- 基于百科知识的聚类
- 基于多源异构语义知识融合的聚类
- 基于实体链接的实体消岐
- 基于知识库的实体链接系统
- 基于知识图谱的实体链接系统
- 基于无监督聚类的实体消岐
- 根据有无目标知识库划分
实体对齐
在现实生活中,一个事物对应着不止一个称呼。针对这些同义异名的实体,通过实体对齐可以将这些实体指向同一客观事物。
- 基于决策树的自适应属性选择的实体对齐方法
- 全自动的实体对齐框架(候选实体生成器、选择器和清理器,利用搜索引擎)
- 大规模相似性模型
- 同义发现框架
- 基于深度学习的实体对齐方法
- SIF
- RNN
- Attention
- Hybrid
- 基于嵌入表示的实体对齐
- 基于无监督学习的实体对齐
- 多视角的实体对齐
参考文献:[44-51]
知识合并
现存的知识库或者知识图谱都是各种机构或者组织根据自己的需求设计创建,其中的知识也存在着多样性和异构性,并且存在很多知识上的重复和错误,因此需要使用知识合并技术。
知识图谱的合并分为:数据层的合并和模式层的合并
- 基于特征嵌入向量的知识合并
- 基于嵌入的半监督跨语言学习方法
- 多通道图神经网络模型
知识推理与质量评估
知识推理技术可以提升知识图谱的完整性和准确性。
知识推理方法包括:
基于图结构和统计规则挖掘的推理
基于知识图谱的图结构以及挖掘蕴藏在知识图谱中的规则进行推理
- PRA
- CPRA
- Agent
- Attention
- 深度图传播模型
基于知识图谱表示学习的推理
表示模型将知识图谱中相应的实体和关系用向量、矩阵或者张量的形式表示
表示后进行运算完成知识推理任务
- 基于距离的推理模型
- TransE
- TransH
- TransR
- TransF
- 基于语义匹配的推理模型
- RESCAL
- DisMult
- Complex
- ANALOGY
- 基于距离的推理模型
基于神经网络的推理
基于神经网络的推理方法将知识图谱中事实元组表示为向量形式送入神经网络中,通过训练神经网络不断提高事实元组的得分,最终通过输出得分选择候选实体完成推理
- NTN(神经张量网络)
- RCNN
混合推理
结合多种方法的优势来提升推理效果
- Agent
- ReNN
- IterE
质量评估
通过质量评估技术来对新知识进行筛选,是构建知识图谱中必不可少的环节
- LDIF
- CQUAL
知识图谱应用
知识图谱技术的发展得益于自然语言处理、互联网等技术的发展,而不断完善的知识图谱技术也可以应用到自然语言处理、智能问答系统、智能推荐系统等技术中,进一步促进这些技术的发展。 进一步促进这些技术的发展,而这些技术以及知识图谱技术又可以进一步应用在诸如医疗、金融、电商等垂直行业或领域内,帮助促进行业发展。
- 构建完备的知识图谱可以帮助自然语言理解技术发展
- 短文本嵌入表示后送入卷积神经网络进行分类
- 知识图谱语言模型
- 智能问答系统可以依靠知识图谱中的知识来回答查询
- BERT模型和双向长短期记忆网络结合,条件随机场预测字符标签
- 知识图谱可作为外部信息整合至推荐系统中,使得推荐系统获得推理能力
- 知识图谱注意力网络模型
- 在垂直行业或领域内,知识图谱已开始应用
- 在医疗领域,通过提供更加精确规范的行业数据以及更加丰富的表达,帮助非行业相关人员获取医疗知识的同时也帮助行业人员更直观快捷获取所需医疗知识
- 在金融领域,借助知识图谱检测数据的不一致性,来识别潜在的欺诈风险
- 在电商领域,阿里巴巴已经通过应用知识图谱,建立商品间的关联信息,为用户提供更全面的商品信息和更智能化的推荐,从而提升用户的购物服务与体验
- 知识图谱也在教育、科研、军事等领域中广泛应用
知识图谱的挑战与展望
知识融合技术
目标:将新获得的知识融人知识图谱中
挑战:
- 为了保证融合后知识图谱的质量,首先要提升知识评估的能力.现存的知识评估方法大都是针对静态知识进行评估,缺少动态知识评估手段是目前知识评估面临的一大挑战
- 要解决由自然语言的特殊性引发的知识冗余和缺失问题.当知识图谱不能准确将具有同义异名的实体对齐或将同名异义的实体消歧就会导致知识图谱中出现知识冗余或缺失
- 目前,因自然语言的复杂性,在单一语言的背景下实体对齐和实体消歧的准确率仍然有待提高,针对多语言实体对齐或消歧更是一大挑战
知识推理技术
目标:通过已知的知识推理获得新知识来完善知识图谱
挑战:
- 知识推理的主要对象多是二元关系,通常处理多元关系的方法是将其拆分为二元关系进行推理,然而将多元关系拆分会损失结构信息,如何尽可能完整地利用多元关系中复杂的隐含信息推理是知识推理的一大挑战
- 现有的知识推理往往都是基于大量高质量的数据集训练推理模型,在相应的测试集中测试优化模型来完成推理.除了数据集获取成本高的问题,通过数据集训练的模型的泛化能力也极为有限,而现实世界中人类通过少量样本学习即可完成推理.如何模仿人脑机制实现小样本或零样本学习知识推理也是一大挑战
- 知识图谱中知识的有效性往往受到时间空间等动态因素约束,如何合理利用知识的动态约束信息完成动态推理也是知识推理的一大挑战
知识的表示、存储和查询
挑战:
- 目前,应用在行业领域的知识图谱因为很大程度上依赖人工的参与构建,成本高昂.大多数研究工作主要针对知识图谱的半自动构建,如何自动构建高质量知识图谱是知识图谱应用所面临的一大挑战
- 知识拥有指导功能,利用知识图谱中的知识引导机器学习中的数据学习,从而降低数据依赖打破数据红利损耗殆尽后的僵局,是知识图谱应用面临的一大挑战
- 利用人类易懂的符号化知识图谱,解释各类机器学习特别是深度学习的过程,补足其在可解释性方面的短板,也是知识图谱应用面临的一大挑战
- 未来,能否应用知识图谱中的知识,作为已知的经验,通过训练构建人工智能层面上的心智模型,同样是知识图谱应用的一大挑战
知识图谱中的知识引导机器学习中的数据学习,从而降低数据依赖打破数据红利损耗殆尽后的僵局,是知识图谱应用面临的一大挑战
- 利用人类易懂的符号化知识图谱,解释各类机器学习特别是深度学习的过程,补足其在可解释性方面的短板,也是知识图谱应用面临的一大挑战
- 未来,能否应用知识图谱中的知识,作为已知的经验,通过训练构建人工智能层面上的心智模型,同样是知识图谱应用的一大挑战
知识图谱关键技术总览相关推荐
- 今晚8点免费直播 | 详解知识图谱关键技术与应用案例
知识图谱(Knowledge Graph)以其强大的语义处理能力和开放组织能力,为互联网时代的知识化组织和智能应用奠定了基础.近来,大规模知识图谱库的研究和应用在学术界和工业界已经引起了足够的重视.随 ...
- 【推荐视频】中科院赵军:知识图谱关键技术及其在推荐系统中的应用
导读:今天给大家分享中科院赵军老师在"AI未来说·青年学术论坛"第九期"个性化内容推荐"专场中所做的分享<知识图谱关键技术及其在推荐系统 ...
- 一文详解知识图谱关键技术与应用 | 公开课笔记
讲师 | 桂洪冠 来源 | AI科技大本营在线公开课 视频回放地址:https://edu.csdn.net/huiyiCourse/detail/844 本课程从知识图谱的历史由来开展,讲述知识图谱 ...
- 知识图谱关键技术与应用案例
本课程从知识图谱的历史由来开展,讲述知识图谱与人工智能的关系与现状:知识图谱辐射至各行业领域的应用:在知识图谱关键技术概念与工具的实践应用中,本课程也会讲解知识图谱的构建经验:以及达观在各行业领域系统 ...
- 中科院赵军:知识图谱关键技术及其在推荐系统中的应用
不到现场,照样看最干货的学术报告! 嗨,大家好.这里是学术报告专栏,读芯术小编不定期挑选并亲自跑会,为大家奉献科技领域最优秀的学术报告,为同学们记录报告干货,并想方设法搞到一手的PPT和现场视频--足 ...
- 技术动态 | 「新一代知识图谱关键技术」最新2022进展综述
转载公众号 | 专知 链接:https://crad.ict.ac.cn/CN/10.7544/issn1000-1239.20210829 近年来,国内外在新一代知识图谱的关键技术和理论方面取得了一 ...
- 工赋开发者社区 | 「新一代知识图谱关键技术」最新2022进展综述
近年来,国内外在新一代知识图谱的关键技术和理论方面取得了一定进展,以知识图谱为载体 的典型应用也逐渐走进各个行业领域,包括智能问答.推荐系统.个人助手等.然而,在大数据环境和新 基建背景下,数据对象和 ...
- 【知识图谱】本周文献阅读笔记(4)——周三 2023.1.11:英文)基于动态知识图谱的虚假评论检测 + 基于知识图谱的推荐系统研究综述 + 基于知识图谱的推荐算法研究综述+新一代知识图谱关键技术
声明:仅学习使用~ 对于各文献,目前仅是泛读形式,摘出我认为重要的点,并非按照原目录进行简单罗列! 另:鉴于阅读paper数目稍多,对paper内提到的多数模型暂未细致思考分析.目的是总结整理关于KG ...
- 知识图谱构建技术初探
自底向上--知识图谱构建技术初探 from: https://www.anquanke.com/post/id/149122 发布时间:2018-06-28 16:00:40 文/阿里安全 染青 &q ...
最新文章
- 基础数据结构【二】————动态数组,单向链表及链表的反转
- 深度学习很难?一文读懂深度学习!
- Leetcode 50
- mc服务器村民交易修改,【原创】【教程】MCPE自定义村民交易内容
- OpenCASCADE:使用扩展数据交换 XDE之剪裁平面
- 「MySQL」 - SQL设计规范
- 高并发架构系列:Spring Cloud的核心成员、以及架构实现详细介绍
- 具有完整静态文件(JS、CSS)支持的 ASP.NET Core 3.x 动态可加载插件
- 二胎上位之路:html5报表和原生报表的笑尿撕逼
- innodb 关键特性、缓冲池、插入缓冲、两次写
- 数百种 Windows 软件的免费替代品列表(转)
- RS485通讯与RS232通讯的区别
- 数字孪生智慧监狱三维可视化系统建设方案
- 基于软件界面的汽车故障模拟系统
- 联盛德 HLK-W806 (一): Ubuntu20.04下的开发环境配置, 编译和烧录说明
- 用Python做数据分析之数据筛选及分类汇总
- java swing 实现鼠标滑轮聚焦缩放图片
- ZigBee组网机制以及数据的发送和接收
- Android画不规则形状
- mysql odbc桥_jdbc-odbc桥连接数据库
热门文章
- 基于神经网络的房屋价格预测
- CNCC2019第三天 | 传统产业如何进行智能化升级?你踩雷了吗?
- 武陵源计算机学校,武陵源-张家界市武陵源区武陵源旅游指南[组图]
- XSS挑战之旅(1-9)
- python3-爬虫-百度新闻结果
- 使用 Siri 拨打电话并使用电话功能的技巧
- PLS-00201: ORA-20000:
- Burpsuite+夜神模拟器对app抓包(安卓7及其以上)
- Python之高阶函数(abs、map、reduce、filter、lambda匿名函数)
- 二十七、prometheus部署安装配置告警