多模态知识图谱构建和推理技术 王萌 东南大学
Multimodal knowledge：对某种东西从不同魔台上的意识或理解。
对相同事实抽取出多模态知识。
用不同模态知识表示相同个体（描述相同时事情）。
e.g.1 上海天气晴。
传统：上海—天气—晴。
多模态：
e.g.2 这个商品真不错。
可用知识表示：文本、对话、手势、表情
e.g.3伦敦
用图像表示景色、文本表示人口等，不同模态描述不同事实来更全面了解一个实体
知识图谱一个重要的应用：有助于消歧：
视觉实体消歧：比如识别姚明旁边的男人，可能有AB两个答案，但是如果有一个知识图谱记录姚明和他的故事，那么正确答案A一定和姚明更近一些，B更远。
不同模态关联得到更多的答案，比如识别姚明的鞋子，可能只能识别出小白鞋。但是如果有完备知识图谱，姚明穿的XXX鞋子，可以进行两组推荐，左边XXX牌别的颜色的鞋子，右边类似小白鞋。
多模态图谱：
历程：
特征抽取：
文本抽取：实体识别和实体消歧、关系抽取
视觉抽取：人脸识别、对象检测
先构建不同模态的结构化，然后两者进行grounding
在已有知识图谱的基础上长新的叶子
在医学领域，不同成像就是多模态。
传统知识图谱（节点边三元组+知识单元）
知识单元：
扩展目前知识图谱
形成多模态分面
如何扩展目前知识图谱：
Enhance KG：
目前图像信息稀疏，无多模态直接语义关系，每个实体信息更加丰富。
照片质量好（聚类）、多样性（且每个图像有自己的特征信息）、构建语义关联。
多模态知识单元发现：
医学领域：
多模态图像：不同成像图像也是多模态
同一模态信息能否建模不同模态特征。
可以借鉴多模态机器翻译。
多模态知识图谱构建和推理技术 王萌 东南大学相关推荐
- 多模态知识图谱构建与应用知网文献总结
1.多模态教学知识图谱的构建与应用: 论文中以<数据结构(c++)>为例,以教学教材.教学大纲.网络资源等为依据,对知识点进行分类汇总,从中抽取预先定义好的一些属性的值. 教材.大纲以及网 ...
- 多模态知识图谱构建系统论文笔记
总结 从数据来源,构建系统可以分类两大类: 1. 信息抽取:直接从原始材料中提取实体,比如Gaia.Neil. 2. 信息融合:根据已有的知识库进行融合,比如VisualSem. 可以参考下图,第一类 ...
- 知识图谱构建流程与技术简记
文章目录 零.图谱类型 一.模式定义 1.1 实体类别和概念分级 1.2 关系和属性 二.信息抽取 1.1 命名实体识别 1.2 关系抽取 1.3 属性抽取 1.4 实体对齐 1.5 实体链接 三.图 ...
- 虚拟专题：知识图谱 | 医学知识图谱构建关键技术及研究进展
来源:<大数据> 医学知识图谱构建关键技术及研究进展 谭玲1, 鄂海红1, 匡泽民2, 宋美娜1, 刘毓1, 陈正宇1, 谢晓璇1, 李峻迪1, 范家伟1, 王晴川1, 康霄阳1 1 北京 ...
- 工业安全大数据汇聚与治理、2、多模态数据挖掘与知识图谱构建、3、超融合软件平台构建与工程应用概念
1.工业安全大数据汇聚与治理 大数据汇聚,即将多元化数据整合,由于时空大数据来源广泛.渠道繁杂.形式各异,汇聚时要采用一定方法如:多源异构数据自适应汇聚.数据汇聚系统是多源异构生态系统科学数据的汇聚平 ...
- 小白入门知识图谱构建与应用
知识图谱的构建技术与应用研究 知识图谱的概念在2012年由Google正式提出,其目的是以此为基础构建下一代智能化的搜索引擎,改善搜索结果质量.知识图谱技术是人工智能技术的重要组成部分,也是当 ...
- 知识图谱问答的实践技术分享的书面版本
公众号 系统之神与我同在 编者按:随着互联网软硬件相关技术的飞速发展,人们逐渐从信息时代进入智能时代.知识图谱作为承载底层海量知识并支持上层智能应用的重要载体,在智能时代中扮演了极其重要的角色.而利用 ...
- #####@@@#好好好好#####最全知识图谱介绍：关键技术、开放数据集、应用案例汇总
1 知识图谱构建技术 本节首先给出知识图谱的技术地图,然后介绍知识图谱构建的关键技术,包括关系抽取技术.知识融合技术.实体链接技术和知识推理技术. 1.1 知识图谱技术地图 构建知识图谱的主要目的是获 ...
- 虚拟专题：知识图谱 | 流程工业控制系统的知识图谱构建
来源:智能科学与技术学报 流程工业控制系统的知识图谱构建 牟天昊1, 李少远1,2 1 上海交通大学电子信息与电气工程学院 2 上海交通大学系统控制与信息处理教育部重点实验室 摘要:近年来,工业控制系 ...
- 知识图谱构建与应用推荐学习分享
知识图谱构建与应用推荐学习分享 一.语言表征学习 Language Representation Learning 通过自监督语言模型预训练的语言表征学习已经成为许多NLP系统的一个组成部分.传统的语 ...
最新文章
- Oracle中的iot_type,oracle IOT表学习
- ICML 2020 | 基于连续动态系统学习更加灵活的位置编码
- 天猫总架构师何崚：好的技术团队不是“需求翻译机”或“架构优化机”
- Visual Studio 内存泄漏检测方法
- hdu 4747 mex 线段树+思维
- Android Learning：数据存储方案归纳与总结
- 《Reids 设计与实现》第十八章 事务
- python能开发android吗_python可以开发安卓吗
- app商城源码_海量的SpringBoot和SSM项目【附带源码+视频教程】快速成为全栈
- 大数据分析方法管不管用
- Parser-Free Virtual Try-on via Distilling Appearance Flows代码解析
- mongoDB 使用 mongoVue
- Laravel自学第一课：laravel下载与安装
- 网络拓扑图及企业网络设计基本流程
- c语言程序设计专题实验bmp,第九章 报表设计---Visual Foxpro 数据库程序设计教案1-9章全...
- 百度地图 截图java_我从百度地图静态图API中通过url获取到的图片,用java有没有什么办法可以把图片上的百度logo去掉呢...
- 撰写SCI论文的选题思路与技巧 - 易智编译EaseEditing
- nevada用计算机弹,Nevada吉他谱(gtp谱,指弹,独奏,演奏视频)_Vicetone
- 全心全意的服务，让转行的我能够成功斩获自己心仪的offer——享学课堂
- 异常处理-No SecurityManager accessible to the calling code