论文浅尝 - CIKM2020 | 用于推荐系统的多模态知识图谱
论文笔记整理:王琰,东南大学硕士。
来源:CIKM 2020
链接:https://doi.org/10.1145/3340531.3411947
研究背景与任务描述
为了解决推荐系统中的数据稀疏和冷启动问题,研究人员通过利用有价值的外部知识作为辅助信息,提出了基于知识图(KGs)的推荐。但是,以往大多数工作都忽略了多模态知识图谱(MMKG)中的各种数据类型(例如,文本和图像)。因此作者提出了多模态知识图谱注意力网络(MKGAT),以通过利用多模态知识来提高推荐系统的推荐效果。
多模态知识图谱表示学习有两种类型:基于特征的方法和基于实体的方法。
基于特征的方法将模态信息视为实体的辅助特征
基于实体的方法将不同类型的信息(例如文本和图像)视为结构化知识的关系三元组
主要工作:遵循基于实体的方法来构造多模式知识图,提出了多模态知识图谱注意力网络(MKGAT)
任务描述:制定基于多模态KG的推荐任务:
•输入:协同过滤知识图谱,其中包括用户-项目二部图和原始的多模态知识图谱
•输出:一种预测用户采用某项商品的概率
MKGAT model
MKGAT model由两个子模块组成: multi-modal knowledge graph embedding module 和 recommendation module.
Multi-modal knowledge graph embedding module:
知识图嵌入模块以协作知识图作为输入,利用多模态知识图谱(MKG)实体编码器和MKG注意层为每个实体学习新的实体表示。新的实体表示将汇总其邻居的信息,同时保留有关其自身的信息。然后,可以使用新的实体表示来学习知识图嵌入,以表示知识推理关系。
Multi-modal Knowledge Graph Entity Encoder
将结构化知识的实体id或关系id分别embedding;用ResNet embedding 图像; 用用Word2Vec训练单词向量,然后应用SIF模型获得句子的单词向量的加权平均值,用作句子向量来表示文字特征
Multi-modal Knowledge Graph Attention Layer
Propagation layer
给定候选实体h,首先通过transE模型学习知识图的结构化表示,然后把实体ℎ的多模态邻居实体信息汇总到实体h。N_h 表示直接连接到h的三元组的集合,集合了邻居实体信息,是每个三重表示形式的线性组合,计算公式为
其中 e(h, r, t) 是每个三元组 (h, r, t) 的嵌入,而 π(h, r, t) 是每个三元组e(h, r, t) 的注意力得分
e(h, r, t) 是通过对头部实体,尾部实体和关系的嵌入的串联进行线性变换得到的
通过关系注意力机制实现π(h, r, t)
在这里,选择LeakyReLU作为非线性激活函数。此后采用softmax函数对所有与将与连接的所有三元组的系数归一化:
Aggregation layer
采用两种方法将实体表示 e^h 和对应的聚合为实体 h 的新表示
1) Add aggregation method
对初始e^h进行线性变换并将其添加到中,W3是一个权重矩阵,用于将当前表示转移到公共空间
2) Concatenation aggregation method
使用线性变换连接 e^h 和 , 其中||是串联操作,W4是可训练模型参数
High-order propagation
通过堆叠更多的传播层和聚合层,探索协作知识图中固有的更高阶连接性。通常对于n层模型,传入信息是在n跳邻居上累积的
Knowledge Graph Embedding
使用translational scoring function来embedding
通过优化转换原理来学习嵌入每个实体和关系,三元组的score为:
Pairwise Ranking Loss:
是随机替换有效三元组的实体得到的
Recommendation module:
推荐模块以实体的知识图嵌入(由知识图嵌入模块获得)和协作知识图为输入,推荐模块还使用MKG实体编码器和MKG attention layer来利用相应的邻居来丰富用户和用户的表示。最后,根据传统推荐模型来生成用户和项目之间的匹配分数
为了保留第层的候选用户和项目的输出,使用layer-aggregation mechanism将每个步骤的表示连接成一个向量
其中||是连接操作,L是MKG attention layer的数目。这样不仅可以通过执行嵌入传播操作来丰富初始嵌入,还可以通过调整L来控制传播强度
匹配分数的计算公式为:
推荐预测损失为Bayesian Personalized Ranking (BPR) loss:
Experiment
数据集:MovieLens,Dianping
Evaluation Metrics:recall@k和ndcg@k
Baselines:基于FM的方法(NFM),基于KG的方法(CKE,KGAT),多模态方法(MMGCN)
可以看出MKGCN在recall和ndcg方面均优于两个数据集的所有baselines
模态的影响:
在Dianping数据集上比较了KGAT和MKGAT模型在不同模态下的结果,可以看出在KGAT和MKGAT中,具有多模式特征的方法均优于具有单模式特征的方法且视觉效果比文本效果更加重要
模型深度的影响:
对于KGE,在MovieLens中,随着MKGAT层数的增加,评估指标也增加,证明了邻域信息融合在知识图嵌入中的有效性。在Dianping数据集中,随着MKGAT层数的增加,评估指标先增大然后减小,这可能是因为点屏数据的多跳信息相对稀疏
推荐部分随着MKGAT层数的增加,评估指标首先集中增长,证明了不同跃点的KGE对于推荐系统有益。但是当层数增加到一定水平时,评估指标下降,这可能是由于数据稀疏导致了过度拟合
组合层的影响:
可以看出使用的连接层(用CONCAT标记)的方法优于添加层(用ADD标记)
Case study:
随机选择Dianping数据集中的一个用户和相关项,计算候选项目与实体之间的相关性得分,相关性得分越高,模型就认为当前实体对模型的影响越大。可以看出多模态关系在协作知识图中通常有较高评分,表明多模态实体的重要性
总结:
作者提出了一种多模式知识图注意力网络(MKGAT),将多模态知识图谱创新地引入了推荐系统。通过学习实体之间的推理关系,并将每个实体的邻居实体信息聚合到自身,该模型可以利用多模式实体信息改进推荐效果
未来可以在多模态知识图的框架下探索更多的多模态融合方法,例如 Tensor Fusion Network(TFN)或低秩多模态融合(LMF)等
OpenKG
开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。
点击阅读原文,进入 OpenKG 网站。
论文浅尝 - CIKM2020 | 用于推荐系统的多模态知识图谱相关推荐
- 论文浅尝 | KGQR: 用于交互式推荐的知识图谱增强Q-learning框架
笔记整理:李爽,天津大学 链接:https://dl.acm.org/doi/pdf/10.1145/3397271.3401174 动机 交互式推荐系统(IRS)以其灵活的推荐策略和考虑最佳的长期用 ...
- 论文浅尝-综述 | 基于强化学习的知识图谱综述
转载公众号 | 人工智能前沿讲习 论文来源:https://crad.ict.ac.cn/CN/10.7544/issn1000-1239.20211264 摘要:知识图谱是一种用图结构建模事物及事物 ...
- 论文浅尝 | Data Intelligence 已出版的知识图谱主题论文
本文转载自公众号:DI数据智能. 知识图谱被称为人工智能的基石,它的前身是语义网,由谷歌在2012年率先提出,用于改善自身的搜索业务.Data Intelligence执行主编.东南大学计算机科学 ...
- 论文浅尝 | 可建模语义分层的知识图谱补全方法
本文转载自公众号:PaperWeekly. 论文作者:蔡健宇,中国科学技术大学,研究方向:知识图谱 近些年,知识图谱(Knowledge Graph)在自然语言处理.问答系统.推荐系统等诸多领域取得了 ...
- 论文浅尝 - ACL2020 | IntKB: 一种交互式知识图谱补全框架
笔记整理 | 谭亦鸣,东南大学博士 来源: ACL 2020 链接:https://www.aclweb.org/anthology/2020.coling-main.490.pdf 资源:http ...
- 论文浅尝 | 利用指针生成网络的知识图谱自然语言生成
论文笔记整理:谭亦鸣,东南大学博士,研究方向为知识图谱问答. 来源:Neurocomputing 382: 174-187 (2020) 链接:https://www.sciencedirect.co ...
- 论文浅尝 | AAAI2020 - 基于生成对抗的知识图谱零样本关系学习
论文笔记整理:耿玉霞,浙江大学直博生.研究方向:知识图谱,零样本学习等. 来源:AAAI2020 论文链接:https://arxiv.org/pdf/2001.02332.pdf 本文是发表在AAA ...
- 论文浅尝 | 区分概念和实例的知识图谱嵌入方法
链接:https://arxiv.org/pdf/1811.04588.pdf 知识图谱的表示学习最近几年被广泛研究,表示学习的结果对知识图谱补全和信息抽取都有很大帮助.本文提出了一种新的区分概念和实 ...
- 论文浅尝 | KnowEdu: 一个自动构建教育知识图谱的系统
笔记整理 | 崔凌云,天津大学硕士 链接:https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=8362657 动机 基于知识图的广泛应用和在教育领 ...
最新文章
- UVa661 Blowing Fuses
- Android Architecture Components 整理
- 1.20 main()方法
- Oracle 原理: JAVA连接Oracle数据库 (JDBC)
- VTK:Points之PoissonExtractSurface
- JIAVA知识点整理
- 超形象!著名的三角不等式演示动图!
- mysql闪回工具下载_MySQL闪回工具之myflash 和 binlog2sql
- Excel 自定义关闭按钮
- Linux内核分析 - 网络[七]:NetFilter
- python自动化框架(unnitest+selenium+htmlreport)
- pychar 设置字体随鼠标滚轮调整大小
- 华丽的模态窗口弹出效果示例
- 2021-06-29操作DOM元素
- SpringBoot启动后启动内嵌浏览器
- android 查看线程堆栈,firemonkey
- 阅读软件怎么添加书源_「看书+听书」两款神器软件,我已深深的为之折服了...
- 华为路由交换设备配置综合实验(实验六合一)
- SCI论文攻略---完整版!!!!
- C++构造函数初始化列表与构造函数中的赋值的区别
热门文章
- javascript获取浏览器客户端IP
- 理解Android Binder机制原理
- 智能硬件开发神器免费送!距离产品智能化,只差一个“三明治”的距离
- 数据解析学习笔记(正则解析、bs4解析、xpath解析)
- 七、CSS 三大特性(完整详细解析)
- LeetCode 2114. 句子中的最多单词数
- LeetCode 1620. 网络信号最好的坐标
- LeetCode 1567. 乘积为正数的最长子数组长度
- LeetCode 551. 学生出勤记录 I
- LeetCode 66. 加一