多模态信息用于推荐系统问题（MMDIN，hyperCTR）

继续续更之前的系列：多模态信息用于推荐系统问题（LOGO，MMGCN，MKGAT）。本期博文主要整理一下2021有意思的几篇文章。

[CIKM2021] MultiHead MultiModal Deep Interest Recommendation Network
首先是来自CIKM2021的文章，基于DIN模型的多模态信息优化。有关DIN模型不做赘述，传送门：注意力机制用于推荐系统问题(DIN，DIEN，BERT4Rec，PRM)。其主要是一种基于Attention的模型。本篇文章的作者认为现有的推荐系统技术对模型网络结构的优化较多，但对丰富推荐模型特征的研究较少，即不能很好的利用多模态信息。因此作者基于DIN，提出了multi-head multi-modal deep interest recommendation network (MMDIN)网络，即增加了多头模态和多模态模块。这样做即可以丰富模型可以使用的特征集，同时增强模型的交叉组合和拟合能力。模型结构如下图：

MMDIN模型主要包括三个关键模块。

多模态模块（图中的红色虚线框）。主要负责提取海报的颜色特征，如提取电影海报图片的饱和度、亮度、色度、空间频率、RGB值等的均值和标准差特征（注作者主要使用MovieLens dataset）。然后进行one-hot嵌入，再分别连接到电影特征和用户特征即可。
注意力模块（图中的黄色虚线框）。与DIN模型基本相同，输入主要分为两部分：一部分是用户最近评分的电影，另一部分是候选电影。注意力的计算主要是针对于历史的Movies和候选Movies进行外积来得到。
Multi-Head ResNet 模块（图中的紫色虚线框的部分）。将用户特征、候选电影特征、加权和合并用户历史评分特征和场景特征连接并扁平，然后输入多头ResNet模块，进行最终的电影评分预测。

[CIKM2021] Click-Through Rate Prediction with Multi-Modal Hypergraphs
来自CIKM2021的点击率预测的文章，博主个人觉得做的比较复杂。这篇文章与多模态信息的结合点是，现有的CTR预测工作只关注于从单模态特征进行的两两交互建模，但很少有人去利用广泛可用的多模态特性，一般来说多模态信息可以为模型提供更多的补充信息，而这是无法单独通过单模态建模获得的。

但挑战在于，CTR预测中的用户和项目交互很稀疏，那么在考虑多模态的时候，如item的视觉、声学和文本特征时，数据集的稀疏性会增加三倍。因此，如何在不影响多模态特征性能的情况下，有效地缓解多模态特征所引入的稀疏性问题是解决该问题的关键。因此作者提出的解决方案会很有意思，利用Hypergraph超图来解决这一问题。

超图作为一种特殊的Graph，它可以连接两个以上的节点，通过该模型可以缓解各模态下用户与项之间的稀疏性问题。如上图的示意图，展示了modality-originated hypergraph的构建，即用户

多模态信息用于推荐系统问题（MMDIN，hyperCTR）相关推荐

CIKM'21「eBay」推荐系统--利用超图对商品的多模态信息建模
Click-Through Rate Prediction with Multi-Modal Hypergraphs https://dl.acm.org/doi/pdf/10.1145/345963 ...
BOOM！多模态遇上推荐系统
作者 | 上杉翔二悠闲会 · 信息检索整理 | NewBeeNLP 关于多模态和推荐系统融合的文章,我们之前有分享过一期:BOOM!推荐系统遇上多模态信息. 本期博文主要整理一下2021有意思的几 ...
【ACL2020】这8份Tutorial不可错过！包括：常识推理、多模态信息抽取、对话、解释性等...
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要7分钟 Follow小博主,每天更新前沿干货自然语言处理领域顶级会议 ACL 2020 将于 7 月 5 日至 10 日在线上举行.本届 A ...
Chat-REC、InstructRec（LLM大模型用于推荐系统）
当众多chat-xxx和xxxGPT喷涌而出的时候,博主就在等它被做到推荐系统的这一天.本篇博文将简要看看一些文章的具体做法. Chat-REC: Towards Interactive and Ex ...
知识图谱用于推荐系统问题（MKR，KTUP，KGAT）
前一篇文章介绍了知识图谱用于推荐系统问题(CKE,RippleNet),这一篇博文目整理对KG和RC融合的更加深入的两篇文章MKR,KTUP.MKR利用一个Cross单元使两者融合,KTUP则是相互补 ...
推荐场景下融合多模态信息的内容召回模型
本系列将系统介绍召回技术在内容推荐的实践与总结. 第一篇:2021召回技术在内容推荐的实践总结第二篇:CMDM:基于异构序列融合的多兴趣深度召回模型在内容平台的探索和实践第三篇:内容推荐场景下多模 ...
NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等
NLP专栏简介:数据增强.智能标注.意图识别算法|多分类算法.文本信息抽取.多模态信息抽取.可解释性分析.性能调优.模型压缩算法等专栏链接:NLP领域知识+项目+码源+方案设计订阅本专栏你能获得什 ...
一文综述用于推荐系统的所有深度学习方法
在信息泛滥的时代,如何快速高效地萃取出有价值信息成为了人们的当务之急,传统的推荐系统由此应运而生:而在诸多领域硕果累累的深度学习也被应用于推荐系统,为后者注入新的动力.机器之心编译的这篇论文,对于深度 ...
多模态信息抽取（一）——融合知识图谱和多模态的文本分类研究（论文研读）
融合知识图谱和多模态的文本分类研究引言: 1 相关工作 1.1文本分类 1.2知识融合 1.3多模态融合 2 融合知识图谱和多模态的文本分类模型 2.1文本特征表示 2.2实体特征表示 2.3图像特 ...
图神经网络用于推荐系统问题（PinSage，EGES，SR-GNN）
针对推荐系统的稀疏性问题,图方法还真的很适合. 推荐系统中存在很多的图结构,如二部图,序列图,社交关系图,知识语义图等 GNN比传统的随机游走等有更好的表现 PinSage和EGES都是很好的落地实践 ...

多模态信息用于推荐系统问题（MMDIN，hyperCTR）

多模态信息用于推荐系统问题（MMDIN，hyperCTR）相关推荐

最新文章

热门文章