关注我们,一起学习~

标题：CARCA: Context and Attribute-Aware Next-Item Recommendation via Cross-Attention

链接：https://arxiv.org/pdf/2204.06519.pdf

代码：https://github.com/ahmedrashed-ml/CARCA

会议：RecSys 2022

1. 导读

本文将用户的上下文信息和商品的属性结合起来考虑，提出上下文和属性感知推荐模型 (CARCA) ，该模型可以通过多头自注意力块将上下文特征和商品属性结合起来。现有的大部分序列推荐方法是采用序列中最近的商品表征和目标商品计算点击来计算评分，而CARCA利用交叉注意力记住计算所有序列商品和目标商品来预测他们的最终分数。利用交叉注意力，计算旧商品和最近商品之间的相关性以及它们对决定接下来推荐哪个项目的影响。

本文的创新点比较简单直接，采用类似Transformer的结构提取用户和交互序列的特征，并构建两个分支，将做分支的注意力机制提取的信息融入有分支，从而构建交叉注意力机制。

2. 问题定义

用户集合，商品集合，交互序列为，目标是构建推荐模型预估用户交互商品的概率，损失函数定义为下式，这里再考虑商品属性可以表示为，上下文信息中考虑交互的额外属性，表示为，常见的c可以是时间戳。则损失函数变为下式，

402 Payment Required

每个用户的交互序列可以表示为，对应的属性为，交互的上下文特征为，系统的目标就是预测推荐的商品列表。

3. 方法

为了捕捉不断变化的用户行为，CARCA 模型利用了两个类似的基于多头自注意力的分支。左分支是一系列自注意力块，用于提取上下文信息和商品特征。右分支由一个多头交叉注意力块组成，该块捕获左分支的特征对目标商品的影响，同时考虑目标商品的属性和上下文特征。第二个分支还负责为中的每个目标商品生成排名分数。细节如图所示，

3.1 Embedding层

Embedding层提取初始商品的潜在特征，将one-hot转为稠密embedding送到自注意力块。使用了两个独立的embedding函数和。第一个函数用于提取商品的潜在特征,。第二个函数从上下文特征c和商品属性a中提取潜在特征。将它们拼接作为输入，公式如下，

3.2 自注意力块

用户画像中的用户交互序列embedding为，目标商品embedding为。

3.2.1 用户画像级别的自注意力

为了提取用户画像级的特征，将输入到一系列多头自注意力块中。首先是输入到自注意力块的第一部分，公式如下，

402 Payment Required

下一步是将自注意力层的输出送到第二部分，逐点的两层前馈网络，类似Transformer，公式如下，

最后，为了捕捉更具表现力的特征，堆叠一系列自注意力块，其中第b(

RecSys'22|CARCA：交叉注意力感知上下文和属性进行推荐相关推荐

RecSys‘22 推荐系统论文梳理
2022推荐系统论文梳理系列推荐系统相关顶会整理 IJCAI'22 推荐系统论文梳理 ICML/ICLR'22 推荐系统论文梳理 WWW'22 推荐系统论文之序列推荐篇 WWW'22 推荐系统论文之 ...
特征图注意力_CCNet：用于语义分割的交叉注意力网络
此篇文章内容源自 CCNet: Criss-Cross Attention for Semantic Segmentation,若侵犯版权,请告知本人删帖. 此篇文章是论文 CCNet: Criss- ...
中科大快手提出多模态交叉注意力模型：MMCA，促进图像-文本多模态匹配！
关注公众号,发现CV技术之美本文分享论文『Multi-Modality Cross Attention Network for Image and Sentence Matching』,由中科大&a ...
(arxiv-2018)图像检索的注意力感知广义平均池化
图像检索的注意力感知广义平均池化 paper题目:ATTENTION-AWARE GENERALIZED MEAN POOLING FOR IMAGE RETRIEVAL paper是吉联科技集团发表 ...
论文推荐：CCNet用于语义分割的交叉注意力
CCNet, Transformer递归交叉自注意力,比非局部神经网络更有效.华中科技大学.地平线.ReLER 和伊利诺伊大学香槟分校联合研发论文提出了交叉网络 (CCNet),对于每个像素,CCN ...
U-Net结构改进：双交叉注意力模块（DCA）
目录前言 1. 模型的特点 2. 基于多尺度编码器的Patch Embedding 3. 通道交叉注意力(CCA) 4. 空间交叉注意力(SCA) 前言本文由迈阿密大学的研究团队于2023年3月3 ...
【动手深度学习-笔记】注意力机制（四）自注意力、交叉注意力和位置编码
文章目录自注意力(Self-Attention) 例子 Self-Attention vs Convolution Self-Attention vs RNN 交叉注意力(Cross Attenti ...
【深度】交叉注意力机制
交叉注意力机制,也称为cross-attention,是指在注意力机制中,一个序列中的某个位置与另一个序列中的所有位置进行注意力计算. import torch import torch.nn as ...
ACKRec：注意力异构图卷积深度知识推荐器 SIGIR 2020
论文链接:http://keg.cs.tsinghua.edu.cn/jietang/publications/Sigir20-Gong-et-al-MOOC-concept-recommendati ...
AI：2020年6月24日北京智源大会演讲分享之知识智能专题论坛——12:00-12:30杨红霞《人工智能从感知走向认知：认知推荐》
AI:2020年6月24日北京智源大会演讲分享之知识智能专题论坛--12:00-12:30杨红霞< 人工智能从感知走向认知:认知推荐> 导读:首先感谢北京智源大会进行主题演讲的各领域顶级教 ...

RecSys'22|CARCA：交叉注意力感知上下文和属性进行推荐

402 Payment Required

3.1 Embedding层

3.2 自注意力块

3.2.1 用户画像级别的自注意力

402 Payment Required

RecSys'22|CARCA：交叉注意力感知上下文和属性进行推荐相关推荐

最新文章

热门文章