读论文《Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation》
0 Summary:
Title: Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation
conference: KDD 2022
论文链接：https://arxiv.org/pdf/2207.05584.pdf
Abstract:
学习动态用户偏好是序列推荐（sequential recommendations）的重要组成部分，但现有的方法主要集中在具有单一交互类型的项目序列表示上，因此仅限于捕获用户和项目之间的动态异构关系结构（例如,页面查看,添加到收藏夹,购买）
本文设计了一个多行为超图增强型Transformer框架 (Multi Behavior Hypergraph-enhanced Transformer ：MBHT)来捕获短期和长期的跨类型行为依赖性。
具体来说：多尺度 Transformer 结合低秩自注意力从细粒度和粗粒度级别联合编码行为感知序列模式。并将全局多行为依赖项引入到超图神经架构中，以捕获分层的长期项目相关性
粒度，可以理解为目标所容纳的逻辑。一个项目模块（或子模块）分得越多，每个模块（或子模块）越小，负责的工作越细，就说粒度越细，否则为粗粒度 。
粒度更细，就能抽象出了更多的模型对应现实逻辑。
粗粒度和细粒度是一个相对的概念
**序列推荐（sequential recommendations）：**参考论文《Sequential Recommender Systems: Challenges, Progress and Prospects》
它通过对用户（user）行为序列，比如购买商品（item）的序列（sequence）来建模，学到user 兴趣的变化，从而能够对用户下一个行为进行预测。序列推荐的模型，随着整个CS research领域的发展，也是一直在不断变化。从最开始的Markov chain，到后来的RNN，CNN模型，以及现在流行的transformer。每个时期的序列推荐模型，基本上也是对应着该时期用的比较多的NLP模型。
原文链接：https://blog.csdn.net/paper_reader/article/details/109325928
超图（Hypergraph） 简单来说，我们所熟悉的图而言，它的****一条边*（edge）只能连接两个顶点*（vertice）；而超图，人们定义它的一条边（hyperedge）可以和任意个数的顶点连接。下图曲线和直线都属于超图的边，可连接不止两个顶点。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-C4H6lD8d-1661160872248)(C:\Users\杨\AppData\Roaming\Typora\typora-user-images\image-20220819192510694.png)]
**低秩（Low-rank）：**从物理意义上讲，矩阵的秩度量的就是矩阵的行列之间的相关性。
可以理解为如果矩阵之间相关性很强，那么其便可以投影到更低维的线性子空间，将可以使用更少的向量表示（手动求秩的流程）那么就可以说其是低秩的。
那么如果矩阵表达的是结构性信息，例如本文中的用户-商品推荐表，矩阵各行之间存在这一定的相关性，那这个矩阵一般就是低秩的。
提供了一种协同过滤的思路，假设用户行为矩阵具有低秩的特性，那么是否可以根据这一特性预测其行为
文章目录
- 0 Summary:
- 1.简介
- 2 问题界定
- 3 模型
- 3.1 Multi-Scale Modeling of Behavior-aware
- 3.1.1 Behavior-aware Context Embedding Layer：
- 3.1.2 Multi-Scale Transformer Layer：
- 3.2 Customized Hypergraph Learning of Global Multi-Behavior Dependencies
- 3.2.1 Item-wise Hypergraph Construction
- 3.2.2 Hypergraph Convolution Module(超图卷积模块)
- 3.3 Cross-View Aggregation
- 3.4 Model Learning And Analysis
- 4 实验
- 4.1 实验设置
- 4.2 Performance Evaluation (RQ1)
- 4.3 Ablation Study (RQ2)
- 4.4 Model Benefit Study (RQ3)
- 4.5 Case Study
- 5 总结
- 4.5 Case Study
- 5 总结
1.简介
序列推荐旨在根据用户过去的行为序列预测未来用户的交互项目，虽然已经有很多研究，但大多数都只有单一类型交互，没有考虑多类型的用户-项目关系。
a:使用多行为动态的顺序推荐示例。
b:通过BERT4Rec和本文的MBHT学习到的行为感知的依赖权重:
可以看出本方法可以给好的展现多行为依赖
需要解决的问题
**动态行为感知项目转换：**如何明确捕获动态行为感知项目转换动态多阶关系学习范式多尺度时间动态仍然是一个问题。（存在不同的周期性行为：每日每周每月）（越南在不同类型的物品：日用品季节性服装）因此需要通过细粒度到粗粒度的时间级别显式的捕获行为感知项目转换的多尺度序列效应
**个性化的全局多行为依赖关系：**随着时间的推移，不同类型行为的隐式依赖因用户而异。例如，由于个性化和多样化的用户交互偏好，有些人会想要将产品添加到他们喜欢的列表中。其他人可能更喜欢生成他们最喜欢的商品列表，其中包含他们很可能购买的产品。也就是说，对于不同的用户，不同的行为对他们的兴趣有不同的时间感知依赖性。此外，逐项的（item-wise）多行为依赖关系超越了两两关系，可能表现出三元或事件高阶。因此，设计的模型需要使用动态多阶关系学习范式对不同用户的多行为依赖进行量身定制的建模。
注意力机制可以分为四类：基于输入项的柔性注意力（Item-wise Soft Attention）、基于输入项的硬性注意力（Item-wise Hard Attention）、基于位置的柔性注意力（Location-wise Soft Attention）、基于位置的硬性注意力（Location-wise Hard Attention）。
2 问题界定
Behavior-aware交互序列： 读论文<A Neural Probabilistic Language Model> 原文地址:http://blog.csdn.net/qq_31456593/article/detai ... 1.词向量介绍 在NLP任务中,第一步首先将自然语言转化成数学符号表示.一般常用的词汇表示方法:one-hot表示,这种方法是将每个单词表示为一个很长的向量,这个向量的长度是词汇表的大小,其中绝大数元 ... A Neural Probabilistic Language Model 一种神经概率语言模型 目录 A Neural Probabilistic Language Model 一种神经概率语言模型 ... Unified Language Model 文本生成从未如此轻松 前言 UniLM How to build UniLM Get 2D MASK Send 2D MASK to Bert 使用Uni ... 读论文<Natural Language Processing (Almost) from Scratch> 原文地址:http://blog.csdn.net/qq_31456593/a ... 自然语言处理中的文本表示研究 资源下载地址(原论文和笔记) INTRODUCTION chap1文本表示基础 1.1 什么是文本表示? 1.2 为什么进行文本表示 chap2 主流技术和方法 文本的离 ... 1. NLP问题简介 0x1:NLP问题都包括哪些内涵 人们对真实世界的感知被成为感知世界,而人们用语言表达出自己的感知视为文本数据.那么反过来,NLP,或者更精确地表达为文本挖掘,则是从文本数据出发 ... 读论文<Recurrent neural network based language model > 标签(空格分隔): 论文 introduce 本文将循环神经网络RNN引入了神经网络 ... 系列文章目录 读论文系列(一)Automated software vulnerability detection with machine learning 文章目录 系列文章目录 Keywards ... SELFEXPLAIN: A Self-Explaining Architecture for Neural Text Classifiers Abstract:[上一篇:读论文1](https:// ...
用户 u i ∈ U 存在 b e h a v i o r − a w a r e 交互序列 S i = [ (
读论文《Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation》相关推荐
最新文章
热门文章