《Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction》论文学习

文章目录

- 《Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction》论文学习
摘要
一、介绍
二、MAIN模型
- 嵌入层
- 多交互层Multi-Interactive Layer
- 全局交互模块Global Interaction Module (GIM)
- 预测层Prediction Layer.
实验
总结

摘要

用于CTR预测中细粒度特征学习的多交互注意网络
在点击率(CTR)预测场景中，最近的文献很好地利用了用户的顺序行为来捕获用户的兴趣。然而，这些顺序方法仍然存在三个局限性。1、现有的方法大多是利用对用户行为的关注，但因为用户经常会点击与任何历史行为无关的新产品，这并不总是适合于预测点击率。2、在真实场景中，有许多用户很久以前就有操作，但最近变得相对不活跃。因此，很难通过用户的早期行为来准确地捕捉用户当前的偏好。3、用户历史行为在不同特征子空间中的多重表示在很大程度上被忽略。
为了解决这些问题，提出了一个**多交互注意网络(Multi-Interactive Attention Network, MIAN)**来综合提取各种细粒度特征(如用户档案中的性别、年龄和职业)之间的潜在关系。具体来说，MIAN包含一个多交互层(Multi- Interactive Layer，MIL)，它集成了三个本地交互模块，通过顺序行为、细粒度用户具体信息和上下文信息捕获用户偏好的多种表示。此外，我们设计了一个全局交互模块(GIM)来学习高阶交互，并平衡多种特征的不同影响。

一、介绍

只通过历史行为来预测候选项目的不足：
1、用户的新需求常常与任何历史行为无关（图（a)历史行为中包含/不包含的）
2、许多用户的点击行为发生在很久以前，并且在最近的周期中缺乏活动（图（b）亚马逊最近历史行为时间间隔）
3、不同的点击情境中对历史行为的表示应该是不同的

细粒度：用户详细信息(例如，年龄、性别和职业)、上下文(例如，天气和位置)
本文提出了一种新的多交互注意网络(Multi-Interactive Attention Network, MIAN)模型，该模型聚合多种信息，通过候选项与其他特征之间的交互获得潜在表示。
具体来说，网络由多交互层(Multi-Interactive Layer, MIL)组成，该多交互层包括三个局部交互模块和一个全局交互模块。第一个模块是Item-Behaviors Interaction module (IBIM)，它使用Pre-LN Transformer自适应地探索不同子空间中顺序行为的用户偏好。第二种是项目-用户交互模块( Item-User Interaction Module, IUIM)，它的目标是获取候选项目和用户详细信息之间的信息。类似地，第三个项目-上下文交互模块(Item-Context Interaction Module, ICIM)用于挖掘候选项和上下文感知信息之间的关系。此外，设计了全局交互模块(GIM)，研究低阶特征与三个局部交互模块生成的高阶特征之间的影响。

主要贡献如下:
•提出同时研究多个细粒度特征交互以及用户历史行为的问题，据我们所知，之前的CTR方法并没有明确地联合建模这些问题。
•我们设计了一种新的MIAN模型，该模型包含用于细粒度特征交互学习的多交互层，以及一个基于transformer的模块，用于提取不同特征子空间中的用户行为的多个表示。
•在三个大数据集上的大量实验表明，我们的方法不仅显著优于最先进的CTR方法，而且具有良好的模型可解释性。此外，我们在一个大型商业系统上部署了MIAN，并取得了显著的改进。

二、MAIN模型

MIAN的总体架构由三层组成:一个常用的嵌入层，一个多交互层和一个预测层。

嵌入层

项目item：

【论文笔记】Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction相关推荐

论文阅读—Relation-Aware Graph Attention Network for Visual Question Answering
论文阅读-Relation-Aware Graph Attention Network for Visual Question Answering 一.标题用于视觉问答的关系感知图注意力网络二.引 ...
论文翻译：Residual Attention Network for Image Classification
摘要在这项工作中,我们提出了"残余注意力网络",这是一种使用注意力机制的卷积神经网络,可以以端到端的训练方式与最新的前馈网络体系结构结合.我们的剩余注意力网络是通过堆叠注意力模块 ...
跨模态检索论文阅读：Context-Aware Attention Network for Image-Text Retrieval
Context-Aware Attention Network for Image-Text Retrieval基于上下文感知的图文检索注意网络 Motivation: 以前的方法没有考虑到单模态中模 ...
【论文笔记】Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized
论文论文题目:Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personaliz ...
（论文笔记）An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition
An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition 文章目录 An ...
论文笔记004-《Knowledge Graph Alignment Network with Gated Multi-hop Neighborhood Aggregation》
更多博客可以关注MyBlog,欢迎大家一起学习交流! 1. 简介题目:<Knowledge Graph Alignment Network with Gated Multi-hop Neigh ...
【论文笔记】Multi-Content Complementation Network for Salient Object Detection in Optical RSI
论文论文:Multi-Content Complementation Network for Salient Object Detection in Optical Remote Sensing I ...
[论文笔记]SwinSUNet: Pure Transformer Network for Remote Sensing Image Change Detection
1 论文标题标题: SwinSUNet: Pure Transformer Network for Remote Sensing Image Change Detection 作者: Cui Zha ...
论文笔记 Multiple Instance Detection Network with Online Instance Classifier Refinement - CVPR 2017
Multiple Instance Detection Network with Online Instance Classifier Refinement 华中科大Peng Tang, Xingga ...

【论文笔记】Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction

《Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction》论文学习

文章目录

摘要

一、介绍

二、MAIN模型

嵌入层

【论文笔记】Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction相关推荐

最新文章

热门文章