0.Summary:

Title: DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation

Commend:2020-CIKM

Abstract:

异构信息网络被广泛用于解决推荐系统中的稀疏性和冷启动的问题，因为他可以对对用户‑项目交互中的丰富上下文信息进行建模。图神经网络能够通过在图上的传播对这些丰富的上下文信息进行编码。然而，现有的异构图神经网络忽略了来自不同方面的潜在因素的纠缠，且现有的方法中的元路径被简化为边信息的过程中会忽略丰富的语义信息。

因此提出了新的解耦异构图注意力网络DisenHAN用于推荐，它从异构信息网络中的不同方面学习分离的用户/项目表示。本文使用元关系来分解节点对之间的高阶连通性，提出了一个分离的嵌入传播层，它可以迭代地识别元关系的主要方面，模型从目标用户/项目的每个元关系中聚合相应的方面特征。通过不同的嵌入传播层，DisenHAN 能够在语义上明确地捕捉协同过滤效果。

1.简介

基于协同过滤的方法广泛用于推荐算法中，但其存在用户-项目交互的稀疏性和冷启动的问题。许多方法通过将交互转为实体特征来丰富实例，但这个方法将每个用户记录视为一个独立的实例，却忽略了他们之间的关系

协同过滤推荐算法主要是利用用户对项目的评分数据，通过相似邻居查询，找出与当前用户兴趣最相似的用户群，根据这些用户的兴趣偏好为当前用户提供最可能感兴趣的项目推荐列表。

冷启动问题主要分为三类：
（1）用户冷启动：如何给新用户做个性化推荐的问题，新用户刚使用网站的时候，系统并没有他的行为数据；
（2）物品冷启动：解决如何将新的物品推荐给可能对它感兴趣的用户；
（3）系统冷启动：如何在新开发网站设计个性化推荐系统，此时网站上用户很少，用户行为也少，只有一些商品的信息。

异构信息网络（HIM）可以灵活地对具有丰富上下文信息的用户‑项目交互的异构性和复杂性进行建模。特别是元路径被广泛用于捕获两个节点的相关语义，

从定义上看, 知识图谱是一种知识量丰富的异质网络, 点类型丰富, 关系类型丰富, 约束丰富; 而目前研究的异质信息网络通常是指一种简单的异质网络. 因为都是异质网络, 二者共享一些概念 (metapath, schema等).

这种差异来源于二者起初的定位: 知识图谱的定位是构建知识库来支持决策, 而异质信息网络的定位是完整地建模包含不同类型实体的特定网络.

Meta Path 是2011年 Yizhou Sun etc. 提出的针对异质网络中的相似性搜索。 http://www.morganclaypool.com/doi/abs/10.2200/S00433ED1V01Y201207DMK005

Meta Path 是一条包含relation序列的路径，而这些 relation 定义在不同类型object之间。

然而无论是利用元路径或知识感知嵌入来编码用户和项目之间的相关性，还是图神经网络强大的表示能力，直接使用GNNs框架通过聚合邻域信息,都存在以下问题。

一、这些方法都未能将潜在因素解耦，各种类型的连接表示节点的不同方面的特征，所以比起HIM混淆的特征，学习解耦过的表征更加有效

二、先前的方法直接将元路径简化为辅助信息，忽略了每个因素的具体影响。比如用户购买产品反应产品受欢迎，产品是笔记本适合办公人群，品牌是苹果一定受到粉丝的欢迎。不同的语义关系对分开的特征有特定的影响

三、由于以上两点，导致方法非鲁棒性和低可解释性，不能明确的模拟用户对项目的偏好的具体特点，因此需要学习解耦的表示以供推荐，

本文提出了新的Disentangled Heterogeneous Graph Attention Network用于推荐，其明确地对来自不同方面的因素和语义关系的相应影响进行建模。

具体来说，我们将具有丰富上下文信息的用户-项目交互表示为一个HIN，该HIN由不同类型的节点和节点对之间的对应关系组成。我们以节点特征为输入，将其投射到不同的嵌入位置，并提出一个语义嵌入传播层来识别关系中信息流的主要方面，将其视为嵌入空间中的迭代聚类过程。此外，我们不再手工设计元路径，而是采用节点间的单跳关系，采用注意机制软生成元路径。通过叠加多个嵌入传播层，每种类型的节点(尤其是用户和条目)聚合来自不同元路径的嵌入，以获取高阶连接中的语义信息。

2.相关工作

1.基于HIM的CF方法：由于缺乏揭示实体行为相似性的CF信号的显示编码，高阶连接很难被捕获

2.图神经网络：最近，一些基于GNNs的HIM被提出用于信息传播，但仍忽略了节点对之间，语义信息的不同方面。

3.解耦表征学习：旨在学习表示分离背后变化的解释因素，可以使模型更健壮，更具有可解释性。本文想要学习HIM的解耦表征，其节点的类型和关系将会更加复杂

3.问题定义

在本节中定义了一些重要概念，包括HIM、元路径、元关系以及对推荐的定义：预测用户是否有对之前没有互动过的项目的潜在兴趣，特别是如何通过预测功能的不同方面学习低维表示用户和项目

4.模型

4.1 概述

DisenHAN框架由三部分构成，

1.对于给定节点，将其源邻居基于元关系进行分组，并将它们的属性投影到不同的子空间中以从不同方面提取特征。

2.对于每个元关系组，聚合每个方面下的源邻居特征，来捕获特定的语义信息

3.通过迭代机制来确定每一个元关系的主要方面来获得最优组合信息，通过迭代层，可以聚合高阶信息来丰富节点的表示，用于预测匹配分数

4.2 解耦内容转换

不同类型的节点总是具有来自HIN 中不同特征空间的属性。对于目标节点t ，讨论如何将其邻居s 根据不同元关系分组。

对于某个组，应用转化函数将t和s进行转化

不同于KGAT将所有关系使用同一个转化矩阵，而是使用K个不同的转化矩阵，将节点投影到K个不同的子空间中

ct,k=σ(Wϕ(

读论文《DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation》相关推荐

读论文《A Neural Probabilistic Language Model》
读论文<A Neural Probabilistic Language Model> 原文地址:http://blog.csdn.net/qq_31456593/article/detai ...
A Neural Probabilistic Language Model 论文阅读及实战
1.词向量介绍在NLP任务中,第一步首先将自然语言转化成数学符号表示.一般常用的词汇表示方法:one-hot表示,这种方法是将每个单词表示为一个很长的向量,这个向量的长度是词汇表的大小,其中绝大数元 ...
论文阅读：A Neural Probabilistic Language Model 一种神经概率语言模型
A Neural Probabilistic Language Model 一种神经概率语言模型目录 A Neural Probabilistic Language Model 一种神经概率语言模型 ...
文本生成（一）【NLP论文复现】Unified Language Model 文本生成从未如此轻松
Unified Language Model 文本生成从未如此轻松前言 UniLM How to build UniLM Get 2D MASK Send 2D MASK to Bert 使用Uni ...
读论文《Natural Language Processing (Almost) from Scratch》
读论文<Natural Language Processing (Almost) from Scratch> 原文地址:http://blog.csdn.net/qq_31456593/a ...
NLP——day37 读论文：自然语言处理中的文本表示研究（综述类 2022 软件学报）
自然语言处理中的文本表示研究资源下载地址(原论文和笔记) INTRODUCTION chap1文本表示基础 1.1 什么是文本表示? 1.2 为什么进行文本表示 chap2 主流技术和方法文本的离 ...
NLP问题特征表达基础 - 语言模型（Language Model）发展演化历程讨论
1. NLP问题简介 0x1:NLP问题都包括哪些内涵人们对真实世界的感知被成为感知世界,而人们用语言表达出自己的感知视为文本数据.那么反过来,NLP,或者更精确地表达为文本挖掘,则是从文本数据出发 ...
读论文《Recurrent neural network based language model 》
读论文<Recurrent neural network based language model > 标签(空格分隔): 论文 introduce 本文将循环神经网络RNN引入了神经网络 ...
读论文系列(二)Convolutional Neural Networks over Tree Structures for Programming Language Processing
系列文章目录读论文系列(一)Automated software vulnerability detection with machine learning 文章目录系列文章目录 Keywards ...
读论文2：SELFEXPLAIN: A Self-Explaining Architecture for Neural Text Classifiers
SELFEXPLAIN: A Self-Explaining Architecture for Neural Text Classifiers Abstract:[上一篇:读论文1](https:// ...

读论文《DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation》