从近期两篇论文看大规模商品图嵌入
©PaperWeekly 原创 · 作者|桑运鑫
学校|上海交通大学硕士生
研究方向|图神经网络在金融领域的应用
GATNE
论文标题:Representation Learning for Attributed Multiplex Heterogeneous Network
论文来源:KDD 2019
论文链接:https://arxiv.org/abs/1905.01669
代码链接:https://github.com/THUDM/GATNE
这篇论文提出了一种在 Attributed Multiplex Heterogeneous Network 上进行嵌入学习的框架 GATNE,该框架同时支持转导式学习(transductive learning)和归纳式学习(inductive learning),在 Amazon,Youtube,Twitter 和 Alibaba 四个数据集上取得显著提升。
相比于传统的只有一种边或只有一种节点的图,Attributed Multiplex Heterogeneous Network(AMHEN)中包含多种节点,多种边,每种节点都有不同的属性,各种类型的图有代表性的嵌入方法如下表所示。
AMHEN 有以下几个问题:
每对节点之间可能有多种类型的边,需要对每种关系都学习不同的表示。
很多图嵌入方法都是转导式学习,无法处理没有见过的数据,而商品推荐中存在长尾和冷启动的问题。
真实场景中的图规模通常很大,所以提出的算法应当可以处理大规模数据。
基于上述问题,文章提出了 General Attributed Multiplex HeTerogeneous Network Embedding(GATHE)。
对于一个图
, 是 个节点的集合, 是属于不同关系 的边的集合,每条边 都有一个权重 ,根据边的类型 ,我们可以将图拆分成各个子图 。
为了使模型同时适用于转导式学习和归纳式学习,文章首先提出了适用于转导式学习的 GATNE-T,之后通过一些改进提出了适用于归纳式学习的 GATNE-I。
对于 GATNE-T,对每个节点
的 embedding 分为 base embedding 和 edge embedding 两部分。同一个节点的 base embedding 在不同的边类型中是一样的。在边类型为 的子图上,edge embedding 则从邻居节点的 edge embedding 聚合得到:
之后将经过节点
经过 次聚合之后的 种(边的类型数)不同的 edge embedding 拼接在一起进行注意力加权,加上 base embedding 得到节点在边类型 下的 embedding:
其中
是衡量不同 edge type 重要性的超参数, 是可训练的转换矩阵。
但是转导式的方法只能获得在训练集中出现过的 item 的 embedding,但在商品推荐等真实场景中存在冷启动问题,因此文章在 GATNE-T 的基础上提出了归纳式的算法 GATNE-I。该算法使用节点
的属性 生成 base embedding,其中 是节点 的节点类型。同样的,节点初始的 edge embedding 也通过类似的方式生成:
最终,节点
在 edge type 上的 embedding 为:
其中
是 coefficient, 是可训练的转化矩阵。
在模型训练上,文章采用了基于 meta-path 的 random walk。对于只包含关系
的子图 和给定的 meta-path ,每一步的转移概率规定为:
训练的目标函数为最大化给定
时周围节点出现的概率:
该模型在四个数据集上取得了最好的结果。
GraphRec
论文标题:Graph Neural Networks for Social Recommendation
论文来源:WWW 2019
论文链接:https://arxiv.org/abs/1902.07243
代码链接:https://github.com/wenqifan03/GraphRec-WWW19
一个基于 GNN 的社交推荐系统要处理两个图:社交图(social graph)和用户-商品图(user-item graph),这方面的研究主要面临以下挑战:
如何有效融合两个图
如何同时捕捉用户和商品之间的交互和观点
如何处理不同的社交关系
为了解决上述问题,文章提出了 GraphRec。
规定
和 分别是用户和商品的集合, 是用户-商品评分矩阵, 是用户 对商品 的评分,也可以被认为是用户 对商品 的观点。 是评分,如果不知道则取 0。
此外,
表示用户和用户之间的社交图,如果用户 和用户 之间有关系 ,如果没有则取 0。给定用户-商品图 和社交图 ,目标是预测 中的缺失值。我们使用一个嵌入向量 来表示用户 ,用另一个嵌入向量 来表示物品 。
因为涉及到用户和商品两个主体,整个模型分为 User Modeling 和 Item Modeling 两部分。User Modeling 用于学习用户的隐变量
。为了有效地结合用户-商品图和社交图,模型从两个图中使用两种不同的聚合方式学习用户隐变量。在用户-商品图中学习商品空间中的用户隐向量:
其中
是用户 交互的商品集, 是表征用户 和商品 之间交互的向量。因为用户与商品之间的关系有多种,体现在评分矩阵 上就是每个元素 可能有多个取值,例如 ,如果用户 与物品 的关系为 ,则 可以利用物品嵌入 和观点(opinion)嵌入通过 MLP 获得:
在聚合方式上,采用类似 Attention 的方式进行加权:
类似的,从社交图中获取用户隐向量的方式如下:
其中
是用户 直接交互的用户集。
获得
和 后,可以通过 MLP 获得用户隐向量 :
Item Modeling 方面,和在用户-商品图中的 User Modeling 类似的,如果用户
与物品 的关系为 ,则用向量 来捕捉两者之间的交互信息。最终的隐向量 也是通过类似注意力加权的形式得到:
其中
是商品 交互的用户集。
文章使用预测评分的任务来对模型进行训练:
模型中涉及的三个嵌入向量:item embedding
, user embedding , opinion embedding 随机初始化。损失函数为:
文章提出的模型在 Ciao 和 Epinions 两个数据集上取得了最好的结果。
更多阅读
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学习心得或技术干货。我们的目的只有一个,让知识真正流动起来。
???? 来稿标准:
• 稿件确系个人原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)
• 如果文章并非首发,请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发,均会添加“原创”标志
???? 投稿邮箱:
• 投稿邮箱:hr@paperweekly.site
• 所有文章配图,请单独在附件中发送
• 请留下即时联系方式(微信或手机),以便我们在编辑发布时和作者沟通
????
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。
从近期两篇论文看大规模商品图嵌入相关推荐
- 离谱!结论相反的两篇论文共用同一张图,教授:可能是研究生的错
本文来源:整理自Retraction.丁香园.SCI论文投稿,编辑:募格学术 两篇结论相反的论文,竟用同一张实验图? 在被质疑后作者"甩锅式"回应:重复可能是因为研究生滥用了该图像 ...
- Towards Two-Dimensional Sequence to Sequence Model和Two-Way Neural Machine Translation两篇论文简单分析
第一篇是:发布于2018年Towards Two-Dimensional Sequence to Sequence Model in NeuralMachine Translation 第二篇是:与第 ...
- 语义分割车道线,来自两篇论文的融合算法
语义分割车道线,来自两篇论文的融合算法 IEEE IV 2018论文<LaneNet: Real-Time Lane Networks for Autonomous Driving>.这篇 ...
- 计算机博士两篇一区两篇会议,本科博士联手!西电陈渤团队两篇论文被顶级会议录用...
第34届神经信息处理系统大会(Neural Information Processing Systems, NeurIPS,https://neurips.cc/)将于12月06日-12月12日,通过 ...
- 3D图像生成和编辑研究成果大放送!朱俊彦团队放出两篇论文实现代码 | 资源...
乾明 发自 凹非寺 量子位 报道 | 公众号 QbitAI 朱俊彦团队,一口气放出两篇论文的实现代码! 这两篇论文,都与3D图像有关,都被NeurIPS 2018大会收录了.朱俊彦在Twitter上 ...
- 微电子学与计算机期刊2019,微电子与通信工程学院研究生两篇论文被人工智能顶级会议AAAI 2019接收...
近日,微电子与通信工程学院研究生有两篇文章被国际人工智能领域顶级学术会议AAAI 2019(AAAI Conference on Artificial Intelligence 2019)录用.AAA ...
- 北邮计算机学院石川,祝贺石川教授团队两篇论文被ACM SIGKDD2019接收!
我院石川教授团队有两篇论文被刚刚揭晓的国际会议ACM SIGKDD 2019接受.ACM SIGKDD(国际数据挖掘与知识发现大会,简称 KDD)是世界数据挖掘领域的顶级国际会议.自 1995 年以来 ...
- 陈跃国教授计算机,我校两篇论文在人工智能顶级国际会议AAAI 2014发表
我校信息学院卢志武副教授和重点实验室陈跃国副教授各有一篇论文在2014年人工智能顶级国际会议AAAI发表.AAAI全称为Association for the Advancement of Artif ...
- NeurIPS | 17篇论文带你展望图机器学习发展趋势
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟 报道 | 公众号 CVLianMeng 转载于 : AI科技评论 [人工智能 ...
最新文章
- 2016.4.2 动态规划练习--讲课整理
- windows查看Python安装目录
- linux双网卡绑定同一IP步骤,linux系统双网卡绑定单个IP地址
- pojo类中list存储其他字段_List集合流处理类型小结
- java 方法 示例_Java扫描仪具有示例的NextNextInt()方法
- LeetCode题 - 83. 删除排序链表中的重复元素 python实现
- 是否担心别人将你的博客文章全部爬下来?3行代码教你检测爬虫
- JS删除两个数组中相同的某个对象值
- php服务器端注释,php标识和注释
- jsf 导航_JSF导航规则示例教程
- 看了这张图你还会想着用MonoDroid来开发Android应用吗?
- pyglet: a cross-platform windowing and multimedia
- 奇迹单机版服务器修改,大天使之剑奇迹网页游戏 一键服务端单机版/架设教程/修改方法...
- 【模板】单峰函数求极值
- 【综述 寿命预测】基于机器学习的设备剩余寿命预测方法综述
- SpringBoot+Vue+mybatis生成pdf文件(表头跟页码,适应上传linux服务器后的操作)
- 如何替换一个Linux内核函数的实现-热补丁原理
- [译]36 Days of Web Testing(一)
- 【STM32】HAL库开发之开启STM32L4系列单片机的FPU
- 生物信息学|新颖的深度学习模型,更准确地预测药物-药物相互作用
热门文章
- linux增加电子档案空间,Linux 建立 SWAP 档案空间
- Codeforces #1063C Dwarves, Hats and Extrasensory Abilities
- centos7安装redis的正确姿势
- matlab新手入门(四)(翻译)
- html加javascript和canvas类似超级玛丽游戏
- Saltstack Master 配置文件详解
- NYOJ-172 小珂的图表
- 【CSON原创】HTML5游戏框架cnGameJS开发实录
- Asp.net(asp,jsp)+JavaScript动态实现添加数据行
- oracle 根据spid查sql,探讨:Oracle数据库查看一个进程是如何执行相关的实际SQL语句...