推荐系统顶会 RecSys2019 最佳论文！《Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches》
作者: 纪厚业 北京邮电大学

知乎专栏对公式支持较好, 见 https://zhuanlan.zhihu.com/c_1158788280744173568

个人公众号 图与推荐


本文发表在推荐系统顶会RecSys2019并获得了Best Paper。作者梳理实现了大量顶会推荐论文的代码（https://github.com/MaurizioFD/RecSys2019_DeepLearning_Evaluation）方便大家入门推荐系统。
1.引言.
推荐系统尤其是深度推荐系统在工业界得到的广泛的应用，相关论文也在各大顶会层出不穷。各种State-of-the-art的模型不断的刷新着记录。但是，这些模型的有效性并没有真正的得到验证。本文复现了近些年顶会的Top-N推荐的论文并进行了系统的分析。遗憾的是，顶会上的18种推荐算法只有7个可以合理的复现。一些算法甚至无法超过基于KNN的方法。这不禁使作者发出疑问：我们真的取得了大量的进步吗？
2.相关的论文、模型评价标准及基线算法
这里作者收集了18篇各大顶会论文，见Table 1.

3.模型验证
3.1Collaborative Memory Networks (CMN)
CMN是一种混合记忆网络和注意力机制的推荐模型，发表在SIGIR2018。作者复现了CMN并在三个数据集上进行了验证，结果如Table 2所示。

可以看出，CMN在大部分的情况下表现并不好，而UserKNN和ItemKNN表现强劲。

3.2 Metapath based Context for RECommendation (MCRec)
MCRec是北邮石川老师组发表在KDD2018的工作，是一种基于路径的异质图推荐算法。作者在MoiveLens100k比较了MCRec和相关baselines，具体结果见Table 3。

这里MCRec表现不错，但是仍然略差于ItemKNN。ItemKNN在设置了正确超参数的时候取得了最优效果。

3.3 Collaborative Variational Autoencoder (CVAE)
CVAE是一种混合了内容和评分的混合推荐模型，发表在KDD2018上。实验结果见Table 4。

3.4 Collaborative Deep Learning (CDL)
CDL是一篇早期的深度推荐算法（发表在KDD2015上），它混合了栈式降噪自编码器（SDAE）和协同滤波技术来进行推荐。CVAE和本文采用了同样的测评方法和数据集。

可以看出，随着list长度的增加，CDL效果逐渐超过一些baseline，但是和最佳baseline（ItemKNN-CBF）的差距依然较大。

3.5 Neural Collaborative Filtering (NCF)
本文由NUS的Xiangnan He发表在WWW2017上。NCF通过用神经网络来代替内积对矩阵分解进行了泛化，已经成为推荐领域的一个经典baseline。但是在本文的测评中，NCF的表现甚至不如PureSVD。具体测评结果见Table 6。

NCF的一作Xiangnan He老师也在知乎对本文的测评提出了异议（https://www.zhihu.com/question/336304380/answer/784976195）。
3.6 Spectral Collaborative Filtering (SpectralCF)
本文发表在RecSys2018上，作者从Spectral Graph Theory 的角度设计了一种新颖的卷积操作来解决推荐系统的cold-start问题。这里作者在MovieLens1M上对比了SpectralCF和一些baselines，具体结果见Table 7。

SpectralCF表现不是很好，大幅度超越SpectralCF取得了最优的效果。

3.7 Variational Autoencoders for Collaborative Filtering (Mult-VAE)
Mult-VAE是一种基于隐式反馈和VAE的协同过滤模型，发表在WWW2018上。测评结果见Table 8 和Table 9。

4.讨论
本文复现并分析了近些年各大顶会的18篇推荐论文。结果表明，仅仅有7篇论文可以复现，但是其效果并不一定比一些基础推荐算法好。这不禁让作者怀疑深度推荐系统这个领域是否真正的取得了进步。
5. 参考文献
[1] Travis Ebesu, Bin Shen, and Yi Fang. 2018. Collaborative Memory Network for Recommendation Systems. In Proceedings SIGIR ’18. 515–524.
[2] Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, Xia Hu, and Tat-Seng Chua. 2017. Neural collaborative fltering. In Proceedings WWW ’17. 173–182.
[3] Binbin Hu, Chuan Shi, Wayne Xin Zhao, and Philip S Yu. 2018. Leveraging meta-path based context for top-n recommendation with a neural co-attention model. In Proceedings KDD ’18. 1531–1540.
[4] Xiaopeng Li and James She. 2017. Collaborative variational autoencoder for recommender systems. In Proceedings KDD ’17. 305–314.
[5] Dawen Liang, Rahul G Krishnan, Matthew D Hofman, and Tony Jebara. 2018. Variational Autoencoders for Collaborative Filtering. In Proceedings WWW ’18. 689–698.
[6] Hao Wang, Naiyan Wang, and Dit-Yan Yeung. 2015. Collaborative deep learning for recommender systems. In Proceedings KDD ’15. 1235–1244.
[7] Lei Zheng, Chun-Ta Lu, Fei Jiang, Jiawei Zhang, and Philip S. Yu. 2018. Spectral Collaborative Filtering. In Proceedings RecSys ’18. 311–319.
[8] Yi Tay, Luu Anh Tuan, and Siu Cheung Hui. 2018. Multi-Pointer Co-Attention Networks for Recommendation. In Proceedings SIGKDD ’18. 2309–2318.
[9] Zhu Sun, Jie Yang, Jie Zhang, Alessandro Bozzon, Long-Kai Huang, and Chi Xu. 2018. Recurrent Knowledge Graph Embedding for Efective Recommendation. In Proceedings RecSys ’18. 297–305.
[10] Homanga Bharadhwaj, Homin Park, and Brian Y. Lim. 2018. RecGAN: Recurrent Generative Adversarial Networks for Recommendation Systems. In Proceedings RecSys ’18. 372–376.
[11] Noveen Sachdeva, Kartik Gupta, and Vikram Pudi. 2018. Attentive Neural Architecture Incorporating Song Features for Music Recommendation. In Proceedings RecSys ’18. 417–421.
[12] Trinh Xuan Tuan and Tu Minh Phuong. 2017. 3D Convolutional Networks for Session-based Recommendation with Content Features. In Proceedings RecSys ’17. 138–146.
[13] Donghyun Kim, Chanyoung Park, Jinoh Oh, Sungyoung Lee, and Hwanjo Yu. 2016. Convolutional Matrix Factorization for Document Context-Aware Recommendation. In Proceedings RecSys ’16. 233–240.
[14] Flavian Vasile, Elena Smirnova, and Alexis Conneau. 2016. Meta-Prod2Vec: Product Embeddings Using Side-Information for Recommendation. In Proceedings RecSys ’16. 225–232.
[15] Jarana Manotumruksa, Craig Macdonald, and Iadh Ounis. 2018. A Contextual Attention Recurrent Architecture for Context-Aware Venue Recommendation. In Proceedings SIGIR ’18. 555–564.
[16] Jingyuan Chen, Hanwang Zhang, Xiangnan He, Liqiang Nie, Wei Liu, and Tat-Seng Chua. 2017. Attentive collaborative fltering: Multimedia recommendation with item-and component-level attention. In Proceedings SIGIR ’17. 335–344.
[17] Yi Tay, Luu Anh Tuan, and Siu Cheung Hui. 2018. Latent relational metric learning via memory-based attention for collaborative ranking. In Proceedings WWW ’18. 729–739.
[18] Ali Mamdouh Elkahky, Yang Song, and Xiaodong He. 2015. A multi-view deep learning approach for cross domain user modeling in recommendation systems. In Proceedings WWW ’15. 278–288.

作者介绍：
纪厚业，北京邮电大学计算机科学与技术专业博士研究生。主要研究方向是异质图神经网络，异质图表示学习和推荐系统。

推荐系统顶会 RecSys2019 最佳论文！《Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Rec相关推荐

  1. 超全！CS 顶会历届最佳论文大列表，机器学习、深度学习一应俱全！

    点击上方"Datawhale",选择"星标"公众号 第一时间获取价值内容 工欲善其事必先利其器!今天给大家推荐一份非常棒的资源,该资源罗列收集了 CS 顶会历届 ...

  2. 53年来国内唯三，MindSpore加速昇腾芯片论文获国际顶会MICRO最佳论文提名

    点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要10分钟 Follow小博主,每天更新前沿干货 "研究芯片光砸钱不行,要砸数学家.物理学家." 任正非今年5月在接受< ...

  3. 获国际架构顶会ATC2021最佳论文！Fuxi2.0去中心化的调度架构详解

    简介: 近日,在国际体系架构顶会USENIX ATC2021上,阿里云飞天伏羲团队与香港中文大学合作的一篇论文<Scaling Large Production Clusters with Pa ...

  4. 最新！CCF-A类顶会WWW2020最佳论文出炉！OSU最佳论文

    点击上方"迈微电子研发社",选择"星标★"公众号 重磅干货,第一时间送达 导读 CCF A类会议,国际万维网大会WWW 2020(International W ...

  5. GPT-3不算机器学习算法创新？2020年AI顶会最佳论文榜单引发激烈争论

    贾浩楠 发自 凹非寺 量子位 报道 | 公众号 QbitAI 2020年的最后一天,来回顾一下今年所有AI顶会的最佳论文吧! 今年,顶会的最佳论文,既有ECCV的"2D变3D"的N ...

  6. 国内唯一ACL最佳论文得主冯洋：冲击最佳论文需要知道的事情

    整理:Mr Bear 转载自:AI科技评论 在10月30日CCL2020的学生研讨会中,来自中科院计算所的冯洋研究员进行了<冲击最佳论文需要知道的事情>的报告. 在本次演讲中,冯洋老师分别 ...

  7. ECCV 2022开奖！清华、浙大校友斩获最佳论文奖

      新智元报道   编辑:David 好困 [新智元导读]ECCV 2022各大奖项公布,最佳论文一.二作均为华人,本科来自清华.浙大. 10月23日,全球计算机视觉三大顶会之一,两年一届的欧洲计算机 ...

  8. RecSys 2019最佳论文：基于深度学习的推荐系统是否真的优于传统经典方法？

    作者丨纪厚业 单位丨北京邮电大学博士生 研究方向丨异质图神经网络,异质图表示学习和推荐系统 本文发表在推荐系统顶会 RecSys 2019 并获得了 Best Paper.作者梳理实现了大量顶会推荐论 ...

  9. 清华芯片研究再获顶会MICRO加持：软件定义芯片团队出品，最佳论文提名后又一突破...

    杨净 发自 凹非寺  量子位 报道 | 公众号 QbitAI 最近,第53届国际微架构大会(MICRO)在线上顺利召开. 作为计算机体系结构四大顶级会议,清华大学魏少军.刘雷波团队有两篇入选该会议论文 ...

最新文章

  1. 软件工程师到30岁就要转行？
  2. EventBus设计与实现分析——事件的发布
  3. 舞台现场直播技术实践
  4. 高质量C++/C编程指南 ver 1.0
  5. centOS7安装matlab2014a
  6. 飞书×帆软数知鸟 | 飞书上的一站式需求管理
  7. Flutter AnimatedWidget 实现动画的自动刷新
  8. B站推出“锤人类”作品试运行管理办法 将减少推荐争议视频
  9. 年轻人刚入社会就进厂打工不丢人
  10. java基础问题集锦一
  11. 【Swagger】Swagger 注解学习
  12. win2008服务器共享文件夹权限设置,win2008文件夹共享权限怎么设置
  13. 苹果无线网服务器改什么速度快,iPhone网速慢怎么办？苹果手机如何配置DNS？
  14. intel android 平板,IT百科之英特尔芯平板
  15. 吉他谱Guitar pro是什么软件及功能作用介绍
  16. 【Jmeter 简单使用】
  17. Hadoop官网翻译 (HDFS命令)
  18. Java实现银行卡号校验
  19. DJ1 计算机系统概述
  20. [游戏技术]求生之路服务器参数配置

热门文章

  1. FutureTask原理解析-java多线程（实现并行计算）
  2. Android中的OKHttp请求网络
  3. 2020证券从业资格网课百度云_2020证券从业资格证视频百度网盘：金融市场基础知识...
  4. 文字超出显示....
  5. unicode 与UTF8
  6. 为啥苹果鼠标反人类？ 一周外设要闻回顾
  7. 计算机网络技术第四版王协瑞答案,计算机网络技术 王协瑞
  8. JsonObject和JsonArray的使用
  9. mybatis-generator插件执行报错：Cannot resolve classpath entry
  10. 文昌帝君阴骘文（原文+译文）