ACM CIKM是信息检索和数据挖掘的顶级会议，享有很高的学术声誉。近日，第29届ACM CIKM公布录用结果，华为诺亚方舟实验室推荐与搜索团队、决策推理加研团队、AI基础理论团队、以及上海交大Apex实验室合作的6项研究成果被接收。其中图神经网络方向有3篇论文被接收，AutoML方向有1篇论文被接收，深度学习和排序方向有2篇论文被接收。本文将概要介绍这6项研究成果，欢迎大家关注诺亚方舟实验室的公众号，后续我们将带来相关研究成果的详细介绍。

GraphSAIL: Graph Structure Aware Incremental Learning for Recommender Systems (in Applied Research Track)

图1：GraphSAIL全局结构蒸馏示例

推荐系统可以帮助用户很方便的从在线服务中获取想要的信息，在提升用户体验方面起着越来越重要的作用，也累计了越来越多的用户数据。随着图神经网络(GNNs)的出现，基于用户-物品二部图来学习用户、物品表达展现出了巨大的优势。但是，GNN模型的训练复杂度很高，难以频繁地更新以提供最新的用户、物品个性化表达。在本研究中，我们提出通过增量的方式更新基于GNN的推荐模型，以大大缩短训练时间，从而可以更频繁地更新模型。我们设计了一种图结构感知增量学习框架GraphSAIL，以克服在增量方式训练模型时常常出现的灾难性遗忘问题。GraphSAIL实现了一种可以保存每个节点的局部结构、全局结构和自信息的图结构信息保存策略，从而在增量更新期间可以更好的保留用户的长期偏好(以及物品的长期属性)。GraphSAIL是首个对基于GNN的推荐模型进行增量更新的框架，在两个公共数据集上与其它增量学习技术的对比展示出了GraphSAIL的优越性。我们进一步在大规模工业数据集上验证了我们的框架的有效性。【诺亚推荐与搜索团队，决策推理加研团队联合研究成果】

Personalized Re-ranking with Item Relationships for E-commerce (in Research Track)

图2：IRGPR模型结构

在大规模商用推荐系统中，重排序(re-ranking)是一项非常关键的任务。重排序模型在已有初始排序的基础上，进行更精细的排序建模，以提高最终推荐结果的准确性。但是，现有的推荐重排序模型大多忽略了以下两个问题：(1)忽略了列表中商品与商品之间的相互关系和影响，例如拥有可替代(substitutable)或者互补(complementary)关系的商品出现在同一列表中，会影响到用户对于另一商品的满意度；(2)对所有用户使用单一的重排序策略，而忽略了用户个性化的偏好和意图。为了解决这些问题，我们构造了一个异构图来融合初始排序信息和商品关系信息。我们设计了一个基于图神经网络的框架IRGPR，通过递归的方式逐步聚合来自多跳邻域的依赖关系和结构信息。同时，我们还提出了一个新颖的意图嵌入网络，对个性化的用户意图进行显式建模。大量在真实数据集上的实验证实了IRGPR在重排序任务上的有效性。进一步分析表明，对商品关系和个性化意图建模有助于提升重排序的推荐效果。【诺亚推荐与搜索团队自研成果】

TGCN: Tag Graph Convolutional Network for Tag-Aware Recommendation (in Research Track)

图3：TGCN模型结构

标签感知推荐系统 (Tag-aware recommender systems)利用了用户对物品的标注标签作为一种辅助信息来提升推荐性能，传统的基于深度学习的标签感知推荐模型单纯依靠基于标签的特征来表征用户和物品，这种方式难以有效解决标签空间的稀疏性、模糊性和冗余性等弊端。为了解决这个问题，我们将用户的标注记录以无向带权异构图的形式进行组织，通过邻居来提供额外的内容信息。在本工作中，我们提出了一个基于图神经网络的模型TGCN。TGCN针对不同类型的邻居节点采用不同的采样和聚合操作，并利用注意力网络来识别邻居和节点类型的重要性。此外，利用卷积神经网络作为类型聚合方式从而建模多粒度的特征交互。我们在公开数据集和产品数据集进行验证，TGCN模型在各个评价指标上均优于现有的标签感知推荐模型。【诺亚推荐与搜索团队自研成果】

U-rank: Utility-oriented Learning to Rank with Implicit Feedback (in Applied Research Track)

图4：将排序问题建模成二分图最大权重匹配问题

使用隐式反馈进行排序学习是许多现有信息系统、推荐系统最重要的任务之一。信息系统、推荐系统一般都有特定的优化目标，例如，增加点击量和提高收入。我们泛称该优化目标为收益。很多时候，我们希望有一个算法能够直接最优化收益。然而，现有的排序算法原则并不能够最大化收益。为此，我们提出了一种新型排序框架，U-rank，将期望收益最大化的问题建模为物品和位置的二分图最大权重匹配问题。该框架考虑位置偏置对收益的影响，通过借助位置感知的深度点击率预测模型，计算二分图的权重为在特定query下该物品被放到某个位置的收益。我们借鉴了有效的Lambdaloss框架来最大化该二分图匹配问题，这个框架得到了理论和经验分析的支持。我们在三个benchmark数据集和二个的私有数据集上进行了大量的实验，充分展示了U-rank在优化收益的目标上表现优于许多state-of-the-arts算法。此外，U-rank已经部署到一个商业推荐系统，线上A/B测试中观察到U-rank相对生产基线大幅提升了点击率和转化率。【诺亚推荐与搜索团队，上海交大Apex实验室俞勇/张伟楠老师团队联合研究成果】

AutoFeature: Searching for Feature Interactions and Their Architectures for Click-through Rate Prediction(in Research Track)

图5：AutoFeature的神经网络架构搜索流程图

点击率预测问题是商业推荐系统中一个重要研究课题。而在这个课题中中，如何有效建模特征交互是一个核心研究点。但是，现有的方案要么对于某一阶交互建模了所有可能的特征交互，要么需要人工去选择特征交互。这些模型使用了相同的网络结构或者函数去建模所有的特征交互，从而忽略了不同特征交互之间复杂度的不同。为了解决这些问题，我们提出了一个基于神经网络架构搜索的模型AutoFeature，去自动化的找到潜在有用的特征交互，并且选择合适的神经网络结构去建模不同的特征交互。首先，我们设计了一个灵活的搜索空间，使得覆盖了很多流量的深度推荐模型如PIN，PNN，DeepFM等，并且能够建模高阶特征交互。其次，我们提出了一个高效的神经网络架构检索算法，能够迭代循环的将搜索空间划分成多个子空间，并且从中采样出高质量的神经网络结构。我们在公开数据集上进行了充分的实验，验证了AutoFeature的精度和效率。【诺亚推荐与搜索团队，AI基础理论团队联合研究成果】

Ensembled CTR Prediction via Knowledge Distillation (in Applied Research Track)

图6：CTR知识蒸馏

近年来，深度学习模型被广泛应用于商业推荐系统，预估用户点击率 (即Click-Through Rate，CTR)。当前的研究主要集中在构建复杂的网络结构以更好地捕获复杂的特征交互项和动态的用户行为。然而，模型复杂性的增加可能会降低在线推理的速度，并阻碍其在实时业务系统中的落地应用。相反，我们的工作提出基于知识蒸馏(KD)的模型训练策略。知识蒸馏是一种teacher-student学习框架，可以将从teacher模型学到的知识转移到student模型。知识蒸馏策略不仅使我们可以将学生模型简化为普通的DNN模型，而且与最新的teacher模型相比，还可以进一步提高准确性。基于此，我们也探索了如何使用更加强大的多模型融合策略来指导更准确的student模型训练。我们针对12个现有模型和3个工业数据集进行了全面的实验。离线和在线A / B测试结果均证明了我们基于KD的模型训练策略的有效性。【诺亚推荐与搜索团队自研成果】

— 完 —

欢迎有才华的您与我们一起，迎接人工智能的大航海时代！

诺亚方舟实验室(Noah's Ark Lab) 是华为公司从事人工智能基础研究的实验室，致力于推动人工智能领域的技术创新和发展，并为华为公司的产品和服务提供支撑。

简历投递：请发送简历至Noahlab@huawei.com，邮件标题“应聘职位+姓名”

— Welcome Aboard！—