直播 | AAAI 2021：如何缓解GNN预训练和微调之间的优化误差？

「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。

本期 AI Drive，我们邀请到腾讯微信事业群应用研究员陆元福，为大家解读其发表于 AAAI 2021 的最新工作。对本期主题感兴趣的小伙伴，1 月 28 日（周四）晚 7 点，我们准时相约 PaperWeekly B 站直播间。

直播信息

传统 GNN 预训练是一个两阶段的流程，即先在大规模图数据集上进行预训练，进而在下游数据上进行微调。但是，通过对两阶段优化目标的分析，我们发现这两个步骤之间是存在一些差异的，这一差异在一定程度上影响预训练模型的迁移效果。因此，在本文中，我们考虑如何缓解传统预训练和微调两个步骤之间差异，从而更好的实现知识迁移。

基于此，我们提出了一种自监督预训练策略，充分利用无标签的图数据，并在两个大规模数据集上取得了显著提升。同时，我们还发布了一个包含百万量级子图的大规模图数据，可用于图分类等任务。代码及数据已公开。

论文标题：

Learning to Pre-train Graph Neural Networks

论文链接：

https://yuanfulu.github.io/publication/AAAI-L2PGNN.pdf

代码链接：

https://github.com/rootlu/L2P-GNN

本次分享的具体内容有：

在传统的 GNN 预训练模型中，存在预训练和微调之间有差异的问题
为了缓解这一差异，我们提出了一种自监督的预训练模型
在两个大规模数据集上，所提出的模型取得了显著提升。

嘉宾介绍

陆元福 / 腾讯微信事业群应用研究员

陆元福，腾讯微信事业群应用研究员，硕士毕业于北京邮电大学计算机学院，主要研究方向：graph embedding、recommender systems 和 meta learning。目前以第一（学生）作者在 IEEE TKDE、KDD、AAAI 和 CIKM 等会议发表相关论文多篇。

直播地址 & 交流群

本次直播将在 PaperWeekly B 站直播间进行，扫描下方海报二维码或点击阅读原文即可免费观看。线上分享结束后，嘉宾还将在直播交流群内实时 QA，在 PaperWeekly 微信公众号后台回复「AI Drive」，即可获取入群通道。

B 站直播间：

https://live.bilibili.com/14884511

合作伙伴

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。

直播 | AAAI 2021：如何缓解GNN预训练和微调之间的优化误差？相关推荐

NAACL 2022 | FACTPEGASUS：抽象摘要的真实性感知预训练和微调
©作者 | 董冠霆单位 | 北京邮电大学研究方向 | 自然语言理解论文标题: FactPEGASUS: Factuality-Aware Pre-training and Fine-tuning ...
AAAI 2021线下论文预讲会讲者征集
厌倦了线上开会?期待一场面对面的线下学术交流? 想和业界技术大咖.学界专家学者面对面交流前沿热点? 这样的机会来了! 中国中文信息学会青工委拟于12月19日在北京举行AAAI 2021线下论文预讲会( ...
图神经网络GNN预训练技术进展概述
来源:图与推荐本文约2800字,建议阅读5分钟本文为大家推荐四篇有关于GNN预训练的文章. 论文推荐 /introduction/ 机器学习的成功很大程度上取决于数据.但是,高质量的标记数据通常很昂贵 ...
《预训练周刊》第26期：有效扩展：来自预训练和微调变换器的见解、rct.ai训练出5亿参数的BERT-X模型...
No.26 智源社区预训练组预训练研究观点资源活动关于周刊本期周刊,我们选择了14篇预训练相关的论文,涉及短语检索.网络结构.文本排序.架构扩展.对话选择.语言检测.模型微调.机器 ...
有效扩展：来自预训练和微调变换器的见解、rct.ai训练出5亿参数的BERT-X模型
预训练周刊关于周刊本期周刊,我们选择了14篇预训练相关的论文,涉及短语检索.网络结构.文本排序.架构扩展.对话选择.语言检测.模型微调.机器翻译.属性注入.阅读理解.蛋白序列学习.蛋白质预测.蛋白 ...
天池零基础入门NLP竞赛实战：Task4-基于深度学习的文本分类3-基于Bert预训练和微调进行文本分类
Task4-基于深度学习的文本分类3-基于Bert预训练和微调进行文本分类因为天池这个比赛的数据集是脱敏的,无法利用其它已经预训练好的模型,所以需要针对这个数据集自己从头预训练一个模型. 我们利用H ...
Tensorflow【实战Google深度学习框架】预训练与微调含代码（看不懂你来打我）
文章目录 1.前言 2.什么是预训练和微调 3.预训练和微调的作用 4.在一个新任务上微调一个预训练的模型代码实现 1.前言预训练(pre-training/trained)和微调(fine tun ...
ChatGPT使用拓展资料：BERT 带你见证预训练和微调的奇迹
ChatGPT 拓展资料:BERT 带你见证预训练和微调的奇迹 SQuAD数据集: {"version":
端到端语音翻译中预训练和微调的衔接方法
ST:speech translation,语音翻译 ASR:automatic speech recognition,自动语音识别 MT:machine translation,机器翻译 TCEN: ...

直播 | AAAI 2021：如何缓解GNN预训练和微调之间的优化误差？

直播 | AAAI 2021：如何缓解GNN预训练和微调之间的优化误差？相关推荐

最新文章

热门文章