论文 | 图理论 | 2021年斯坦福大学Jiaxuan You博士论文《用图赋能深度学习》译读摘要和感谢

图科学实验室Graph Science Lab 2022-05-09 00:29

封面

下载：

https://stacks.stanford.edu/file/druid:mz469rn9516/PhD_thesis_final_Jiaxuan-augmented.pdf

摘要

深度学习重塑了人工智能的研究和应用。现代深度学习模型主要是为规则结构数据设计的，如序列和图像。这些模型是为将这些规则结构的数据作为输入(例如，分类，回归)，作为输出(例如，生成)，或作为结构先验(例如，神经结构设计)的任务而构建的。然而，并不是所有形式的数据都是规则结构的。一个值得注意的例子是图结构数据，这是一种通用的、功能强大的数据结构，它以一种简洁的形式表示实体及其关系。虽然图结构数据在自然科学和社会科学中无处不在，但其离散和non-i.i.d.大自然给现代深度学习模型带来了独特的挑战。

在本文中，我们的目标是通过促进深度学习模型将图作为输入、输出和先验，从而使用图结构数据增强深度学习。我在这三个方向的研究为深度学习的研究开辟了新的前沿:

(1)基于深度学习的图学习。我们开发了富有表现力和有效的深度学习方法，可以将图形作为输入，促进图形的学习和理解。

(2)利用深度学习生成图。我们使用深度学习模型阐明图的生成过程，这促进了图的发现和设计。

(3)图作为深度学习的先验。我们发现图结构可以作为神经结构和机器学习任务的强大先验，这为深度学习的设计和理解开辟了一个新的方向。

最后，我们讨论了上述技术的广泛应用，包括推荐系统、药物发现、神经结构设计和缺失数据的imputation。

感谢

在斯坦福大学的四年是我人生中最宝贵的经历。我于2017年开始攻读博士学位;那时候，我还是机器学习领域的初学者。我在我的目标声明中写道，我希望攻读博士学位，成为一名机器学习研究员。现在，我很高兴，在这段神奇的旅程中，我已经达到了一个重要的里程碑。

首先，我要感谢我的导师Jure Leskovec在这次旅程中的支持。Jure教会了我如何做正确的研究，写好论文，制作好幻灯片，基本上是成为一名出色的研究人员所需要的一切。我有很多和Jure一起工作的美好回忆。我怀念那些我们围坐在一块巨大的电子白板前，讨论项目下一步该做什么的日子。记得大一的时候，Jure来到我的办公室，和我一起改进我们提交给2019年Web Conference的论文;他开玩笑说，我的键盘又好又高效，我现在还在用它来写论文。我记得有一次我们通过在幻灯片上留下评论来重复幻灯片的内容，最后，它们都被证明是很棒的。我非常感谢Jure做我的导师。

我想感谢Stefano Ermon在我的论文委员会工作，以及David Lobell担任我的口头委员会主席。五年前，我作为暑期实习生与斯特凡诺和大卫一起工作，这对我来说绝对是一次改变人生的经历。我非常感谢他们对我的信任和支持;没有他们，我无法想象我如何开始这令人兴奋的旅程。我要感谢在我的论文委员会任职的马腾宇，以及在我的口头委员会任职的吴佳君。我在清华读本科的时候，一直很欣赏他们的经历，并向他们学习。很高兴听到他们对我的研究的建议和评论。

我非常感谢得到许多伟大研究者的支持和指导。我的导师是Facebook AI Research的Kaiming He和Saining Xie。他们的远见卓识和实践经验让我受益匪浅，也重塑了我对深度学习研究的思维模式。我们的合作为我的论文带来了相当大的一部分，我希望在未来能与他们再次合作。我要感谢William Hamilton、Marinka Zitnik、Tim Althoff和David Hallac在我博士生涯的早期指导。他们都是SNAP的校友，我从他们那里学到了很多关于研究和博士生涯的第一手经验。我要感谢Vijay Pande、Clark Barrett和Mykel Kochenderfer在我们的研究合作中对我的指导。我从他们每个人身上都学到了跨学科的思维方式。我要感谢Aditya Pal、Pong Eksombatchai、Chuck Rosenberg和Vanja Josifovski，感谢他们在Pinterest实习期间对我的指导和支持。我很幸运能从他们对行业的洞察中学习，并进一步了解技术如何真正改变世界。我要感谢Andreas Paepcke, Hector Garcia-Molina, Jeff Ullman, Gio Wiederhold，感谢他们在斯坦福Infolab会议上的所有建议和指导。

我感谢SNAP研究小组给予我的所有支持。感谢Rex Ying、Camilo Ruiz、Michele Catasta、Srijan Kumar、Himabindu Lakkaraju、Emma Pierson、Claire Donnat、刘柏文、任洪宇、曹凯迪、胡卫华、Maria Brbic、吴太林、李善涛、李潘、Antoine Bosselut、Serina Chang、Alexandra Porter、Yusuf Roohani、Hamed Nilforoshan、Michihiro Yasunaga、Evan Sabri Eyuboglu、孙范云、吴启田，张锡坤。我从小组会议、文件交换和日常讨论中得到了很多帮助。我特别要感谢Rok Sosic在研究和生活上的指导(以及所有去太浩湖的旅行)，Adrijan Bradaschia在我们组的计算资源上的所有帮助，以及Yesenia Gallegos和Natasha Sharp协调所有的行政事务。

我由衷地感谢我的前辈和同事们的建议，特别是贾志浩、李晓成、陈丹奇、李成涛、戴汉军、许丹飞、夏飞、齐鹏、李继伟、刘博文、刘晨曦、王一晨、陈开峰、陈一伦、王贺、方宽。我从他们身上学到了很多。

感谢业界合作伙伴的支持。感谢摩根大通的Daniel Borrajo、Vamsi Potluru、Naren Chittar、Reddy Prashant;杨昊，Mahashweta Das，王飞，吴余杭，VISA Research;JDAI Research的黄静、王广涛;来自谷歌X的杨洁、郭查理;来自西门子的温成涛和Arquimedes Canedo。我特别要感谢摩根大通和百度慷慨地提供奖学金支持我的研究。

我真诚地感谢我所有的研究合作者，他们对本文的材料做出了很大的贡献。感谢Ying Rex、Wang Andrew、Liu Bowen、Camilo Ruiz、Christopher Morris、Daisy Yi、Dylan Bourgeois、孙范云、肖光轩、吴浩泽、任洪宇、Jonathan Gomes-Selman、曹开迪、杜天宇、William Hamilton、任翔、马晓白、王懿宸、贾志浩。我特别要感谢雷克斯·英。我们在大多数项目中都有合作，我们从彼此那里学到了无数的好点子。与Rex合作是我的荣幸，我相信我们会在未来继续创作出伟大的作品。

我总是喜欢和我的朋友们在一起。多亏了张浩田,雷克斯,Qiaoyi Liu宏宇任圣嘉赵,嘉明歌,凯迪曹,阿里安娜元,黛西叮,Lantao Yu ZiyueWang,小张,Chenzhuo朱、张Zewen汉城曹,你们郭,天宇Du,安德鲁·吴钱,据张Yunzhu李和许多其他人一样,所有的讨论研究和生活。特别感谢我的朋友们从小学,高中,大学,Zhengdao陈,陈莫Chengyun Yu Hanchao悦,Zongbo Du,一帆,志华顾,心语傅,裴Wang Mutian Liu协调Yu, Xi Chen Yu叮,Weijia Wu Yangrui陈,思玉王,泽田,白Liu Ruochi张和很多人一样,我特别要感谢陈正道，他是我在过去18年里一直可以求助的人。

由于空间的限制，我很抱歉不能写下所有帮助和支持我在博士期间的名字。我想对他们说一个很大的感谢。

最后，我要感谢我的父母和我的未婚妻葛，感谢他们无条件的爱。他们的爱和支持造就了今天的我。

感谢我的父母和葛先生，感谢他们无条件的爱。

阅读原文

论文 | 图理论 | 2021年斯坦福大学Jiaxuan You博士论文《用图赋能深度学习》译读摘要和感谢相关推荐

论文 | 图理论 | 2020年明尼苏达大学博士论文《学习强大的深度图神经网络和嵌入》
原创 Saurabh Verma 图科学实验室Graph Science Lab 2022-06-25 00:00 发表于台湾学习强大的数据嵌入最近已成为机器学习算法的核心,尤其是在自然语言处理和计 ...
课程 | 2021年斯坦福大学Jure Leskovec主讲CS224W 图机器学习
图科学实验室Graph Science Lab 来源:斯坦福大学 SNAP 近年来,图神经网络(GNN)成为网络表示学习和分析的热点研究问题,其特点是将以神经网络为代表深度学习技术用于网络结构的建模与 ...
智源论坛报名丨斯坦福大学马腾宇博士：为深度模型设计显示正则器
深度模型有高超的学习(数据拟合)能力,但为了提高模型的泛化能力.让模型在新的数据上也有好的表现,我们需要寻找一些方法干扰模型的训练过程,避免模型"记住"训练数据,这就是正则化. 本 ...
被誉为「教科书」，牛津大学231页博士论文全面阐述神经微分方程，Jeff Dean点赞...
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达来自:机器之心牛津大学的这篇博士论文对神经微分方程(NDE)展开了全面细致的研究.论 ...
牛津大学231页博士论文全面阐述神经微分方程（NDE），Jeff Dean点赞
©作者 | 机器之心编辑部来源 | 机器之心牛津大学的这篇博士论文对神经微分方程(NDE)展开了全面细致的研究.论文作者表示,他希望这篇论文可以吸引到对深度学习与动力学系统结合感兴趣的读者,并希望 ...
理论与实践中的CNN模型结构，如何引领深度学习热潮
摘要: 深度学习是指多层神经网络上运用各种机器学习算法解决图像,文本等各种问题的算法集合.卷积神经网络(CNN)是深度学习框架中的一个重要算法,本文介绍了CNN主流模型结构的演进过程,从一切的开始Le ...
【读点论文】DeepFace: Closing the Gap to Human-Level Performance in Face Verification。深度学习开始对人脸下手
DeepFace: Closing the Gap to Human-Level Performance in Face Verification 最早将深度学习用于人脸验证的开创性工作.Facebo ...
论文翻译：《Phosvardeep：使用序列信息对磷酸变化的深度学习预测》
Title:PhosVarDeep: deep-learning based prediction of phospho-variants using sequence information 期刊: ...
深度学习——day38 读论文：基于深度学习的数据竞争检测方法（DeleRace计算机研究与发展 2022）
基于深度学习的数据竞争检测方法 chap0 Introduction 本文贡献: 原文及笔记下载 chap1 DeleRace 1.1 检测框架 1.2 选取实际应用程序 1.3 特征提取 1.3.1 ...

论文 | 图理论 | 2021年斯坦福大学Jiaxuan You博士论文《用图赋能深度学习》译读摘要和感谢

论文 | 图理论 | 2021年斯坦福大学Jiaxuan You博士论文《用图赋能深度学习》译读摘要和感谢相关推荐

最新文章

热门文章

论文 | 图理论 | 2021年斯坦福大学Jiaxuan You博士论文《用图赋能深度学习》译读 摘要和感谢

论文 | 图理论 | 2021年斯坦福大学Jiaxuan You博士论文《用图赋能深度学习》译读 摘要和感谢相关推荐

最新文章

热门文章

论文 | 图理论 | 2021年斯坦福大学Jiaxuan You博士论文《用图赋能深度学习》译读摘要和感谢

论文 | 图理论 | 2021年斯坦福大学Jiaxuan You博士论文《用图赋能深度学习》译读摘要和感谢相关推荐