2020北京智源大会 图神经网络专题 总结
目录
- 引言
- [1] 基于感知和认知系统的逻辑关系推理
- 作者介绍
- 分享内容
- system1 和 syetem2 reasoning
- GMNN: Graph Markov Neural Networks (ICML2019)
- Probabilistic Logic Neural Networks for Reasoning (NeurIPS2019)
- 总结
- [2] 图神经网络在信息检索等领域的应用
- 作者介绍
- 分享内容
- 数据：结构化、半结构化
- Free-Text Knowledge Graph (WebConf2020)
- Transformer-XH: Modeling Semi-structured Information with eXtra-Hop Attentions (ICLR2020)
- 总结
- [3] 图神经网络在推荐系统的前沿研究
- 作者介绍
- 分享内容
- Related Work
- NGCF (SIGIR2019)
- LightGCN (SIGIR2020)
- DGCF (SIGIR2020)
- 总结
- [4] 图神经网络的表达能力
- 作者介绍
- 分享内容
- GNN的框架
- GNN的表达能力
- 总结
- [5] 构建高效易用的深图学习引擎
- 作者介绍
- 分享内容
- 图分析引擎
- 现有深度学习框架
- DGL: Deep Graph Library
- 总结
引言
听这个讲座的时候，怕没听懂，录了屏，并进行了整理。不过由于软件故障，何向南老师的内容有三处没录上，断开了，每段缺失1-2分钟，不影响整体观感。
链接：https://pan.baidu.com/s/1QU-3yEcTL2oFkGNJMxLImg
提取码：0pzm
如有侵权，请联系我删除。
[1] 基于感知和认知系统的逻辑关系推理
作者介绍
唐建 Mila和HEC Montreal的助理教授
个人主页
分享内容
system1 和 syetem2 reasoning
放一张ppt。
- system1 reasoning适用于快速思考、system2 reasoning适用于缓慢思考
- 当前的深度学习普遍处于system1，正在向system2迈进。
- system1是直觉系统，主要负责快速、无意识、非语言的认知，这是目前深度学习主要做的事情；
- system2是逻辑分析系统，是有意识的、带逻辑、规划、推理以及可以语言表达的系统。这是未来深度学习需要着重考虑的。
再放一张ppt
GMNN: Graph Markov Neural Networks (ICML2019)
motivation：
contribution：
system1 or system2：
- 半监督+EM算法
- system1 和 system2 结合
Probabilistic Logic Neural Networks for Reasoning (NeurIPS2019)
motivation：
method：
system1 or system2：
总结
唐建老师分享的内容围绕着system1和system2进行展开，现有的DL方法正在由system1逐步迈向system2，唐老师的几篇文章都是讲system1和system2的优势相结合，这显然会比单纯的system1方法结果要好。
[2] 图神经网络在信息检索等领域的应用
作者介绍
熊辰炎 微软研究院高级研究员
个人主页
分享内容
说实话，这部分内容我都没太听懂。。。
数据：结构化、半结构化
结构化数据的优劣：
使用的数据大多是半结构化的。
Free-Text Knowledge Graph (WebConf2020)
motivation：
Transformer-XH: Modeling Semi-structured Information with eXtra-Hop Attentions (ICLR2020)
用transformer去model半结构化的数据。
总结
讲的主要内容都是基于半结构化数据，而且较为偏向NLP领域，我没太听懂，收获是：工业上可能有些时候无法去进行昂贵的数据标注，只能使用半结构化的数据，所以这类方法可能更具有现实意义？
[3] 图神经网络在推荐系统的前沿研究
作者介绍
何向南 中国科学技术大学大数据学院教授
个人主页
分享内容
Related Work
CF: Collaborative Filtering，协同过滤
早期CF：手动计算相似度，用cosin等方法，再进行融合。
近10年：在隐空间学用户和物品的表示，衡量相似度。
近两年：把整个图都拿过来，学习相似度。
NGCF (SIGIR2019)
将用户、物品关系建模成二分图，用高阶连接性（对于节点u，指的是u能到达的所有节点，但是路径长度要大于1）建模协同过滤的信号。
method：
LightGCN (SIGIR2020)
针对CF task，对GCN进行改进。
method：
最终得到的模型很简单，丢掉了self-connection，但是能够达到有self-connection的效果。
DGCF (SIGIR2020)
motivation：
中间的方法部分，没录上，没有ppt。
总结
何老师讲的内容，都有着很明确的motivation，虽然我们不做推荐这个领域，但是发现问题、研究问题的过程其实都应该是互通的。何老师讲的三篇论文是渐进的，一步一步改进的，但每次改进都能带来较大提升，这种能把方法做成一系列的，非常值得我们思考和借鉴。
[4] 图神经网络的表达能力
作者介绍
沈华伟 中国科学院计算技术研究所研究员，智源青年科学家
个人主页
分享内容
GNN的框架
GNN的表达能力
一层GCN和两层GCN的对比如下图所示，深度越深，**节点表达能力**更高（表达能力还有：图表达能力、结构表达能力）。 但是GCN的表达能力存在瓶颈： 下面介绍WL Test。 WL Test是aggregation-based GNNs的表达能力上限。 结论： 解决方法：
总结
思考：
- DNN理论上能够逼近任意连续函数，近似能力强，无需担心表达能力，需要考虑泛化能力。
- GCN能不能做深？需要把特征变换、邻居聚合分开做，因为邻居聚合会给GCN的表达能力带来瓶颈。
[5] 构建高效易用的深图学习引擎
作者介绍
王敏捷 亚马逊上海人工智能研究院应用科学家
个人主页
分享内容
GNN和PageRank的计算方式存在很大的共通之处：
图分析引擎
现有深度学习框架
现有的深度学习框架对图神经网络支持不好，原因在于图计算和张量计算的区别。
DGL: Deep Graph Library
这部分是王老师分享的主要内容，也是他们团队做的东西。DGL是图世界和张量世界的一座桥，适用于图神经网络的深度学习引擎。
总结
- 目前没有较好的、较全面的图神经网络计算引擎。
- 图计算和张量计算存在本质区别。
2020北京智源大会 图神经网络专题 总结相关推荐
- AI：2020北京智源大会与五位图灵奖得主和100多位专家《共同探讨人工智能的下一个十年》——6月21日~6月24日的日程安排(实时更新，建议收藏)
AI:2020北京智源大会与五位图灵奖得主和100多位专家<共同探讨人工智能的下一个十年>--6月21日~6月24日的日程安排(实时更新,建议收藏) 导读:2020年,是一个十年的结束,也 ...
- 2020 北京智源大会首日精华速递
2020年的「6 . 21」,有很多人在45°仰头狩猎日环食,错过等十年. 这一天也有许多人盘坐网线一端,咀嚼一场内行人的AI盛宴,错过等十年. 在全球抗击新冠肺炎疫情的特殊时刻,父亲节当日,日环食嗨 ...
- 2020 北京智源大会“云上”开幕， 中外顶尖学者畅想AI的下一个十年
6月21日,由北京智源人工智能研究院(以下简称智源研究院)主办的2020北京智源大会在线上成功开幕,会期四天.北京智源大会是智源研究院主办的年度国际性人工智能高端学术交流活动,2019年举办了首届大会 ...
- 2020北京智源大会｜旷视的技术探索、产业实践与可持续发展 AI 的打造
导语:6月21日-6月24日,2020北京智源大会正以线上直播形式面向全球召开.来自美国.加拿大和法国的 6 位图灵奖得主,10 多位院士.上百位人工智能领袖,近 30000 名参会者,在多达 19 ...
- BAAI 2020 北京智源大会 | Yolanda Gil | Thoughtful Artificial Intelligence
Thoughtful Artificial Intelligence: Forging A New Partnership for Data Science and Scientific Discov ...
- BAAI 2020 北京智源大会 | 邢波 | A Blueprint of Standardized and Composable Machine Learning
A Blueprint of Standardized and Composable Machine Learning 回放地址 报告内容 概述 主要内容 回放地址 2020 北京智源大会 机器学习专 ...
- 全面深度复盘：2020北京智源大会文集开放下载（1200页）
2020年,AI 的下一个十年序幕已经缓缓拉开. 人工智能经历了波澜壮阔的迅速发展,已经开始深刻改变我们生活.学习和工作的方方面面.未来,人工智能将如何发展,整个社会将如何被影响,我们的生活又将如何发 ...
- 2020北京智源大会人工智能前沿技术成果征集
2020北京智源大会面向全球征集高校院所.科研机构或企业的人工智能前沿技术成果,通过遴选的成果将在大会官网进行长期专栏展示和推介. 征集要求 征集时间:2020.05.27-2020.06.15 征集 ...
- BAAI 2020 北京智源大会 | 戴彧虹 | Optimality Conditions for Constrained Minimax Optimization
Optimality Conditions for Constrained Minimax Optimization 回放地址 报告内容 概述 Part Ⅰ Background for Minima ...
最新文章
- 【Python基础】入门Pandas不可不知的技巧
- [基础算法]通过后缀表达式实现表达式的计算
- 上海浦东新区计算机学校排名2015,2015年上海市浦东新区初级中学最新排名
- Dalvik虚拟机相关的可执行程序
- CAP与Base理论
- 6款html5模板下载
- 《编写高质量代码：改善c程序代码的125个建议》——建议4-2：浮点数转换为新类型时必须做范围检查...
- go 函数末尾缺少返回值_伙计们，Go 并没有那么简单？你觉得呢
- uva 10817 - Headmaster's Headache ( 状态压缩dp)
- 真羡慕那些能够过目不忘的人
- 【线性代数（9）】矩阵的秩
- MVX-Net: Multimodal VoxelNet for 3D Object Detection
- 知识付费资源变现小程序源码+可开流量主/带教程
- JavaDay14-球员管理项目
- kali无线破解实战
- 天牛须和贪心算法_BAS_optimization 天牛须算法的简单编写 - 下载 - 搜珍网
- 新浪vip邮箱 服务器,新浪手机邮箱
- vmware workstation 未能启动vmware
- 怎么打开华硕电脑计算机功能,华硕笔记本小键盘怎么开（笔记本电脑虚拟键盘怎么打开）...
- 交换机基础知识和VLAN概述