Graphs in model application

applications

• Recommender systems:
  Amazon, YouTube 等
  要预测用户对item(商品、视频)是否感兴趣 (link prediction)
  还要预测用户、item的类型(node classification)
  数据量级很大
• Social networks
  Facebook, Twitter, Instagram等
  要做 Friend recommendation (link level task)
  User property prediction, 广告等 (node level task)
  数据量级很大
• Academic graph
  Microsoft Academic Graph，一个学术论文的graph，可以做的任务如下(远不只下面3个)
  Paper categorization (node classification)
  Author collaboration recommendation (link prediction)
  Paper citation recommendation (link prediction)
• Knowledge Graphs (KGs)
  Wikidata，Freebase等
  任务有 KG completion， Reasoning等

things in common

Large-scale:

• nodes ranges from 10M to 10B.
• edges ranges from 100M to 100B

难点 in Large-scale graph

Naïve full-batch

GPU内存不够，CPU计算太慢

传统 mini-batch 中每个batch会缺失大量边

海量的数据导致不可能一次性把所有节点都输入模型进行训练，所以必须拆分成mini-batch

每个batch 是 randomly sample 得到的，这会导致每个sample得到的node几乎都 isolated from each other

而GNN需要 aggregate neighboring node features.

解决办法

Small subgraphs in each mini-batch

Neighbor Sampling [Hamilton et al. NeurIPS 2017]

GraphSage提出来的方法

Key insight: the

GNN-CS224W: 17 Scaling Up GNNs相关推荐

1. cs224w（图机器学习）2021冬季课程学习笔记21 Scaling Up GNNs to Large Graphs

   诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 1. 介绍scale up GNN问题 2. GraphSAGE Neighbor Samplin ...

2. 课程 | 2021年斯坦福大学Jure Leskovec主讲CS224W 图机器学习

   图科学实验室Graph Science Lab 来源:斯坦福大学 SNAP 近年来,图神经网络(GNN)成为网络表示学习和分析的热点研究问题,其特点是将以神经网络为代表深度学习技术用于网络结构的建模与 ...

3. 论文翻译-A Comprehensive Survey on Graph Neural Networks《图神经网络GNN综述》

   文章目录 1 简介 1.1 GNN简史 1.2 GNN的相关研究 1.3 GNN vs 网络嵌入 1.4 文章的创新性 2 基本的图概念的定义 3 GNN分类和框架 3.1 GNNs分类 3.2 框架 ...

4. Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）

   Graph Neural Networks: A Review of Methods and Applications 图神经网络:方法与应用综述 Jie Zhou , Ganqu Cui , Zhe ...

5. A Comprehensive Survey on Graph Neural Networks--图神经网络综合研究

   文章目录 一.图神经网络简史 二.现阶段研究现状 三.引言 四.本文作出的贡献 五.定义 六.分类与框架 1.分类 1.1图卷积网络(GCN) 1.2.图注意力网络 1.3.图自动编码器 1.4.图生 ...

6. 《图神经网络综述》Graph Neural Networks: A Review of Methods and Applications

   作者:清华大学 zhoujie 等 *表示相同的贡献.周洁,张正艳,程阳,刘志远(通讯作者),孙茂松,清华大学计算机科学与技术学院,北京100084.电子邮件:fzhoujie18, zhangzhe ...

7. 论文翻译：A Comprehensive Survey on Graph Neural Networks

   论文翻译:图神经网络综合研究 arXiv:1901.00596v1 文章目录 论文翻译:图神经网络综合研究 1 引言 2 定义 3 分类和框架 3.1 GNN的分类 3.2 框架 4 图卷积网络 4. ...

8. AI近十年盘点：纵览AI发展历程，探寻AI未来走向

   编者按:当我们回顾过去十年的人工智能发展历程时,可以看到一场现在还正在进行的变革,对我们的工作方式.商业运营模式和人际交往行为都产生了深远的影响.从2013年的AlexNet到变分自编码器,再到最近的 ...

9. 图的对抗性攻击与防御

   Adversarial Attacks and Defenses on GraphsA Review and Empirical Study --图的对抗性攻击与防御:回顾与实证研究 (2020-03 ...

最新文章

1. win32汇编使用win32 api实现字符串拷贝
2. 查看socket缓冲区数据_什么是socket缓冲区？
3. Zlib解压/压缩实现
4. 关于sql安装，升级，卸载时需要重启的解决方法
5. Grunt构建工具能做哪些事？
6. html九宫格实现人像拼图游戏,实例分享jQuery+vue.js实现的九宫格拼图游戏
7. vba 输出文本 m linux,VBA使用FileSystemObject将读取或写入文本文件(一)
8. 软件测试需要学习哪些技能？
9. excel中单元格的回车替换成其他字符
10. Could not transfer artifact 报错解决
11. 友盟推送_java后台集成和使用
12. java得到选择的复选框_java怎么获取复选框的值_java学习记录20200817
13. AKSHARE 上获取股票数据用于盘后分析以及自己的交易模型的测试。
14. 教材征订管理系统c语言,基于C语言的图书管理系统的设计与实现范文.doc
15. vue监听下滑加载（移动端）
16. 化工单元操作复习题(含答案)
17. 图扑数字孪生智慧灯杆，“多杆合一”降本增效
18. 布尔表达式可满足性问题（SAT）与库克-列文定理（上）
19. 电动力学专题：电磁波传播时的色散效应
20. 大数据告诉你粤东西北12市振兴成效如何

热门文章

1. 高德地图开发智慧社区网格化数据格式产生的无法单击事件的解决方案
2. UML工具Visual Paradigm创建数据流程图（DFD）教程
3. jQuery事件大全(真的很全)
4. js实现简易关注按钮点击事件
5. 关于winHex的使用
6. php swoole文档,Swoole
7. Qt按钮左边图片右边文字
8. python怎么存储数据_【Python】存储数据
9. Unity3D入门：3D物体和操作
10. C++求一个数的阶乘factorial(附完整源码)