开源图神经网络框架DGL升级:GCMC训练时间从1天缩到1小时,RGCN实现速度提升291倍...
乾明 编辑整理
量子位 报道 | 公众号 QbitAI
又一个AI框架迎来升级。
这次,是纽约大学、亚马逊联手推出图神经网络框架DGL。
不仅全面上线了对异构图的支持,复现并开源了相关异构图神经网络的代码,在GCMC、RCGN等业内知名的模型实现上,也取得了更好的效果。
还发布了训练知识图谱嵌入(Knowledge Graph Embedding)专用包DGL-KE,在许多经典的图嵌入模型上都获得了性能提升。
目前,这个在2018年NeurIPS大会上发布的框架,已经获得了3000+标星,已经是图神经网络和图机器学习领域较受关注的工具。
异构图:神经网络的新方向
异构图是一个与同构图相对应的新概念。
传统同构图(Homogeneous Graph)数据中只存在一种节点和边,因此在构建图神经网络时所有节点共享同样的模型参数并且拥有同样维度的特征空间。
而异构图(Heterogeneous Graph)中可以存在不只一种节点和边,因此允许不同类型的节点拥有不同维度的特征或属性。
这一特点使得异构图的应用十分广泛,如果用图来描述我们和周围事物的关系就会发现所产生的图都是天然异构的,比如这个例子:
我今天看了电影《流浪地球》,那“我”作为观众和电影《流浪地球》之间就建立了“看了”这一关系。
异构图可以用来描述这种交互关系的集合。这个图分“观众”和“电影”两类节点,以及“看了”这一类边。
“我”作为观众,和电影所具有的属性一定是不同的,需要用不同的模型或者不同的特征维度来表达。
所以说,这张图就天然具有了异构性。而且,基于异构图训练的神经网络与传统方法相比,在一些场景中,也能够获得更好的效果与表现。
现在已经被应用到了知识图谱、推荐系统以及恶意账户识别等领域以及任务中。
其中比较有代表性的两个模型分别是用于节点分类和链接预测等任务的RGCN和用于产品推荐的GCMC。
但如何设计“既快又好”的深度神经网络?
这正是纽约大学、亚马逊联手推出图神经网络框架DGL的出发点。
新版DGL:异构图神经网络利器
这次更新放出的,是DGL 0.4版本,让整个框架变得更加实用。
不仅全面上线对于异构图的支持,还复现并开源了相关异构图神经网络的代码:
△DGL 0.4中基于异构图的RGCN层实现代码
官方表示,在这一新版本的DGL上实现业内比较突出的异构图神经网络,性能上也有更好的表现:
GCMC:DGL的实现相比原作者实现在MovieLens-100K上有5倍加速,在MovieLens-1M上有22倍加速。DGL的内存优化支持在一块GPU上对MovieLens-10M进行训练(原实现需要从CPU动态加载数据),从而将原本需要24小时的训练时间缩短到了1个多小时。
RGCN:使用全新的异构图接口重新实现了RGCN。新的实现大大减少了内存开销。原实现在AM数据集上(边数>5M)由于内存开销太大,只能在CPU上计算,而DGL能使用GPU进行加速并获得了291倍的速度提升。
HAN:提供了灵活的接口可以将一个异构图通过元路径(metapath)转变成同构图。
Metapath2vec:新的元路径采样实现比原作者的实现快两倍。
而且, DGL也发布了针对分子化学的模型库DGL-Chem,以及训练知识图谱嵌入(Knowledge Graph Embedding)专用包DGL-KE。DGL-Chem提供了包括分子性质预测和分子结构生成等预训练模型。
在单GPU上,DGL-KE能在7分钟内使用经典的TransE模型训练出FB15K的图嵌入。相比GraphVite(v0.1.0)在4块GPU上需要14分钟。
DGL-KE首个版本发布了TransE、ComplEx和Distmult模型,支持CPU训练、GPU训练、CPU和GPU混合训练以及单机多进程训练。
DGL团队表示,在未来也会发布更多模型和训练方式。
传送门
DGL异构图教程:
https://docs.dgl.ai/tutorials/hetero/1_basics.html
DGL v0.4 更新笔记:
https://github.com/dmlc/dgl/releases
DGL-KE代码及使用说明:
https://github.com/dmlc/dgl/tree/master/apps/kg
DGL-Chem 模型库:
https://docs.dgl.ai/api/python/model_zoo.html#chemistry
— 完 —
活动推荐 | 科大讯飞1024开发者节
10月24日-26日,一场开发者的盛会。
120+国内外专家学者,20+场高峰论坛;10000平米AI黑科技互动展区,更有AI公益音乐节、AI公益健康跑助力!
扫码可获取量子位专属福利,进入原价1024元的【免费票】通道。
喜欢就点「好看」吧 !
开源图神经网络框架DGL升级:GCMC训练时间从1天缩到1小时,RGCN实现速度提升291倍...相关推荐
- 亚马逊+纽约大学开源图神经网络框架DGL:新手友好,与主流框架无缝衔接
量子位 授权转载 | 公众号 QbitAI 最近,纽约大学.纽约大学上海分校.AWS上海研究院以及AWS MXNet Science Team共同开源了一个面向图神经网络及图机器学习的全新框架,命名为 ...
- 图神经网络框架DGL实现Graph Attention Network (GAT)笔记
参考列表: [1]深入理解图注意力机制 [2]DGL官方学习教程一 --基础操作&消息传递 [3]Cora数据集介绍+python读取 一.DGL实现GAT分类机器学习论文 程序摘自[1],该 ...
- 图神经网络框架DGL教程-第3章:构建图神经网络(GNN)模块
更多图神经网络和深度学习内容请关注: 第3章:构建图神经网络(GNN)模块 DGL NN模块是用户构建GNN模型的基本模块.根据DGL所使用的后端深度神经网络框架, DGL NN模块的父类取决于后端所 ...
- 图神经网络框架DGL教程-第4章:图数据处理管道
更多图神经网络和深度学习内容请关注: 第4章:图数据处理管道 DGL在 dgl.data 里实现了很多常用的图数据集.它们遵循了由 dgl.data.DGLDataset 类定义的标准的数据处理管道. ...
- 图神经网络框架DGL学习 103——信息传递 (Message Passing Tutorial)
在图神经网络中,信息的传递和特征的转变,用户可以自定义的.当然在DGL中,也有高级别的API供调用. 现在来看一个网页排名简单的模型.每一个节点都有相同的PV值,PV=0.01, 每一个节点首先会均匀 ...
- 图神经网络框架DGL学习 102——图、节点、边及其特征赋值
101(入门)以后就是开始具体逐项学习图神经网络的各个细节.下面介绍: 1.如何构建图 2.将特征赋给节点或者边,及查询方法 这算是图神经网络最基础最基础的部分了. 一.如何构建图 DGL中创建的图的 ...
- 512块A100,AlphaFold训练时间从11天压缩至67小时
视学算法报道 编辑:小舟.蛋酱 AlphaFold 虽好,但耗时且成本高,现在首个用于蛋白质结构预测模型的性能优化方案来了. 蛋白质结构预测一直是结构生物学中的一个重要的研究问题.直接从蛋白质的氨基酸 ...
- 【云原生AI】Fluid + JindoFS 助力微博海量小文件模型训练速度提升 18 倍
简介: 深度学习平台在微博社交业务扮演着重要的角色.计算存储分离架构下,微博深度学习平台在数据访问与调度方面存在性能低效的问题.本文将介绍微博内部设计实现的一套全新的基于 Fluid(内含 Jindo ...
- 阿里公开自研AI集群细节:64个GPU,百万分类训练速度提升4倍
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟 报道 | 公众号 CVLianMeng 转载于 :量子位 AI博士笔记系列推 ...
最新文章
- 2018年中国人工智能行业研究报告|附下载
- 加薪方式的真相!你是哪一种?
- JSP中四种传递参数的方法
- 多区域显示(8)-透明花边
- fir.im Weekly - APP 性能监测优化 二三事
- 2021普通高考重庆成绩查询平台,2021年重庆高考成绩查询时间及查分方式
- 生成树切分matlab_机器学习——手把手教你用Python实现回归树模型
- 可视化技巧:DataFrame画图并利用matplotlib保存(pandas)
- 用命令来操作vSphere:二十二 PowerCLI命令--虚拟主机操作(1)
- 怎么把activeform生成的相关的js全给删除 版本yii2.0+[证实可行]
- ant man 什么意思,ant
- 怎么设置台式计算机密码忘了,台式电脑忘记开机密码怎么办
- 河北省专科院校计算机专业排名,河北省高职院校全国排名+各院校王牌专业
- 外汇天眼:美国10年期国债收益率创下2011年以来新高
- 嵌入式系统工程师的职位要求
- 分享两套模板,zblog模板和emlog模板。
- 【★】生成树算法终极解析!
- 集成树模型系列之一——随机森林
- WPF中CefSharp的使用(在WPF中使用快乐的使用chrome)
- 自定义 View 之联系人字母索引及定位效果