ERNIE加持,飞桨图神经网络PGL全新升级
在2019年深度学习开发者秋季峰会上,百度对外发布飞桨图学习框架PGL v1.0正式版,历经5个月的版本迭代,PGL再度升级,发布v1.1版本,带来了最新的算法突破、全面的工业级图学习框架能力以及工业级的实践案例。下面我们逐一揭秘升级点。
最新算法突破:结合语义与结构信息的图神经网络模型ERNIESage
在很多工业应用中,往往出现如下图所示的一种特殊的图:Text Graph。顾名思义,图的节点属性由文本构成,而边的构建提供了结构信息。如搜索场景下的Text Graph,节点可由搜索词、网页标题、网页正文来表达,用户反馈和超链信息则可构成边关系。
PGL团队提出ERNIESage模型同时建模文本语义与图结构信息,有效提升Text Graph的应用效果。其中ERNIE是百度推出的基于知识增强的持续学习语义理解框架,在中英文16个任务上超越业内同类最优模型,以历史上首次超越90大关的成绩登顶自然语言处理领域最权威的GLUE评测榜单,并在最近SemEval 2020上斩获5项世界冠军。
ERNIESage是ERNIE与GraphSAGE碰撞的结果,是ERNIE SAmple aggreGatE的简称,它的结构如下图所示,主要思想是通过ERNIE作为聚合函数(Aggregators),建模自身节点和邻居节点的语义与结构关系。
ERNIESage对于文本的建模是构建在邻居聚合的阶段,中心节点文本会与所有邻居节点文本进行拼接;然后通过预训练的ERNIE模型进行消息汇聚,捕捉中心节点以及邻居节点之间的相互关系;最后使用ERNIESage搭配独特的邻居互相看不见的Attention Mask和独立的Position Embedding体系,就可以轻松构建TextGraph中句子之间以及词之间的关系。
单纯的ID特征的GraphSAGE只能建模结构信息,单独的ERNIE语义模型只能建模语义信息。在PGL的框架驱动下,我们可以轻松结合二者,通过ERNIE捕捉语义信息,并且利用GraphSAGE补充结构特征,通过节点的邻居补充更有用的信息。下图为百度内部某个推荐系统的Text Graph实际场景,ERNIESage通过结合文本与图结构信息,可以取得比独立应用ERNIE和GraphSAGE更好的效果。
得益于PGL的灵活易用特性,ERNIESage能在PGL的Message Passing范式下快速实现,下面介绍PGL v1.1版本的其他亮点特性。
全面的工业级图学习框架能力:
引入多领域模型、领衔工业应用、赋能科研创新
下图是PGL v1.1的框架图,黄色与橙色部分为v1.1版本更新内容,其中橙色为自研的模型算法。
自研创新模型,包括结合语义与结构信息的图神经网络模型ERNIESage、多元路径游走算法Multi-Metapath2vec++,以及基于语义索引技术的GNN-Index,这些创新算法极大地提升了百度内外多个工业级应用效果;
完备框架算法库,总模型数扩充至23个。其中新增知识图谱算法库PGL-KE,提供业界领先的知识图谱算法,如TransE、TransR、RotatE等,全面支持知识图谱类算法调研;
赋能科研创新,适配图学习通用性能评价基准数据集 OGB(Open Graph Benchmark)。提供统一数据与模型接口,开发者可以使用快速接入OGB,复现SOTA效果;
丰富框架计算能力,新增基于Lod Tensor的Graph快速算子,如Graph Batch、Graph Pool以及Graph Norm,多图联合训练更加方便灵活。
工业级实践案例揭秘:PGL如何掀起图算法热潮
得益于PGL创新性自研算法加持,以及框架的全新升级,PGL支持的百度内外部业务也是遍地开花,全面覆盖搜索、商业广告、信息流、金融风控、贴吧、用户画像、智能地图等相关业务,可支持百亿巨图场景。下面是一些经典工业级案例介绍。
在信息流兴趣搜索推荐场景下,构建信息流文章与搜索词之间的复杂异构图关系网络,利用PGL异构图神经网络算法挖掘用户潜在兴趣点。在用户阅读文章后,提供更多用户感兴趣的搜索词,推荐搜索词点展比大幅提升近90%,大大地提升了信息流产品的用户体验;
在贴吧推荐场景下,通过多元路径(Multi MetaPath)来表征用户、贴吧和帖子的异构图关系,通过优化元路径范式,自动匹配同源负样本,克服单条MetaPath信息表征不全面的问题,总点击提升1.89%,点展比提升0.93%,缩短了用户与感兴趣贴吧的路径;
在商业广告场景下,构建用户搜索词与广告的图网络。结合PGL自研模型ERNIESage,聚合语义以及结构信息,提升了触发模型的泛化能力,取得较大的经济效益;
在度小满金融风控场景下,通过构建用户图网络,结合PGL灵活定制风控图神经网络,快速挖掘具有逾期风险的用户。基于GNN的金融风控模型,KS指标绝对提升1.6,AUC指标绝对提升2%,有效地提升了优质客群人数,降低了贷款风险并且大幅度减少审核人力。
综合来看,图学习框架PGL依托于飞桨再度升级,带来更多的自研算法、更加全面的框架能力。图学习作为通用人工智能算法之一,势必成为这个时代新的基础设施,赋能各行各业,助燃智能经济腾飞。这仅是图学习热潮的开始,希望有志之士加入PGL,一起共建未来。
PGL代码完全开源,欢迎小伙伴们使用。如果您在使用过程中有任何疑惑或创新尝试,欢迎联系我们,反馈您的意见或与其他小伙伴分享您的成果。
如在使用过程中有技术问题,欢迎加入飞桨官方QQ群进行提问:703252161
如果您想详细了解更多飞桨PGL的相关内容,请参阅以下链接。
飞桨PGL入门教程:
https://aistudio.baidu.com/aistudio/projectdetail/413386
飞桨PGL项目地址:
GitHub: https://github.com/PaddlePaddle/PGL
飞桨开源框架项目地址:
GitHub: https://github.com/PaddlePaddle/Paddle
Gitee: https://gitee.com/paddlepaddle/Paddle
ERNIE加持,飞桨图神经网络PGL全新升级相关推荐
- Paddle-NEAT——飞桨进化神经网络组件
Paddle-NEAT--飞桨进化神经网络组件 目录 Paddle-NEAT--飞桨进化神经网络组件 写在前面: NEAT 简介 基因组的表示 基因组的变异 节点变异 连接变异 基因组的交叉 最后稍微 ...
- 图神经网络PGL助力国民级音乐App,创新迭代千亿级推荐系统(人工智能应用案例)
每当夜深人静时,你打开网易云音乐,或听歌刷乐评,或看直播闲聊,享受着以心交心的放松愉悦.在这背后,有一群技术人员苦思冥想地探索着,只为让"云村"越来越懂你. "不同于一般 ...
- 开源图神经网络框架DGL升级:GCMC训练时间从1天缩到1小时,RGCN实现速度提升291倍...
乾明 编辑整理 量子位 报道 | 公众号 QbitAI 又一个AI框架迎来升级. 这次,是纽约大学.亚马逊联手推出图神经网络框架DGL. 不仅全面上线了对异构图的支持,复现并开源了相关异构图神经网络 ...
- 飞桨助力智能车竞赛升级,免费赠送EB开发板!
第十六届智能汽车竞赛-百度人工智能创意赛道已经开启! 比赛虽好,但同学们苦核心开发硬件久矣! 百度飞桨作为大赛的赞助商之一,为了更好的支持参加「百度人工智能创意赛道」的同学们.百度飞桨与鲸鱼机器人将为 ...
- 7天搞定图神经网络,实战助力新冠疫情防控!
要问这几年一直在逆势而上的技术有哪些?你一定不会忽略它--图神经网络. 相比传统神经网络,图神经网络的优势非常明显: 1.非顺序排序的特征学习:GNN的输出不以节点的输入顺序为转移的. 2.两个节点之 ...
- 图神经网络世界冠军团队手把手授课,7天搞定图神经网络!
允中 发自 凹非寺 量子位 编辑 | 公众号 QbitAI 要问这几年一直在逆势而上的技术有哪些?你一定不会忽略它--图神经网络. 相比传统神经网络,图神经网络的优势非常明显: 1.非顺序排序的特征学 ...
- 逆势而上的技术:图神经网络学习来了!
要问这几年一直在逆势而上的技术有哪些?你一定不会忽略它--图神经网络. 相比传统神经网络,图神经网络的优势非常明显: 1.非顺序排序的特征学习:GNN的输出不以节点的输入顺序为转移的. 2.两个节点之 ...
- 飞桨企业版重磅发布智能边缘控制台 5分钟零代码自动化模型部署
12月12日,由深度学习技术及应用国家工程实验室主办的WAVE SUMMIT+ 2021深度学习开发者峰会在上海召开.此次峰会,最让开发者惊艳的是飞桨开源框架v2.2的重磅发布.百度深度学习技术平台部 ...
- 百度李伟彬:基于PGL的图神经网络基线系统
不到现场,照样看最干货的学术报告! 嗨,大家好.这里是学术报告专栏,读芯术小编不定期挑选并亲自跑会,为大家奉献科技领域最优秀的学术报告,为同学们记录报告干货,并想方设法搞到一手的PPT和现场视频--足 ...
最新文章
- tidb 架构 ~Tidb学习系列(4)
- C++ operator关键字(重载操作符)
- 有了内阻值,怎么判断电池是否健康?
- 郊游 ID:PICNIC
- java记事本课程设计,java记事本课程设计
- win8 打开计算机配置,win8.1 更改电脑配置无法使用
- 0497计算机组成原理在线作业,0497《 综合实践活动课程设计》20秋西南大学在线作业答案...
- Windows下安装和配置Java JDK
- Javascript封装
- 2021年软考程序员考试大纲
- 计算机网络原理 谢希仁(第8版)第一章习题答案
- 从零开始学游戏编程——可视化编程游戏开发工具学习指南
- knockoutjs介绍
- EditText属性详情
- 学习云计算就业方向有哪些 一般薪资能拿多少
- 仿真软件proteus构建LCD1602四线驱动实验
- 网件rax40可以刷梅林_Netgear 网件 RAX40 AX3000规格 无线路由器 开箱拆解评测
- 基于Python完成云知声平台的语音合成接口
- 学习笔记——STM32摄像头OV7725(一)
- 伏羲六十四卦+36D
热门文章
- mwb 还原 mysql_[MySQL]WorkBench管理操作MySQL
- 小程序自动化测试工具之AirTest
- 小白学Rust(一):Rust产生随机数
- Python and Django
- self_drive car_学习笔记--第10课:路径规划
- 苹果cms怎么修改数据库配置文件
- 除了知识图谱,图还能做什么?
- 有哪些券商的服务器不稳定,一上午,至少6家券商APP服务器被“挤爆”!股民坐不住了,现在是出手的好时机吗?...
- 作为一名程序猿应如何入手一款实用 + 炫酷的键盘(keychron)
- Github 精选开源项目-图书管理系统