如何在图数据库上实现图计算框架

图数据库解决的是图数据的查询问题，图计算框架解决的是图计算的问题，首先我们要搞清楚二者如何区分，再讨论如何结合。

图查询：主要面向的是路径查询。比如从一点出发的两跳邻居；再如从点A出发3跳内和B点的路径；

图计算：对全图节点进行迭代运算。比如PageRank，需要每一个节点从一开始就要参与计算；再如计算图中存在的联通子图；再如计算图中度数大于一百万的节点。

图计算实际上是迭代计算，因此图计算框架实际上是迭代计算框架，其核心工作是对所有节点进行多次迭代。

因此，目前的图计算框架基本与底层存储脱离是有其合理性的，因为迭代计算必须要和磁盘脱离，否则IO极高导致集群性能急剧下降，而把数据全部load到内存中相当于重新构建了新的集群。相应的优化点有：1）计算之前需要把整个图load到计算框架对应的节点中，这样带来的问题就是更新的数据不能被感知到，如何实现增量更新；2）BSP框架的超步同步，需要等待所有节点完成才能进行下一步，延迟较高导致吞吐率降低。如何去掉。

其他问题：

1、GC问题。如何优化，仅仅在使用层面？；

2、数据切分模型。GraphX有多种数据分配模型，用户可以自己选择，有没有更好的方式；

3、如何添加辅助索引加快遍历过程。

从上面可以看出，图计算框架并不合适图遍历，那么基于图遍历的计算有哪些呢？比如计算两点间最短路径，如果使用Gremlin的接口是可以实现的，但是效率上有些问题。

如何在图数据库上实现图计算框架相关推荐

中秋邀请共赏图数据库-蚂蚁集团图数据TuGraph 正式开源
目录前言 1.五道口+蚂蚁集团的系统长什么样 2.性能拉满,能抗能打优点: 缺点: 一.TuGraph,比关系数据库更懂关系 1.更懂关系的图数据TuGraph 2.图数据发展的三个阶段 2.1第 ...
neo4j 图数据库初步调研图数据库与关系型数据库差异-f
相关文章 neo4j 图数据库初步调研三元组.属性图.图模型.超图.RDF demo项目(python+vue) 本文目录相关文章一.技术关键字二.前言三.图数据库与传统数据库 1.反规范化 ...
知识图谱图数据库推理_图数据库的知识表示与推理
知识图谱图数据库推理图形数据库及其技术生态系统可以为知识表示和推理问题提供优雅,有效的解决方案. 要了解这种说法,我们必须首先了解什么是图形. 图是一种数据结构. 图数据结构的类型很多,但出于本 ...
如何在图数据库中训练图卷积网络模型
在图数据库中训练GCN模型,可以利用图数据库的分布式计算框架现实应用中大型图的可扩展解决方案什么是图卷积网络? 典型的前馈神经网络将每个数据点的特征作为输入并输出预测.利用训练数据集中每个数据点的特 ...
TigerGraph图数据库创建一个图Schema
以开发版的TigerGraph图数据库为例. 若没有多图权限的话,若TigerGraph中已经有其他图数据,则会执行Drop ALL命令.以下是在gsql环境下执行. 第一步:创建Vertex 命令如 ...
大数据图数据库之离线挖掘计算模型
/* 版权声明:可以任意转载,转载时请务必标明文章原始出处和作者信息 .*/ author: 张俊林节选自<大数据日知录:架构与算法>十四章,书籍目录在此对于离 ...
分布式图数据库在贝壳的应用实践
导读:你想知道百亿级图谱如何实现毫秒级查询吗?社区众多的图数据库中如何才能挑选到一款适合实际应用场景的图数据库呢?贝壳找房的行业图谱480亿量级的三元组究竟是如何存储的呢?本文将带你探索上述问题并从中 ...
突破高连接性能瓶颈，图数据库在银行业这么用
来自:DBAplus社群本文根据王磊老师在[2018 Gdevops全球敏捷运维峰会-北京站]现场演讲内容整理而成. 讲师介绍王磊,现任职光大银行科技部数据领域架构师,曾任职于IBM全球咨询服务部 ...
蚂蚁金服付志嵩：数据膨胀？关系复杂？如何升级图数据库？
来源:DataFunTalk 本文约3700字,建议阅读5分钟本次分享主题为图数据库在金融领域的应用. 导读:本次分享主题为图数据库在金融领域的应用,主要介绍蚂蚁金服在金融科技领域的一些图技术应用探 ...

如何在图数据库上实现图计算框架

如何在图数据库上实现图计算框架相关推荐

最新文章

热门文章