这个概念跟关系型数据库的表分区是类似的,也就是在图结构数据量非常大的时候,怎么通过分布式的形式对图进行切分

在关系型数据库的表分区的应用中

我们对表进行分区可能需要考虑的目的主要是:
      一个表存为多个分区之后的join和查询的问题。
      同理:我们在设计图分区策略的时候同样需要考虑的是,图进行分区之后,在做图迭代算法(并行计算)时,最小化在数据量的传输,最小化IO操作,只有减少这部分的开销,才能提高图分区的性能。

一般而言,业界主要有这么几种分区的技术:

edge-cut:边分割

边分割的方式一般适合在图数据中low-degree的数据分布中,也就是中图的连接入度或者出度(有向图)比较少的情况,这样vertex的分割就会比较均匀,减少跨多个集群的数据交换;

vertex-cut:点分割

点分割的方式跟边分割的情况相反,在high-degree的图数据分布的情况下,也就是节点的度特别大,通过点分割,就能够同样减少跨多个集群的数据交换,同时减少节点的副本;如PowerGraph的实现方式;

hybrid-cut:动态混合分割

混合分割的技巧通常需要依赖于图计算架构采集的动态的统计信息,

  • 首先需要对图的数据分布情况做估计,
  • 然后再决定图分割的策略,使用点分割还是边分割的方式,

这种分割方式比较复杂,如Flink Gelly图计算架构就采用这种混合的分割方式;

hash/random partitioning:哈希,随机分区

这种分区方式比较简单粗暴,一般是使用边的hash或者节点的hash来分区,这种方式分区比较简单,但是性能不能保证;

比如OrientDB采用的就是基于hash的分区方式;

总的来说,使用分区技术的图分析架构,一般都是定位为OLAP的解决方案,目前还没有OLTP性能不错,也支持分区的图数据库引擎,商业产品TigerGraph和微软的GraphEngine是少数宣称既支持OLAP也支持OLTP的产品,后续的文章可以重点分析分析

详细请参考:https://blog.csdn.net/temotemo/article/details/83382835
本人还是似懂非懂,以后慢慢补充!!!

图分区技术基本概念【1】相关推荐

  1. 【AIX】LPar分区技术、逻辑CPU、虚拟CPU、物理CPU

    [AIX]LPar分区技术.逻辑CPU.虚拟CPU.物理CPU      IBM硬件管理控制台(Hardware Management Console)提供了标准的用户接口来配置和管理Power Sy ...

  2. GPU上的快速光谱图分区

    GPU上的快速光谱图分区 图形是用于对物理,生物,社会和信息系统中许多类型的关系和过程进行建模的数学结构.用于解决各种高性能计算和数据分析问题.对于网络分析,基因组学,社交网络分析和其他领域,大规模图 ...

  3. MySQL 5.1 分区技术初探(一)

    MySQL分区技术是用来减轻海量数据带来的负担,解决数据库性能下降问题的一种方式,其他的方式还有建立索引,大表拆小表等等. MySQL分区按照分区的参考方式来分有RANGE分区.LIST分区.HASH ...

  4. 如何让机器获得幽默感——Goolge图学习技术揭秘

    原文: Graph-powered Machine Learning at Google 作者: Sujith Ravi 译者: KK4SBB 责编:何永灿,关注人工智能,投稿请联系heyc@csdn ...

  5. MySql,Sql Server分区技术浅析

    一.MySql MySql在5.1以后的版本中加入了分区技术,其不同于以往的分表技术,之前的分表技术是把一张大的表水平(按照一定的逻辑)分成多张表,比如如果我们的User表中有1000万条数据,那如果 ...

  6. 主流视频编码压缩技术基本概念(二) 算法分析

    主流视频编码压缩技术基本概念(二) 算法分析 一.MPEG-1技术介绍 1. MPEG-1的层次及语法结构 ①.运动补偿序列(Sequence) ②.图片组(GOP) ③. 图片(Picture) ④ ...

  7. oracle ods平台建立,如何利用Oracle表分区技术建设ODS平台

    龙源期刊网 http://www.wendangwang.com 如何利用Oracle表分区技术建设ODS平台作者:李永强 来源:<电脑知识与技术>2010年第11期 摘要:该单位目前要在 ...

  8. 这是一篇知识帖:终于能明白云原生技术的概念和可落地的应用分享

    随着云计算的发展和普及,云原生概念的热度也越来越高,到底什么是云原生?和我们日常工作有什么关系?本文是向大家介绍云原生技术的概念和要点,帮助大家快速了解和学习云原生,,便于大家了解工作的定位,为各系统 ...

  9. 特约专栏丨陈纯院士:大规模动态时序图实时处理技术、平台及应用

    2021-02-25 18:51:53 0 引言 随着大数据人工智能技术及其应用的不断发展,大规模动态时序图作为一种更完备.更自然.更能反映行业生产活动的数据结构,日益成为工业界和学术界共同关注的焦点 ...

最新文章

  1. 力扣(LeetCode)刷题,简单+中等题(第31期)
  2. 用安卓手机解锁目标检测模型YOLOv5,识别速度不过几十毫秒!
  3. 《信息学奥赛一本通》 高精度减法。输入两个正整数,求它们的差。
  4. [SpringSecurity]web权限方案_用户授权_基于权限访问控制_基于角色访问控制_hasAuthority和hasAnyAuthority_hasRole和hasAnyRole
  5. 学习手记(2021/3/19~?)
  6. dataguard mysql,[dataguard同步数据库]Dataguard环境下数据库的备份与恢复
  7. 连发Science和Nature, 王二涛研究员:推倒教科书里的“围墙”
  8. Redis 哨兵模式
  9. 简单的选项卡功能实现
  10. IDEA中svn无法提交的问题解决方案Waring:not all local changes may be shown due:ClassCastException
  11. Fortran 学习1--数据类型
  12. 史上最强三千六百道脑筋急转弯(4)
  13. 最新前端四天精通node.js视频教程
  14. 斐讯k2刷固件记录 版本22.6.512.75(最新2020)
  15. win10java编辑器_5个最好的Windows 10的字幕编辑软件
  16. GPS时间转北京时间
  17. GPRS DTU工作原理 GPRS DTU通信终端
  18. 服务器——如何查看自己电脑的ip地址
  19. python pickle文件大小_无法在Python中加载以前转储的大大小pickle文件
  20. 2022年全球市场有机硅结构密封胶总体规模、主要生产商、主要地区、产品和应用细分研究报告

热门文章

  1. 带有匹配滤波器的雷达信号调制和脉冲压缩技术的Matlab程序
  2. 8.Verilog的for循环语句使用
  3. C++虚成员函数表vtable
  4. 如何将文件复制到虚拟机中
  5. DataBinder.Eval用法收集
  6. 对于生活我选择了无奈
  7. wsl ubuntu update显示err: 404 Not Found解决方法
  8. CSP认证201612-3 权限查询[C++题解]:模拟题、结构体、set、有点复杂
  9. 通信电子线路期末复习第三章正弦波振荡器
  10. 2020年高等数学方法与提高(上海理工大学)学习笔记:一元函数积分学