spark graphx创建

创建graphx

1、工厂方法apply

定义在Graph中，定义如下：

def apply[VD, ED](
vertices: RDD[(VertexId, VD)],
edges: RDD[Edge[ED]],
defaultVertexAttr: VD = null)
: Graph[VD, ED]

参数为两个RDD分别是RDD[(VertexId, VD)]、RDD[Edge[ED]]

2、edgeListFile

定义如下：

def edgeListFile(
sc: SparkContext,
path: String,
canonicalOrientation: Boolean = false,
minEdgePartitions: Int = 1)
: Graph[Int, Int]

参数path是一个只包含边的文件路径，文件每行只有两个整数，分别代表边的源定点id和目标定的id

忽略带#的行

参数minEdgePartitions代表最少生成的边的分区

3、fromEdges

定义如下：

def fromEdges[VD, ED](
edges: RDD[Edge[ED]],
defaultValue: VD)
: Graph[VD, ED]

4、fromEdgeTuples

定义如下：

def fromEdgeTuples[VD](
rawEdges: RDD[(VertexId, VertexId)],
defaultValue: VD,
uniqueEdges: Option[PartitionStrategy] = None)
: Graph[VD, Int]

spark graphx创建相关推荐

Spark GraphX相关使用方法
Spark GraphX是一个分布式图处理框架,Spark GraphX基于Spark平台提供对图计算和图挖掘简洁易用的而丰富多彩的接口,极大的方便了大家对分布式图处理的需求.Spark GraphX ...
《Spark GraphX in Action》书评及作者访谈
\ 关键要点 \ 图数据分析与传统数据分析间的差异是什么? \ 如何使用Apache Spark GraphX软件库和GraphFrames这样的API进行图数据处理. \ 使用图数据分析的热门用例. ...
Spark GraphX 的数据可视化
概述 Spark GraphX 本身并不提供可视化的支持, 我们通过第三方库 GraphStream 和 Breeze 来实现这一目标详细代码下载:http://www.demodashi.com ...
educoder中Spark GraphX—构建图及相关操作
第1关:GraphX-构建图及相关基本操作 import org.apache.log4j.{Level, Logger} import org.apache.spark.graphx._ impor ...
Spark GraphX 快速入门
教程目录 0x00 教程内容 0x01 Spark GraphX 介绍 1. GraphX 介绍 2. GraphX 的使用场景 0x02 GraphX 重要概念与实操 1. 属性图 2. 多种方式理 ...
spark graphx从txt文件中读数据构建图
程序功能:导入顶点以及边的数据,生成边RDD和顶点RDD,构建图 import org.apache.spark._ import org.apache.spark.graphx._ // To ma ...
Spark—GraphX编程指南
GraphX编程指南 GraphX 是新的图形和图像并行计算的Spark API.从整理上看,GraphX 通过引入弹性分布式属性图(Resilient Distributed Property G ...
用Spark GraphX进行图计算（详细步骤）
SimpleGraphX 1.1 创建文件夹(10.103.105.63) spark-3.1.1-bin-hadoop2.7/Test/ mkdir graphx cd graphx mkdir s ...
使用 Spark GraphX 实现 PageRank 算法
前言本文隶属于专栏<1000个问题搞定大数据技术体系>,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和参考文献请见1000个问题搞定大数据技 ...

spark graphx创建

创建graphx

spark graphx创建相关推荐

最新文章

热门文章