spark graphx从txt文件中读数据构建图

程序功能：导入顶点以及边的数据，生成边RDD和顶点RDD，构建图

import org.apache.spark._
import org.apache.spark.graphx._
// To make some of the examples work we will also need RDD
import org.apache.spark.rdd.RDD
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
// 字符串转码，解决乱码问题
import java.nio.charset.StandardCharsetsimport scala.io.Source
import collection.mutable.ArrayBufferobject SimpleApp {def main(args: Array[String]) {val conf = new SparkConf().setAppName("Simple Application")val sc = new SparkContext(conf)val vertexArr = new ArrayBuffer[(Long, String)]()val edgeArr = new ArrayBuffer[Edge[String]]()// 读入时指定编码val sourceV = Source.fromFile("/vagrant/dev_program/spark_test/graphx/python_process_guijing/zygj_vertice_attr.txt", "UTF-8")val lines = sourceV.getLines()// var i = 0while(lines.hasNext){val pp = lines.next().split("\t")vertexArr += ((pp(0).toLong, pp(1)))}println(vertexArr.length)val sourceE = Source.fromFile("/vagrant/dev_program/spark_test/graphx/python_process_guijing/zygj_edge_attr.txt", "UTF-8")val linesE = sourceE.getLines()while(linesE.hasNext){val ee = linesE.next().split("\t")edgeArr += Edge(ee(0).toLong, ee(1).toLong, ee(2))}// 创建点RDDval users: RDD[(VertexId, String)] = sc.parallelize(vertexArr)// 创建边RDDval relationships: RDD[Edge[String]] = sc.parallelize(edgeArr)// 定义一个默认用户，避免有不存在用户的关系val graph = Graph(users, relationships)// 输出Graph的信息graph.vertices.collect().foreach(println(_))graph.triplets.map(triplet => triplet.srcAttr + "----->" + triplet.dstAttr + "    attr:" + triplet.attr).collect().foreach(println(_))}
}

spark graphx从txt文件中读数据构建图相关推荐

5、找出100到1000内的不含9的素数,存到result.txt文件中
题目: /* 5.找出100到1000内的不含9的素数,存到result.txt文件中 */ 我没有写到result.txt文件中,我写到了Five127.txt文件中代码: public clas ...
VC++向txt文件中写入字符串
有的时候,不管怎样我们从VC++向txt文件中添加的数据都是一堆乱码,不知道怎么回事. 例子: int main() { FILE *stream; stream=fopen("text1. ...
vc++向txt文件中写入数据，追加数据
例子: #include<iostream> #include<stdio.h> using namespace std; int main() { //将矩阵写在文件上 fl ...
vc++从txt文件中读取数据
数值分析课上老师说要将数据写在txt文件上,然后让程序从txt文件中读取数据.让本来C++已经遗忘了很久的我们无从下手,在网上也查看了很多,发现大多都是扯淡,放在VC++编辑器上发现并不能运行,不知道 ...
php数组如何写入txt文件中_php将数组写入到文件的三种方法
php的数组十分强大,有些数据不存入数据库直接写到文件上,用的时候直接从文件中读取,本文章向大家介绍php将数组写入到文件的三种方法. 第一:serialize方法使用 serialize 将数组序 ...
java按行读取txt文件内容_对txt文件中的内容进行排序
如果您的文件中每行都有单词或术语,则可能需要对其进行排序.Java Arrays.sort是执行此操作的常用功能.Collections.sort()是另一个不错的说法.这是一个示例和代码. 在文件E ...
学python看什么书好1002无标题-如何使用pandas读取txt文件中指定的列(有无标题)
最近在倒腾一个txt文件,因为文件太大,所以给切割成了好几个小的文件,只有第一个文件有标题,从第二个开始就没有标题了. 我的需求是取出指定的列的数据,踩了些坑给研究出来了. import pandas ...
python导入txt文件并绘图-Python实现读取txt文件中的数据并绘制出图形操作示例
本文实例讲述了Python实现读取txt文件中的数据并绘制出图形操作.分享给大家供大家参考,具体如下: 下面的是某一文本文件中的数据. 6.1101,17.592 5.5277,9.1302 8.51 ...
如何用python和pip安装在txt文件中配置好版本的库包
如何用python和pip安装在txt文件中配置好版本的库包文章目录: 一.建立库包版本的txt配置文件二.安装txt配置文件中的库包有时候你自己用python实现一个项目,然后想把它在gith ...

spark graphx从txt文件中读数据构建图

spark graphx从txt文件中读数据构建图相关推荐

最新文章

热门文章