rdd转换成java数据结构_如何将CSV文件转换为RDD

一种简单的方法是拥有一种保留标头的方法。

假设您有一个file.csv，例如：

user, topic, hits

om, scala, 120

daniel, spark, 80

3754978, spark, 1

我们可以定义一个标头类，该标头类使用第一行的解析版本：

class SimpleCSVHeader(header:Array[String]) extends Serializable {

val index = header.zipWithIndex.toMap

def apply(array:Array[String], key:String):String = array(index(key))

}

我们可以使用该标头来处理以后的数据：

val csv = sc.textFile("file.csv") // original file

val data = csv.map(line => line.split(",").map(elem => elem.trim)) //lines in rows

val header = new SimpleCSVHeader(data.take(1)(0)) // we build our header with the first line

val rows = data.filter(line => header(line,"user") != "user") // filter the header out

val users = rows.map(row => header(row,"user")

val usersByHits = rows.map(row => header(row,"user") -> header(row,"hits").toInt)

...

请注意，header仅仅不过是助记符到数组索引的简单映射。几乎所有这些操作都可以在数组中元素的顺序位置上完成，例如user = row(0)

PS：欢迎来到Scala :-)

rdd转换成java数据结构_如何将CSV文件转换为RDD相关推荐

rdd转换成java数据结构_Spark RDD转换成其他数据结构
在Spark推荐系统编程中,一般都是通过文件加载成RDD: //在这里默认 (userId, itemId, preference) val fields = sparkContext.textFil ...
truetype字体怎么转换成普通字体_将truetype字体默认转换为NV路径中的像素大小
我正在使用NVidia Path extension(NV路径)为OpenGL引擎编写文本模块.该扩展程序允许使用trutype metrics加载系统和外部字体文件.现在,我需要能够在渲染文本时为字 ...
python excel文件转换成字符串_python利用pandas将excel文件转换为txt文件的方法
python将数据换为txt的方法有很多,可以用xlrd库实现.本人比较懒,不想按太多用的少的插件,利用已有库pandas将excel文件转换为txt文件. 直接上代码: ''' function:将 ...
将数据库字段转换成java字段
//将数据库字段databaseField转换成java字段 static String databaseField = "id\n" +"table_name\n&qu ...
java.util.Date转换成java.sql.Date
// 获取当前的系统时间,以java.util.Date对象返回 Date dateUtil = new Date(); // 获取当前的系统时间,以时间戳返回 long l = System.cur ...
JSP文件如何转换成Java文件？
文章目录 jsp 文件如何转换成 java 文件 jsp 何时开始编译 jsp 编译后的文件存储目录 jsp 文件如何转换成 java 文件 html ...
gson java 对象_Gson把json串转换成java实体对象
Gson把json串转换成java实体对象的方法如下: 1.首先导入Gson的jar包,网上可以下载. java实体对象如下: public class Model { private double ...
如何将夜晚图片转化为白天图片 matlab,教你简单几步将白天图片转换成夜景图_资源库...
摘要:教你简单几步将白天图片转换成夜景图_资源库摘要:今天分享一个有趣的教程,教大家利用滤镜和调整图层,简单几步将白天图片变成夜景图,特别实用,还能学到一个鲜为人知的调色功能,看看赶紧练练吧. 原图 ...
json字符串转成 json对象 json对象转换成java对象
import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject; 依赖包 <dependency> ...

rdd转换成java数据结构_如何将CSV文件转换为RDD

rdd转换成java数据结构_如何将CSV文件转换为RDD相关推荐

最新文章

热门文章