spark练习--统计xxx大学的各个少数名族的情况

最近，有一份数据，是关于学校的数据，这个里面有所有学生的信息，今天闲来没事，我就想用spark的方式来读取文件，并且来统计这个学校的各个民族的情况，以前我用hadoop中mapReduce来计算，不得不说，又麻烦计算速度又慢
首先，我们先看看这份数据长什么样子?

我在这个操作的时候，以为数据都是全的，没想到这个有一行的数据缺了几个，当时在mapReduce,缺了的话，对数据也没影响，还是能照样跑，但是这个不行，spark里面直接报数据越界的异常，所以我就提前判断了一下长度

package cn.wj.spark.day07import org.apache.spark.{SparkConf, SparkContext}/*** Created by WJ on 2017/1/5.*/
//要善于解决数据的不匹配的关系
object myXJDX {def main(args: Array[String]): Unit = {val conf = new SparkConf().setAppName("myXJDX").setMaster("local")val sc = new SparkContext(conf)val rdd1 = sc.textFile("E://Test/xjdx.txt").map(line => {val fields = line.split(",")if (fields.length >= 10) {val mz = line.split(",")(10)(mz, 1)}else{(1,1)}})var rdd2 = rdd1.reduceByKey(_ + _)println(rdd2.collect().toBuffer)}
}

很简单的一段代码，不过有些时候越是简单的东西，就需要多动手

转载于:https://www.cnblogs.com/wnbahmbb/p/6254100.html

spark练习--统计xxx大学的各个少数名族的情况相关推荐

python作业爬取xxx大学排行
python作业爬取xxx大学排名榜单,python-selenium爬虫解决(本文章仅学习,网站数据也是公开的) 文章目录前言一.分析网页二.需要实现过程三.代码实现 1.引入库 2.全部代 ...
ARWU、THE、QS世界大学排名前100名国(境)外高校名单
ARWU.THE.QS世界大学排名前100名国(境)外高校名单美国:埃默里大学.北卡罗来纳大学教堂山分校.宾夕法尼亚大学.宾州州立大学.波士顿大学.布朗大学.达特茅斯学院.德克萨斯大学.德克萨斯大 ...
WPF 在编译时显示 CS0426 类型“xxx”中不存在类型名“xxx”
WPF 程序在编译时显示 CS0426 类型"xxx"中不存在类型名"xxx": 具体原因: 1. 命名空间和类名称相同造成的. 一般报错,报在XAML 中的 ...
【成绩统计】Excel计算年级学校排名和班级排名，并统计各班各科前1050名学生人数
本文以"好分数"系统导出的期末考试成绩数据为基础,进行统计分析. 拿到表,首先整理下数据,去除无关字段数据,保留关键字段. 一开始的时候,,小编直接使用上表给出的"学校排 ...
陕西的大学计算机排名2015年,陕西省大学排名前15名，西安交大第一，985的西北农大竟无缘前三...
原标题:陕西省大学排名前15名,西安交大第一,985的西北农大竟无缘前三随着我国经济的高速发展,我国的教育事业尤其是高等教育也是发展迅速,但是大家会发现我国的高等教育分布是很不均衡的,尤其是名牌大学 ...
体验即将开学的西湖大学，首批120名博士研究生亮相
再过两周,西湖大学在获教育部批准正式成立以后的第一次开学典礼就要举行了.今年,有120名博士研究生被西湖大学录取,8月24日将是2018级新生的报到日. 这所由中国科学院院士.结构生物学家施一公出任校 ...
关于mysql连接jsp文件时出现Xxx Xxx cannot be resolved to a type的情况
关于mysql连接jsp文件时出现Xxx cannot be resolved to a type的情况原因有三: a.(可能是jdk版本问题通常系统使用默认版本解决办法是进项目配置设置,以及将 ...
末流211计算机值得学吗,选择末流的211还是好一点的一本大学？附末流211大学名单最后20名...
选择科目测一测我能上哪些大学选择科目领取你的专属报告 > 选择省份关闭请选择科目确定 v> 填报志愿时,选择末流的211还是好一点的一本大学是不少考生都会面对的难题.本期我们以 ...
圣母大学应用计算机数学统计,圣母大学(美国)应用、计算数学与统计学本科专业.pdf...
圣母大学(美国)应用.计算数学与统计学本科专业留学监理服务网圣母大学(美国) 应用.计算数学与统计学- Applied and Computational Mathematics and Stat ...
python统计各省大学数_“双一流”大学各省分布情况统计
9月21日,教育部官方网站公布世界一流大学和一流学科(简称"双一流")建设高校及建设学科名单.其中,一流大学建设高校42所(A类36所.B类6所),一流学科建设高校95所. 此次遴 ...

spark练习--统计xxx大学的各个少数名族的情况

spark练习--统计xxx大学的各个少数名族的情况相关推荐

最新文章

热门文章