spark wordcount函数解析

2019独角兽企业重金招聘Python工程师标准>>>

sc.textFile("hdfs://sniper5:9000/hello.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortByKey().collect
sc.textFile("hdfs://sniper5:9000/hello.txt").flatMap(_.split(" ")).map(x=>(x,1)).reduceByKey(_+_).sortByKey().collect

textFile：获得数据

flatMap（_.split("\\s")）：对集合中的每个元素按空格切词，每个元素切词后形成子集合，然后将各个子集合元素平铺成一个集合

map(x=>(x,1))：将每个元素转换成元组比如a变成(a, 1)， b变成(b, 1)

reduceByKey(_+_)：按照key做reduce，将key对应的所有值相加

collect：输出

转载于:https://my.oschina.net/sniperLi/blog/532463

spark wordcount函数解析相关推荐

Spark之SQL解析（源码阅读十）
如何能更好的运用与监控sparkSQL?或许我们改更深层次的了解它深层次的原理是什么.之前总结的已经写了传统数据库与Spark的sql解析之间的差别.那么我们下来直切主题~ 如今的Spark已经支持多 ...
Spark HistoryServer日志解析清理异常
Spark HistoryServer日志解析&清理异常一.背景介绍用户在使用 Spark 提交任务时,经常会出现任务完成后在 HistoryServer(Spark 1.6 和 Spar ...
Spark SQL函数总结
Spark SQL函数大杂烩函数很多,都在下面了: 1.聚合函数 2.集合函数 3.时间函数 4.数学函数 5.混杂(misc)函数 6.其他非聚合函数 7.排序函数 8.字符串函数 9.UDF函数 ...
wordCount的解析
wordCount的解析 MapReduce的过程 (input)<k1, v1>->map-><k2, v2>->combine-><k2, v ...
Spark Shuffle原理解析
Spark Shuffle原理解析一:到底什么是Shuffle? Shuffle中文翻译为"洗牌",需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个计算节 ...
oracle rpad mysql_Oracle生成不重复票号与LPAD,RPAD与NEXTVAL函数解析
SELECT TO_CHAR(SYSDATE,'YYMMDD')||LPAD(REFUNDSEQ.NEXTVAL,6,'0') AS RES_ORDER_NO FROM DUAL 该语句拼接时间与 ...
json数据解析_VBA 实践指南 -- Split函数解析Json数据
什么是JSON? JSON(JavaScript Object Notation) 是一种及其轻量级的数据交换格式,它是 ECMAScript (欧洲计算机协会制定的JavaScript规范)的一个子 ...
C/C++ sizeof函数解析——解决sizeof求结构体大小的问题
C/C++ sizeof函数解析--解决sizeof求结构体大小的问题参考文章: (1)C/C++ sizeof函数解析--解决sizeof求结构体大小的问题 (2)https://www.cnbl ...
【Socket网络编程】12. send()、recv()、sendto() 和 recvfrom() 函数解析
send().recv().sendto()和recvfrom()函数解析一般情况下,send().recv()在TCP协议下使用,sendto().recvfrom()在UDP协议下使用,也可以在 ...

spark wordcount函数解析

spark wordcount函数解析相关推荐

最新文章

热门文章