第17课:RDD案例(join、cogroup等实战)
本节课通过代码实战演示RDD中最重要的两个算子,join和cogroup
join算子代码实战:
//通过代码演示join算子
val conf = new SparkConf().setAppName("RDDDemo").setMaster("local")
val sc = new SparkContext(conf)
val arr1 = Array(Tuple2(1, "Spark"), Tuple2(2, "Hadoop"), Tuple2(3, "Tachyon"))
val arr2 = Array(Tuple2(1, 100), Tuple2(2, 70), Tuple2(3, 90))
val rdd1 = sc.parallelize(arr1)
val rdd2 = sc.parallelize(arr2)
val rdd3 = rdd1.join(rdd2)
rdd3.collect().foreach(println)
运行结果:
(1,(Spark,100))
(3,(Tachyon,90))
(2,(Hadoop,70))
cogroup算子代码实战:
首先通过java的方式编写:
SparkConf conf = new SparkConf().setMaster("local").setAppName("Cogroup");
JavaSparkContext sc = new JavaSparkContext(conf);
List<Tuple2<Integer, String>> nameList = Arrays.asList(new Tuple2<Integer, String>(1, "Spark"),
new Tuple2<Integer, String>(2, "Tachyon"), new Tuple2<Integer, String>(3, "Hadoop"));
List<Tuple2<Integer, Integer>> ScoreList = Arrays.asList(new Tuple2<Integer, Integer>(1, 100),
new Tuple2<Integer, Integer>(2, 95), new Tuple2<Integer, Integer>(3, 80),
new Tuple2<Integer, Integer>(1, 80), new Tuple2<Integer, Integer>(2, 110),
new Tuple2<Integer, Integer>(2, 90));
JavaPairRDD<Integer, String> names = sc.parallelizePairs(nameList);
JavaPairRDD<Integer, Integer> scores = sc.parallelizePairs(ScoreList);
JavaPairRDD<Integer, Tuple2<Iterable<String>, Iterable<Integer>>> nameAndScores = names.cogroup(scores);
nameAndScores.foreach(new VoidFunction<Tuple2<Integer, Tuple2<Iterable<String>, Iterable<Integer>>>>() {
public void call(Tuple2<Integer, Tuple2<Iterable<String>, Iterable<Integer>>> t) throws Exception {
System.out.println("ID:" + t._1);
System.out.println("Name:" + t._2._1);
System.out.println("Score:" + t._2._2);
}
});
sc.close();
运行结果:
ID:1
Name:[Spark]
Score:[100, 80]
ID:3
Name:[Hadoop]
Score:[80]
ID:2
Name:[Tachyon]
Score:[95, 110, 90]
通过Scala的方式:
val conf = new SparkConf().setAppName("RDDDemo").setMaster("local")
val sc = new SparkContext(conf)
val arr1 = Array(Tuple2(1, "Spark"), Tuple2(2, "Hadoop"), Tuple2(3, "Tachyon"))
val arr2 = Array(Tuple2(1, 100), Tuple2(2, 70), Tuple2(3, 90), Tuple2(1, 95), Tuple2(2, 65), Tuple2(1, 110))
val rdd1 = sc.parallelize(arr1)
val rdd2 = sc.parallelize(arr2)
val rdd3 = rdd1.cogroup(rdd2)
rdd3.collect().foreach(println)
sc.stop()
运行结果:
(1,(CompactBuffer(Spark),CompactBuffer(100, 95, 110)))
(3,(CompactBuffer(Tachyon),CompactBuffer(90)))
(2,(CompactBuffer(Hadoop),CompactBuffer(70, 65)))
备注:
资料来源于:DT_大数据梦工厂(Spark发行版本定制)
更多私密内容,请关注微信公众号:DT_Spark
如果您对大数据Spark感兴趣,可以免费听由王家林老师每天晚上20:00开设的Spark永久免费公开课,地址YY房间号:68917580
转载于:https://blog.51cto.com/18610086859/1773197
第17课:RDD案例(join、cogroup等实战)相关推荐
- 第17课 Altium Designer20(AD20)+VESC6.4实战教程:总体布局和定义板子边框(第二版)(北冥有鱼)
第17课 Altium Designer20(AD20)+VESC6.4实战教程:总体布局和定义板子边框(第二版)(北冥有鱼)
- 《Spark商业案例与性能调优实战100课》第17课:商业案例之NBA篮球运动员大数据分析系统代码实战
<<<Spark商业案例与性能调优实战100课>第17课:商业案例之NBA篮球运动员大数据分析系统代码实战
- Transformer课程 第8课 NER案例模型训练及预测
Transformer课程 第8课 NER案例模型训练及预测 Train Our Classification Model 现在,我们的输入数据已正确格式化,是时候对BERT模型进行微调了. 4.1. ...
- Spark RDD案例(五)经纬度转换为地理位置
Spark RDD案例(五)经纬度转换为地理位置 1. 背景 Spark作为大数据分析引擎,本身可以做离线和准实时数据处理 Spark抽象出的操作对象如RDD.dataSet.dataFrame.DS ...
- 太空射击第17课: Game Over (結束)
太空射击第17课: Game Over (結束) 在本课中,我们将通过添加"游戏结束"屏幕和再次玩游戏的功能来完成游戏. 视频 您可以在此处观看本课程的视频: 游戏结束 现在,当我 ...
- 职高计算机教学案例 反思,关于职高数学优质课教学案例的研究与反思
[摘 要] 随着社会的发展和世界经济的相互融合,我国社会的技能型人才已经供不应求,同时,国家也加强了对职业教育的扶持力度,政策上也向职高倾斜.职高数学是每一个学生必须掌握的基础知识,是其学好专业知识的 ...
- 图解 5 种 Join 连接及实战案例!(inner/ left/ right/ full/ cross)
转载自 图解 5 种 Join 连接及实战案例!(inner/ left/ right/ full/ cross) Join 连接在日常开发用得比较多,但大家都搞清楚了它们的使用区别吗??一文带你上车 ...
- Transformer课程 第8课NER案例代码笔记-IOB标记
Transformer课程 第8课NER案例代码笔记-IOB标记 NER Tags and IOB Format 训练集和测试集都是包含餐厅相关文本(主要是评论和查询)的单个文件,其中每个单词都有一个 ...
- 优秀计算机基础微课案例,大学计算机基础——大学微课实用案例教学
大学计算机基础--大学微课实用案例教学 语音 编辑 锁定 讨论 上传视频 <大学计算机基础--大学微课实用案例教学> 是清华大学出版社于2006年出版的图书.作者是徐军.李翠梅.杨丽君. ...
最新文章
- groovy–运算符重载
- 目标检测--Wide-Residual-Inception Networks for Real-time Object Detection
- SAP-注入“AI基因” 打造全球第一款“智能ERP
- SPARK安装二:HADOOP集群部署
- html搜索框美化代码单词,CSS 漂亮搜索框美化代码
- 人工智能安全框架(2020年)
- 网站服务器日志分析,如何进行网站日志分析(理论篇)
- 语言的MASS包干什么的_R语言绘制平行坐标图(PCP)示例
- 免费在线PHP加密、解密、混淆源代码工具-toolfk.com
- 手工制作学数学——三维空间八个象限
- 安装MySql5.7的详细步骤
- 参考文献标号字体_毕业论文参考文献格式字体
- 多个USB视频捕捉的连接问题
- 《前端》阿里字体库iconfont使用方法
- img是什么格式的文件
- 微软Project Online落地中国
- 麻姑山行,记南城麻姑山一日游
- matlab绘制不同角度的抛体运动
- 深度学习与计算机视觉-6章 Python-OpenCV
- CCF真题 ISBN号码 题解
热门文章
- 阅读笔记一之《软件需求与分析》
- Struts2结果跳转方式
- NYOJ--927--dfs--The partial sum problem
- 2017.4.11 AM
- No.7 nginx、nfs、集群
- jQuery kxbdMarquee 无缝滚动
- WPF 分页控件应用
- 企业非法集资风险预测_2020CCF--企业非法集资风险预测83.35baseline
- java清理语句,java – 如何在不使用准备语句的情况下对SQL进行清理
- android n模拟器,BlueStacks推出Android N模拟器