大数据培训课程之countByKey()案例

2024-05-18 00:34:00

大数据培训课程saveAsObjectFile(path)

作用：用于将RDD中的元素序列化成对象，存储到文件中。

大数据培训课程 countByKey()案例

作用：针对(K,V)类型的RDD，返回一个(K,Int)的map，表示每一个key对应的元素个数。

需求：创建一个PairRDD，统计每种key的个数

（1）创建一个PairRDD

scala> val rdd = sc.parallelize(List((1,3),(1,2),(1,4),(2,3),(3,6),(3,8)),3)

rdd: org.apache.spark.rdd.RDD[(Int, Int)] = ParallelCollectionRDD[95] at parallelize at <console>:24

（2）统计每种key的个数

scala> rdd.countByKey

res63: scala.collection.Map[Int,Long] = Map(3 -> 2, 1 -> 3, 2 -> 1)

大数据培训课程 foreach(func)案例

作用：在数据集的每一个元素上，运行函数func进行更新。

需求：创建一个RDD，对每个元素进行打印

（1）创建一个RDD

scala> var rdd = sc.makeRDD(1 to 5,2)

rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[107] at makeRDD at <console>:24

（2）对该RDD每个元素进行打印

scala> rdd.foreach(println(_))

3

4

5

1

2

想要了解跟多关于大数据培训课程内容欢迎关注尚硅谷大数据培训，尚硅谷除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习。

大数据培训课程之countByKey()案例相关推荐

大数据培训课程之fold(num)(func)案例
fold(num)(func)案例作用:折叠操作,aggregate的简化操作,seqop和combop一样. 需求:创建一个RDD,将所有元素相加得到结果 (1)创建一个RDD scala> ...
大数据培训课程之RDD传递一个属性
传递一个属性 1．创建Spark主程序 object TransmitTest { def main(args: Array[String]): Unit = { //1.初始化配置信息及SparkC ...
大数据培训课程之RDD中的函数传递
RDD中的函数传递在实际开发中我们往往需要自己定义一些对于RDD的操作,那么此时需要主要的是,初始化工作是在Driver端进行的,而实际运行程序是在Executor端进行的,这就涉及到了跨进程通信, ...
大数据培训课程之Flume拓扑结构大数据培训课程之Flume拓扑结构
Flume拓扑结构 Flume的拓扑结构如图1-3.1-4.1-5和1-6所示: 图1-3 Flume Agent连接图1-4 单source,多channel.sink 图1-5 Flume负载均 ...
大数据培训怎么样，怎么选择合适大数据培训机构？
数据培训在当下是个非常热门的话题,大数据在深刻的影响着这个世界,大数据正引发新一轮革命.应运时代的变化需求,国内涌现出不少大数据培训机构.不少人问大数据培训靠谱吗?该如何选择培训机构呢? 1.看高薪就 ...
泰迪云课堂大数据培训平台业务介绍
泰迪云课堂大数据培训业务分为几个类型,包括就业培训班.在线实习.大数据推荐课程.图书配套视频课程 .技能提升等方面. 就业培训班包括:学徒班.线下就业班.项目班学徒班包括:大 ...
2018大数据培训学习路线图（详细完整版）
2018大数据培训学习路线全课程目录+学习线路详解(详细完整版) 第一阶段:大数据基础Java语言基础阶段 1.1:Java开发介绍 1.1.1 Java的发展历史 1.1.2 Java的应用领域 1 ...
大数据培训ClickHouse表引擎
表引擎表引擎(即表的类型)决定了: 1)数据的存储方式和位置,写到哪里以及从哪里读取数据 2)支持哪些查询以及如何支持. 3)并发数据访问. 4)索引的使用(如果存在). 5)是否可以执行多线程请求 ...
Java大数据培训学校全套教程-AJAX（27）-马克-专题视频课程
Java大数据培训学校全套教程-AJAX(27)-2人已学习课程介绍 Java大数据培训学校视频教程:"java大数据培训学校全套教材"系列课程由750集视频构成 ...

最新文章

热门文章