Spark RDD Action
动作 | 含义 |
---|---|
reduce(func) | 通过func函数聚集RDD中的所有元素,这个功能必须是课交换且可并联的 |
collect() | 在驱动程序中,以数组的形式返回数据集的所有元素 |
count() | 返回RDD的元素个数 |
first() | 返回RDD的第一个元素(类似于take(1)) |
take(n) | 返回一个由数据集的前n个元素组成的数组 |
takeSample(withReplacement,num, [seed]) | 返回一个数组,该数组由从数据集中随机采样的num个元素组成,可以选择是否用随机数替换不足的部分,seed用于指定随机数生成器种子 |
takeOrdered(n, [ordering]) | |
saveAsTextFile(path) | 将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统,对于每个元素,Spark将会调用toString方法,将它装换为文件中的文本 |
saveAsSequenceFile(path) | 将数据集中的元素以Hadoop sequencefile的格式保存到指定的目录下,可以使HDFS或者其他Hadoop支持的文件系统。 |
saveAsObjectFile(path) | |
countByKey() | 针对(K,V)类型的RDD,返回一个(K,Int)的map,表示每一个key对应的元素个数。 |
foreach(func) | 在数据集的每一个元素上,运行函数func进行更新。 |
spark action
val rdd1 = sc.parallelize(List(1,2,3,4,5), 2) # 2是分区,就是task数量,默认是可用的核数
rdd1.saveAsTextFile(“hdfs://node:9000/test”) # 会有三个结果
val rdd = sc.textFile(“hdfs://node:9000/wc”)
rdd.partitions.length # 自动分配task,RDD最小的分区数量是2
rdd1.saveAsTextFile(“hdfs://node:9000/wc2”)
#collect
rdd1.collect
#reduce
val r = rdd1.reduce(+)
#count
rdd1.count
#top
rdd1.top(2)
#take
rdd1.take(2)
#first(similer to take(1))
rdd1.first
#takeOrdered
rdd1.takeOrdered(3)
Spark RDD Action相关推荐
- Spark RDD Action 简单用例(一)
collectAsMap(): Map[K, V] 返回key-value对,key是唯一的,如果rdd元素中同一个key对应多个value,则只会保留一个./** * Return the key- ...
- spark Rdd 操作transformaction和action等
为什么80%的码农都做不了架构师?>>> transformation是惰性的,只有action操作的时候,才会真正执行.spark有很多api,RDD的api只是spark的 ...
- Spark RDD算子(transformation + action)
概念 RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变.可分区.里面的元素可并行计算的集合.RDD具有数据流模 ...
- spark学习13(spark RDD)
RDD及其特点 1)RDD(Resillient Distributed Dataset)弹性分布式数据集,是spark提供的核心抽象.它代表一个不可变.可分区.里面的元素可并行计算的集合 2)RDD ...
- Spark学习之Spark RDD算子
个人主页zicesun.com 这里,从源码的角度总结一下Spark RDD算子的用法. 单值型Transformation算子 map /*** Return a new RDD by applyi ...
- Spark RDD概念学习系列之rdd持久化、广播、累加器(十八)
1.rdd持久化 2.广播 3.累加器 1.rdd持久化 通过spark-shell,可以快速的验证我们的想法和操作! 启动hdfs集群 spark@SparkSingleNode:/usr/loca ...
- Spark rdd 介绍,和案例介绍
1.2.创建RDD 1)由一个已经存在的Scala集合创建. val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8)) 2)由外部存储系统的数据集创建,包括本 ...
- 第二章 Spark RDD以及编程接口
第二章 Spark RDD以及编程接口 目录 Spark程序"Hello World" Spark RDD 创建操作 转换操作 控制操作 行动操作 注:学习<Spark大数据 ...
- spark RDD详解及源码分析
spark RDD详解及源码分析 @(SPARK)[spark] spark RDD详解及源码分析 一基础 一什么是RDD 二RDD的适用范围 三一些特性 四RDD的创建 1由一个已经存在的scala ...
最新文章
- SHOW PROCESSLIST 命令详解 (查看锁表)
- 【爬虫】-爬取食品检验结果
- 善于 调用Windows API
- Exchange 2007 容易理解错误的几个地方
- .Net NPOI 根据excel模板导出excel、直接生成excel
- PMcaff课堂:10年经验的产品大咖眼中的社交产品是这样的
- python学习笔记一 一变量与运算符
- 万级规模 K8s 如何管理?蚂蚁双11核心技术公开
- linux oracle异常处理,Oracle SQL 异常处理
- nginx访问量统计
- pytorch_GPU安装
- logback按等级输出到不同日志文件
- BOM offset client scroll
- java实例化对象的四种方式
- 神通数据库知识点整理
- 2019 年(B题)巡线机器人
- python 版权保护,python爬虫篇4——爬取专利著作权信息
- 2021年遭遇苹果审核2.3.1的开发过审经历
- 使用spyder查询帮助文档
- java复习二十一天[多线程终]
热门文章
- LeetCode输入字符串,倒序输出---C语言
- c语言程序设计李泽中课后,C语言程序设计李泽中课件第4章解读.ppt
- python下载网页中的pdf文件_Python读取网页上的pdf文件,输出字符串
- react 更新input 默认值setfieldsvalue_值得收藏的React知识点查漏补缺
- 518. 零钱兑换 II(JavaScript)
- 力扣98. 验证二叉搜索树(JavaScript)
- path manipulation怎么解决_超详细的toad报错解决--no valid oracle clients found.
- android java框架_【阿里P8大牛教你Android入门之路(java篇)】——Java集合框架(系列篇1)...
- java里正数和负数_Java程序检查数字是正数还是负数
- crt怎么防止掉线_【整理】SecureCRT断线恢复会话 | 勤奋的小青蛙