3-spark学习笔记-SparkAPI

API详解如下所示:

具体操作如下所示:

Transformer操作:

1、Map

2、filter

3、flatMap

4、mapPartitions

5、mapPartitionsWithIndex

6、repartition (数据分配不均、性能扩展比较慢，需要repartition 比较消耗资源，进行shuffle操作)

7、coalesce (减少partition操作不做shuffle 性能更快速一些 shuffle = false)

8、union

9、join

10、intersection -交集可以用来算留存

11、cogroup

12、groupBy

13、groupByKey

14、reduceBykey

15、sample // false 不放回抽样 true放回抽样

16、cartesian 笛卡尔积

17、pipe //执行上面执行一个shell 命令

18、textFile

val inputRdd = sparkContext.textFile("file_path")inputRdd.foreach(println(_))inputRdd.map(_.length).saveAsTextFile("file_path")

Action:

collect、take、first、takesample等等

3-spark学习笔记-SparkAPI相关推荐

Spark学习笔记1——第一个Spark程序：单词数统计
Spark学习笔记1--第一个Spark程序:单词数统计笔记摘抄自 [美] Holden Karau 等著的<Spark快速大数据分析> 添加依赖通过 Maven 添加 Spark-c ...
Spark学习笔记[1]-scala环境安装与基本语法
Spark学习笔记[1]-scala环境安装与基本语法正所谓工欲善其事必先利其器,Spark的开发语言不是java而是scala,虽然都是运行于JVM,但是两门语言的基本特性还是有些不一样,这里 ...
spark 学习笔记
spark 学习笔记 spark介绍 Spark是是一种快速通用的集群计算系统,它的主要特点是能够在内存中进行计算.它包含了 spark 核心组件 spark-core,用于 SQL 和结构化处理数据 ...
Spark学习笔记(8)---Spark Streaming学习笔记
Spark Streaming学习笔记同Spark SQL一样,Spark Streaming学习也是放在了github https://github.com/yangtong123/RoadOfS ...
Spark学习笔记(7)---Spark SQL学习笔记
Spark SQL学习笔记 Spark SQL学习笔记设计到很多代码操作,所以就放在github, https://github.com/yangtong123/RoadOfStudySpark/bl ...
大数据高级开发工程师——Spark学习笔记（7）
文章目录 Spark内存计算框架 Spark SQL SparkSQL架构设计 1. SparkSQL的架构设计实现 2. Catalyst执行过程 SQL 解析阶段 Parser 绑定逻辑计划 An ...
Spark学习笔记10-RDD(Resilient Distributed Datasets)
1.RDD概念 RDD(Resilient Distributed Datasets),弹性分布式数据集.是分布式内存的一个抽象概念,RDD提供了一种高度受限的共享内存模型,即RDD是只读的记录分区的 ...
spark学习笔记！！！！
文章目录 1.spark概述 2.spark运行架构 2.1.核心组件 2.2.核心概念 2.3.Spark提交流程 3.spark核心编程 3.1.RDD 3.1.1.什么是RDD 3.1.2.RD ...
三万字，Spark学习笔记
Spark 基础 Spark特性 Spark使用简练优雅的Scala语言编写,基于Scala提供了交互式编程体验,同时提供多种方便易用的API.Spark遵循"一个软件栈满足不同应用场景&q ...
Spark学习笔记:数据读取和保存
spark所支持的文件格式 1.文本文件在 Spark 中读写文本文件很容易. 当我们将一个文本文件读取为 RDD 时,输入的每一行都会成为 RDD 的一个元素. 也可以将多个完整的文本文件一次 ...

3-spark学习笔记-SparkAPI

3-spark学习笔记-SparkAPI相关推荐

最新文章

热门文章