Spark简介:

Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎,Spark拥有Hadoop MapReduce所具有的的所有优点,但不同于MapReduce得是job中间输出结果可以保存在内存中,从而不需要去读取HDFS,因此Spark能更好的适用于数据挖掘于机器学习等需要的迭代的MapReduce的算法,Spark是Scala编写,方便快速编程

spark生态图:

Spark和MapReduce的区别

Spark基于内存,MapReduce基于hdfs.Spark处理数据的能力一般是MapReduce的十倍以上,Spark中除了基于内存计算外,还有DAG有向无环图来切分任务的执行先后顺序

Spark常用运行模式:

Local --本地运行模式

Standalone --是Spark自带的一个资源调度框架,支持完全分布式

Yarn --Hadoop生态圈的一个资源调度框架,Spark也可以基于其来进行计算

核心库 --SparkCore

RDD

概念:

RDD(Resilient Distributed Dateset),弹性分布式数据集

RDD五大特性:

1.RDD是由一系列的partition组成的

2.函数是作用在每一个partition(split)上的

3.RDD之间有一系列的依赖关系

4.分区器是作用在K,V格式的RDD上的

5.RDD提供一系列最佳的计算位置

RDD图解:

要点:

textFile方法底层封装的是读取MR读取文件的方式,读取文件之前先split,默认split大小是一个block块大小

RDD实际上不存储数据,这里为了方便理解,暂时理解为存储数据

如果RDD里面存储的数据都是二元组对象,那么这个RDD我们就叫做K,V格式的RDD

体现RDD的弹性(容错)

--partition数量,大小没有限制

--RDD之间的依赖关系,可以基于上一个RDD重新算出RDD

体现RDD的分布式:

--RDD由partition组成,partition分布在不同的节点上

RDD提供最佳的计算位置,体现了数据本地化,大数据中"计算以东部移动数据"的概念

Spark任务执行原理

以上图中,Driver和Worker式启动在节点上的进程,运行在jvm中的进程

Driver与集群节点之间有频繁的通信

Driver负责任务(tasks)的分发和结果的回收,任务的调度

Worker和Master是Standalone资源调度框架里面资源管理的从节点,也是jvm进程

Transformations转换算子

Transformations算子是延迟执行,也叫懒加载执行

filter:过滤符合条件的记录数,true保留,false过滤

map:将一个RDD中的每一个数据项,通过map中的映射函数变为一个新的元素特点:输入一条,输出一条

flatMap:先map后flat,与map类似,每个输入项可以映射为0-多个输出项

sample:随机抽样算子,根据传进去小数按比例进行又放回或者无放回的抽样

reduceByKey:将相同的key根据相应的逻辑进行处理

sortByKey/sortBy:作用在K,V格式的RDD上,对key进行升降序排序

Action行动算子

Action类算子是触发执行,一个application应用程序中有几个Action类算子执行,就有几个job运行

count:返回数据集中的元素数,会在结果计算完成会受到Driver端

take(n):返回一个包含数据及前n个元素的集合

first:返回数据集中的第一个元素

foreach:循环遍历数据集,运行相应的逻辑

collect:将计算结果会收到Driver端

控制算子

控制算子有三种,cache,persist,checkpoint,以上算子都可以将RDD持久化,持久化单位为partition,cache和persist是懒执行的,必须有一个action类算子触发执行,checkpoint算子不仅仅能将RDD持久化,还能切断RDD之间的依赖关系

cache

默认将RDD的数据持久化到内存中,

persist

可以指定持久化的级别,最常用的是MEMORYONLY和MEMORY_AND_DISK

_2表示副本数持久化级别如下:

cache和persist注意事项;

1.cache和persist都是懒执行,必须要有一个action类算子来触发执行

2.cache和persist算子的返回值可以赋值给一个变量,在其他job中直接使用这个变量就是使用持久化的数据了,持久化单位是partition

3.cache和persist算子后不能立即紧跟action类算子

checkpoint

checkpoint将RDD持久化到磁盘中,还可以切断RDD之间的依赖关系

checkpoint的执行原理:

1.当RDD的job执行完毕之后,会从finalRDD从后往前回溯

2.当回溯到摸一个RDD调用了checkpoint方法,会对当前的RDD做一个标记

3.Spark框架会自动启动一个新的job,重新计算这个RDD的数据,将数据持久化到HDFS中

优化:对RDD执行checkpoint方法之前,最好对这个RDD先执行cache,这样新启动的job只需将内存中的数据拷贝到HDFS上就可以了,省去了重新计算的这一步