Spark 理论简答

1、怎么理解scala里的方法和函数

• scala方法用def定义,函数用val定义
• scala方法可以和函数进行转换
• scala 方法用=>连接方法体,函数用=连接方法体
• scala方法是个块,而函数可以认为是个对象,可以传递
• scala 函数可以作为method的参数
• scala method也可以作为method的参数,表明有隐式转换把方法转换成了function

2、Spark的RDD是什么

• RDD意思是弹性分布式数据集
• RDD有三个重要特性:

不可变性: 发生变化就是生产新的RDD了
分区 每个RDD都有Partition
并行:因为有分区,所以可以并行操作

• RDD的组成包括

Array[Partition]
compute函数
RDD间的依赖关系
Partitioner,内置的主要是Hash分区器和range分区器,当然也可以自定义分区器
一个列表,存储每个partition的优先位置等

3、Spark的Shuffle有几种，说说各自的原理？

• 依据发展,spark的shuffle有hash shuffe,优化后的hashshuffle, sort shuffle,bypass sort shuffle
• 以上的几种shuffle主要区别在于shuffle阶段生成的中间文件的数目多少
• Hash shuffle

• 每个ShuffleMapTask先创建指定大小的缓冲区buffer
• ShuffleMapTask将数据写入buffer,之后溢写成blockfile
• blockfile的位置信息封装成Mapstatus传递个DAGscheduler
• 开始shuffle read阶段,相应的reduce task通过DAGscheduler的调度获取待读取文件的位置信息
• reduce task拉取数据到buffer
• 最终形成shuffle RDD

• 优化后的HashShuffle

• 加入shufflegroup
• 改进点在于为同一个executor落得所有shufflemaptask只维护一个buffer和blockfile,
就是说中间文件的数量=excutor数量* core数量*reduce数量,
而优化前的中间文件数量=excutor数量* core数量*map数量*reduce数量

• Sortshuffle

• 每个shuffleMaptask依据指定条件将数据分成若干份,每一份对应一个buffer.
• 在进入buffer之前,会先转成Map或者Array进行排序,
• buffer里的数据会溢写到磁盘上
• task产生的多个有序文件,会进行合并成一个,同时维护一个索引文件
• shuffle read阶段,首先获取索引文件信息,之后的同上

• bypass机制的sort shuffle

• 就是上面的机制不采取排序,有些shuffle操作并不需要排序

4、Spark On Yarn 的原理（Cluster和Client）

• cluster模式和client模式的主要区别在于drive位置的不同.
• clusetr模式下driver位于某一台worker上
• client模式下driver位于client上
二者的执行流程是类似的

1 client向Yarn的RM申请启动AppMaster
2 RM表示同意后并找到一个NM,给NM分配一个Container用于启动AppMaster
3 AM启动后开始干活,启动Executor执行task
4 Driver分配task并监控task的执行情况
5 任务完成后通知RM申请注销

5、SparkSql是什么，与SparkCore的区别是什么

• spark core实现了spark的基本功能:任务调度,内存管理,错误恢复等等.还包括对RDD的定义
• spark sql是构建在spark core上的一个模块
• spark sql用于处理结构化的数据
• spark sql有3代编程模型,第一代RDD,第二代DataFrame,第三代DataSet
• 使用spark sql需要首先构建Spark Session对象

spark sql是建立在spark core的基础上的,然后用起来其实更加方便.

def test7(): Unit ={val spark:SparkSession = SparkSession.builder().master("local[1]").appName("SparkByExamples.com").getOrCreate()import spark.implicits._spark.conf.set("spark.sql.shuffle.partitions",100)val simpleData = Seq(("James","Sales","NY",90000,34,10000),("Michael","Sales","NY",86000,56,20000),("Robert","Sales","CA",81000,30,23000),("Maria","Finance","CA",90000,24,23000),("Raman","Finance","CA",99000,40,24000),("Scott","Finance","NY",83000,36,19000),("Jen","Finance","NY",79000,53,15000),("Jeff","Marketing","CA",80000,25,18000),("Kumar","Marketing","NY",91000,50,21000))val df: DataFrame = simpleData.toDF("employee_name","department","state","salary","age","bonus")df.createTempView("tmp")val sql: String ="""|select * from tmp|where state="NY"|""".stripMarginspark.sql(sql).show()}

6、Kafka与redis的区别

• kafka是一个消息中间件,redis是一个缓存数据库
• kafka数据存储在磁盘上,redis数据存储在内存中
• kafka存储在硬盘上,可靠性相比redis要高一些
• kafka的数据可以重复消费,redis的数据消费后丢失(pop)