一、Spark 的序列化

序列化

Spark 是一个高性能、分布式的、基于内存计算的计算引擎，Spark 集群中包含多个节点，各节点之间要进行通信(比如数据传输，Spark 通过 RPC 进行节点间的通信)，因而必定存在序列化(对象转字节数组)和反序列化(字节数组转对象)。

二、Java Serialization 和 Kryo Serialization

Spark 目前支持两种序列化机制：java native serialization 和 kryo serialization，默认使用的是Java native serialization。两者的区别：

类别

优点

缺点

备注

java native serialization

兼容性好、和scala更好融合

序列化性能较低、占用内存空间大(一般是Kryo Serialization 的10倍)

默认的serializer

Kryo Serialization

序列化速度快、占用空间小(即更紧凑)

不支持所有的Serializable类型、且需要用户注册要进行序列化的类class

shuffle的数据量较大或者较为频繁时建议使用

三、Spark 中使用 Kryo Serialization

要在Spark 中使用 Kryo 完成序列化和反序列化，需要完成 3.1 和 3.2 两样配置：

3.1 将配置项spark.serializer设置为

org.apache.spark.serializer.KryoSerializer

可以在配置文件spark-default.conf中添加该配置项(全局生效)，比如：

spark.serializer org.apache.spark.serializer.KryoSerializer

或者在业务代码中通过SparkConf进行配置(针对当前application生效)，比如：

val spark = SparkSession.builder().master("local[*]").appName("test").getOrCreate()

val conf = new SparkConf

conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")

又或者在spark-shell、spark-submit脚本中启动，可以在命令中加上：

--conf spark.serializer=org.apache.spark.serializer.KryoSerializer

3.2 注册自定义类(非必须，但是强烈建议做)

......

conf.registerKryoClasses(Array(classOf[Test1], classOf[Test2]))

// 其中Test1.java 和 Test2.java 是自定义的类

如果是scala类Test1(scala中的trait就相当于java中的接口)：

class Test1 extends Serializable {

......

}

如果是java类Test2：

public class Test2 implements Serializable {

......

}

注意：虽说该步不是必须要做的(不做Kryo仍然能够工作)，但是如果不注册的话，Kryo会存储自定义类中用到的所有对象的类名全路径，这将会导致耗费大量内存。

3.3 配置 spark.kryoserializer.buffer

如果要被序列化的对象很大，这个时候就最好将配置项spark.kryoserializer.buffer 的值(默认64k)设置的大些，使得其能够hold要序列化的最大的对象。

水平有限，如有错误，敬请指正！