【Spark】Spark是什么

简短介绍下Spark

几个关键词：快速，通用，集群计算平台

Spark扩展了MapReduce计算模型，且支持更多计算模式，包含：

交互式查询
流处理

这里的交互式，不是简单的我们生活中理解的与设备的交互。它的深意是：对于大规模数据集的处理，速度够快。只有速度够快，才能实现交互式操作。

前文提到的，基于内存的数据定义，Spark可以在内存中进行计算。其实，即使不在内存中计算，放在磁盘上，Spark也有很高的性能，比一般的MapReduce要高效。

Spark适用场景：各种需要不同的分布式平台的场景。

Spark将任务整合在统一的框架下支持这些计算，对于多平台的管理，大大降低了管理者的负担。

另外，Spark和其他大数据工具可以密切配合，比如运行在Hadoop集群。

Spark软件栈

从图上可以看出，Spark Core居于核心地位，它是计算引擎，特点是速度快，通用。职能是调度，分发以及监控任务。

Spark Core的性能很棒，所以能够针对不同场景设计更高层次的组件，比如SQL，以及机器学习库等。这些高层组件关系密切，可以互相调用。因此，在Spark上的开发就和我们平时写代码体验相似，这些组件可以简单的组合调用。

得益于组件间的亲密关系，下层改进，上层直接受益。

且在Spark中增加新的组件，其他组件都能马上使用。

六个字：高内聚，低耦合。

书上举的例子：

在应用中将数据流中的数据用机器学习算法进行实时分类。同时，数据分析师可以通过SQL实时查询结果数据，而且还可以通过Python Shell来访问数据，即时分析。

看到这里，大概我们知道了Spark这个解决方案，有着强大的能力，一套系统打遍天下的感觉。

组件简介

Spark Core

实现的是Spark的基本功能，包含：

任务调度
内存管理
错误恢复
存储系统交互
弹性分布式数据集

** Spark SQL**

用于操作结构化数据的程序包。支持多种数据源，如：

Hive表
Parquet
JSON

Spark Streaming

对实时数据进行流式计算。

MLlib

提供的是常见的机器学习功能库，包含：

分类
回归
聚类
协同过滤

同时，还提供了：

模型评估
数据导入

等功能。

Spark设计的这些方法，都可以在集群上轻松伸缩。

GraphX

用于操作关系图（比如社交网络）的程序库，并行计算。

END.