Spark Architecture

2019独角兽企业重金招聘Python工程师标准>>>

Spark uses a master/worker architecture. There is a driver that talks to a single coordinator called master that manages workers in which executors run.

Figure 1. Spark architecture

The driver and the executors run in their own Java processes. You can run them all on the same (horizontal cluster) or separate machines (vertical cluster) or in a mixed machine configuration.

Figure 2. Spark architecture in detail

Physical machines are called hosts or nodes.

转载于:https://my.oschina.net/chensanti234/blog/811904

Spark Architecture相关推荐

[Spark][翻译]Spark 架构: Shuffle过程分析
为什么80%的码农都做不了架构师?>>> Spark Architecture: Shuffle Spark架构:Shuffle This is my second artic ...
Kylin 2.0 Spark Cubing 优化改进
2019独角兽企业重金招聘Python工程师标准>>> Kylin 2.0 引入了Spark Cubing beta版本,本文主要介绍我是如何让 Spark Cubing 支持启用 ...
Apache Spark 内存管理详解
原文出处: IBM developerWorks Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色.理解 Spark 内存管理的基本原理,有助于更好地开发 ...
Spark2.1 内存管理详解
本文中阐述的原理基于 Spark 2.1 版本,阅读本文需要读者有一定的 Spark 和 Java 基础,了解 RDD.Shuffle.JVM 等相关概念. 在执行 Spark 的应用程序时,Spar ...
driver 是什么
这篇文章是翻译过来的,访问原文需要科学上网. 在 Apache Spark 和 PySpark 中的 Spark driver 是什么?在多机集群模式下,PySpark 使用 master(drive ...
spark shuffle内在原理说明
在MapReduce框架中,shuffle是连接Map和Reduce之间的桥梁,Map的输出要用到Reduce中必须经过shuffle这个环节,shuffle的性能高低直接影响了整个程序的性能和吞吐量 ...
Apache Spark源码走读之6 -- 存储子系统分析
Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk,本文尝试分析Spark中存储子系统的构成,并以数据写入和数据读取为例,讲述清楚存储子系统中各部件的交互 ...
spark源码解析之基本概念
从两方面来阐述spark的组件,一个是宏观上,一个是微观上. 1. spark组件要分析spark的源码,首先要了解spark是如何工作的.spark的组件: 了解其工作过程先要了解基本概念官方罗 ...
理解Spark的核心RDD
与许多专有的大数据处理平台不同,Spark建立在统一抽象的RDD之上,使得它可以以基本一致的方式应对不同的大数据处理场景,包括MapReduce,Streaming,SQL,Machine Learn ...

Spark Architecture

Spark Architecture相关推荐

最新文章

热门文章