Spark的三种伪分布式方式

伪分布式一:

只有一台机子，搞伪分布式，很简单，

IP分别来自127.0.0.1和局域网ip,这样一台机子就变成两台，spark认为一个IP就是一台机子

伪分布式二:

两台机子，虽然看起来是集群，其实依然是伪分布式

根据[1]可知:

更抽象的层次来看：Spark的运行架构由Driver（可理解为master）和Executor（可理解为worker或slave)组成，Driver负责把用户代码进行DAG切分，划分为不同的Stage，然后把每个Stage对应的task调度提交到Executor进行计算，这样Executor就并行执行同一个Stage的task。

也就是说，两台机子，一台负责统筹管理，只有一台负责计算，没有发挥集群的威力.

如果想要两台一起计算，需要在配置文件里面设置127.0.0.1为slave才行．

伪分布式三:

单机里面跑几个虚拟机用来模拟集群

Reference:

[1]Spark并行计算内容总结

Spark的三种伪分布式方式相关推荐

Spark支持三种分布式部署方式
目前Apache Spark支持三种分布式部署方式,分别是standalone.spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内 ...
Spark的三种分布式部署方式
目前Apache Spark支持三种分布式部署方式,分别是standalone.spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内 ...
spark sql 本地调试_Spark精华问答｜Spark的三种运行模式有何区别？
戳蓝字"CSDN云计算"关注我们哦! Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右,是hadoop的升级版本,Hadoop作为第 ...
Spark精华问答 | Spark的三种运行模式有何区别？
戳蓝字"CSDN云计算"关注我们哦! Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右,是hadoop的升级版本,Hadoop作为第 ...
网络资产管理系统_固定资产管理系统的三种网络架构方式
随着互联网技术的发展和信息技术的广泛使用,固定资产管理系统在各行业的应用越来越普及,固定资产管理系统作为当今主流的企业固定资产信息化管理模式,能够对企业固定资产进行有效管理并提升企业的管理水平.对于固 ...
计算机网络--边缘和核心部分，三种数据交换方式
目录互联网的构成和特点互联网的边缘部分和核心部分边缘部分端系统之间的通信方式客户端-服务器(C/S方式) 对等连接方式(P2P) 核心部分三种数据交换方式电路交换报文交换(存储转发) ...
MATLAB代码：全面ADMM算法代码，实现了三种ADMM迭代方式
MATLAB代码:全面ADMM算法代码,实现了三种ADMM迭代方式关键词:综合能源分布式协同优化交替方向乘子法最优潮流参考文档:<基于串行和并行ADMM算法的电_气能量流分布式协同优化 ...
了解mysql的三种不同安装方式的区别
学习目的:了解mysql的三种不同安装方式的区别学习内容: mysql 的安装有三种:分别是源码安装.二进制安装.rpm安装. 源码安装的优势:linux操作系统开放源代码,因此在其上面安装的软件大 ...
lvs的调度算法有几种_LVS：三种负载均衡方式比较
1.什么是LVS? 首先简单介绍一下LVS (Linux Virtual Server)到底是什么东西,其实它是一种集群(Cluster)技术,采用IP负载均衡技术和基于内容请求分发技术.调度器具有很 ...

Spark的三种伪分布式方式

Spark的三种伪分布式方式相关推荐

最新文章

热门文章