spark学习-32-SparkEnv的构造步骤

1.看代码

 /*** Helper method to create a SparkEnv for a driver or an executor.* 辅助方法来创建一个驱动程序或执行器sparkenv。** SparkEnv的构造步骤如下：*     1.创建安全管理器SecurityManager*     2.创建给予AKKa的分布式消息系统ActorSystem;*     3.创建Map任务输出跟踪器mapOutputTracker;*     4.实例化ShuffleManager;*     5.创建ShuffleMemoryManager;*     6.创建块传输服务BlockTransferService;*     7.创建BlockManagerMaster;*     8.创建块管理器BlockManager;*     9.创建广播管理器BroadcastManager;*     10.创建缓存管理器CacheManager;*     11.创建HTTP文件服务器HttpFileServer;*     13.创建输出提交控制器OutputCommitCoordinator;*     14.创建SparkEnv;*/private def create(conf: SparkConf,executorId: String,bindAddress: String,advertiseAddress

spark学习-32-SparkEnv的构造步骤相关推荐

Apache Spark学习：利用Scala语言开发Spark应用程序
Spark内核是由Scala语言开发的,因此使用Scala语言开发Spark应用程序是自然而然的事情.如果你对Scala语言还不太熟悉,可以阅读网络教程 A Scala Tutorial for Ja ...
决策树随机森林 xgboost_一文看懂随机森林-RandomForest（附4个构造步骤+4种实现方式评测+10个优缺点）...
随机森林是一种由决策树构成的集成算法,他在很多情况下都能有不错的表现.本文将介绍随机森林的基本概念.4 个构造步骤.4 种方式的对比评测.10 个优缺点和 4 个应用方向. 什么是随机森林? 随机森林 ...
Spark学习笔记[1]-scala环境安装与基本语法
Spark学习笔记[1]-scala环境安装与基本语法正所谓工欲善其事必先利其器,Spark的开发语言不是java而是scala,虽然都是运行于JVM,但是两门语言的基本特性还是有些不一样,这里 ...
Spark学习之路一——Spark基础及环境搭建
Spark学习之路一--Spark基础及环境搭建文章目录一. Spark 概述 1.1 概述 1.2 优势特性 1.2.1 运行速度快 1.2.2 容易使用 1.2.3 通用性 1.2.4 运行模 ...
大数据之spark学习记录二: Spark的安装与上手
大数据之spark学习记录二: Spark的安装与上手文章目录大数据之spark学习记录二: Spark的安装与上手 Spark安装本地模式 Standalone 模式基本配置步骤1: 复制 ...
Apache Spark学习：利用Eclipse构建Spark集成开发环境
介绍了如何使用Maven编译生成可直接运行在Hadoop 2.2.0上的Spark jar包,而本文则在此基础上, 介绍如何利用Eclipse构建Spark集成开发环境 . 不建议大家使用eclips ...
Spark学习之Spark调优与调试（7）
Spark学习之Spark调优与调试(7) 1. 对Spark进行调优与调试通常需要修改Spark应用运行时配置的选项. 当创建一个SparkContext时就会创建一个SparkConf实例. 2. ...
spark指定python版本_1.Spark学习(Python版本)：Spark安装
Step1: 更新apt sudo apt-get update Step2: 安装SSH.配置SSH无密码登陆 sudo apt-get install openssh-server ssh loc ...
spark学习基础篇1--spark概述与入门
spark总结一: spark 概述 1. Spark 是分布式内存计算框架 Apache Spark 是一个快速的, 多用途的集群计算系统, 相对于 Hadoop MapReduce 将中间结果 ...

spark学习-32-SparkEnv的构造步骤

spark学习-32-SparkEnv的构造步骤相关推荐

最新文章

热门文章