安装部署Spark 1.x Standalone模式集群

Configuration
   spark-env.sh
       HADOOP_CONF_DIR=/opt/data02/hadoop-2.6.0-cdh5.4.0/etc/hadoop
       JAVA_HOME=/opt/modules/jdk1.7.0_67
       SCALA_HOME=/opt/modules/scala-2.10.4
       #######################################################

#主节点
SPARK_MASTER_IP=hadoop-spark.dragon.org

#端口号默认7077
SPARK_MASTER_PORT=7077

#web端口号
SPARK_MASTER_WEBUI_PORT=8080

#内核管理
SPARK_WORKER_CORES=1

#woker管理内存
SPARK_WORKER_MEMORY=1000m

#端口号
SPARK_WORKER_PORT=7078

#web端口号
SPARK_WORKER_WEBUI_PORT=8081

#节点可以起几个进程，默认一个
SPARK_WORKER_INSTANCES=1

修改hadoop工作地址的slaves配置

hadoop-spark.dragon.org

知道worker工作地址的slaves配置
hadoop-spark.dragon.org

配置参数供程序使用

spark-defaults.conf
spark.master spark://hadoop-spark.dragon.org:7077

启动

sbin/start-master.sh

sbin/start-slaves.sh

转载于:https://www.cnblogs.com/gyadmin/p/8268111.html

安装部署Spark 1.x Standalone模式集群相关推荐

记一次基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群
一.基本信息官网 http://spark.apache.org/ Apache Spark 官方文档中文版(Spark 2.2.0) http://spark.apachecn.org/#/ Sp ...
Greenplum学习实践-【安装部署】-2、 5.10集群部署
Greenplum学习实践-[安装部署]-2. 5.10集群部署第 1 章** 环境说明 1.1 官方文档 Greenplum官方安装说明: https://gpdb.docs.pivotal.io ...
Qihoo360/wayne安装部署管理Kubernetes（k8s）集群
一.概述 Kubernetes 官方本身就提供了一个管理集群的 Dashboard 插件,但是官方的 Dashboard 插件还是有一些局限性,近日360开源了内部使用的 Kubernetes Das ...
Kettle【部署 02】Linux环境 Kettle pdi-ce-9.0.0.0-423 安装部署 carte 服务运行及 Java 集群调用实例（安装包1.85G+测试ktr\kjb\源码）
资源链接在文章末尾,包含文件: 1.安装Kettle并启动carte服务 1.1 Kettle安装 Kettle 是解压即用的,这次是在 Linux 环境下部署,所以需要解压工具rar,没有安装的小伙 ...
spark1.1.0部署standalone分布式集群
配置三个节点的spark集群,集群模式为standalone模式,其中sp1节点作为主节点,sp2节点和sp3节点为从节点.***注意所有操作均为root用户. 创建3个CentOS虚拟机,如下: s ...
Spark学习之standalone模式部署实战
Standalone模式部署实战 spark有好几种运行模式,本次我们来挑一种standalone模式来操作一下,就是spark独自包揽除了存储文件操作之外的所有操作,包括集群管理,任务调度,程序计算 ...
使用docker安装部署Spark集群来训练CNN（含Python实例）
使用docker安装部署Spark集群来训练CNN(含Python实例) 本博客仅为作者记录笔记之用,不免有很多细节不对之处. 还望各位看官能够见谅,欢迎批评指正. 博客虽水,然亦博主之苦劳也. 如需 ...
Nacos--概述、安装；注册、配置中心；集群、持久化以及开机自启
Nacos的概述.安装:注册.配置中心:集群.持久化以及开机自启 1.Nacos概述.安装 1.1.前期准备 1.1.1.创建springcloud_parent 1.1.1.1.pom.xml 1. ...
Linux下安装Weblogic10.3.6并创建简单集群测试
Linux下安装Weblogic10.3.6并创建简单集群进行测试一．卸载随系统安装的openjdk 1.先查看安装的jdk信息,常用命令有rpm -qa | grep java, rpm -qa ...

安装部署Spark 1.x Standalone模式集群

安装部署Spark 1.x Standalone模式集群相关推荐

最新文章

热门文章