Spark 2.4 standalone 部署

1 安装 Spark

使用如下命令下载 Spark，下载地址：

wget http://mirrors.hust.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz

解压 tgz 包：

tar zxvf spark-2.4.0-bin-hadoop2.7.tgz

修改环境变量并声明：

vim ~/.bashrcexport SPARK_HOME=$HOME/spark-2.4.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbinsource ~/.bashrc

打开配置文件：

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

添加变量：

export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64
export SCALA_HOME=/usr/java/scala-2.11.8
export SPARK_HOME=/root/spark-2.4.0-bin-hadoop2.7
export SPARK_MASTER_IP=** your ip **
export SPARK_EXECUTOR_MEMORY=1G

2 部署 Standalone Spark

启动 spark：

cd $SPARK_HOME
./sbin/start-all.sh

检查是否启动成功（使用 spark 客户端）：

./bin/spark-shell

输出以下表示成功：

2018-12-26 11:20:33 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://spark-2:4040
Spark context available as 'sc' (master = local[*], app id = local-1545841253565).
Spark session available as 'spark'.
Welcome to____              __/ __/__  ___ _____/ /___\ \/ _ \/ _ `/ __/  '_//___/ .__/\_,_/_/ /_/\_\   version 2.4.0/_/Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_191)
Type in expressions to have them evaluated.
Type :help for more information.scala>

转载于:https://www.cnblogs.com/zhance/p/10182764.html

Spark 2.4 standalone 部署相关推荐

Spark HA高可用部署、基于文件系统单点恢复、基于zookeeper的Standby Master、如何恢复到上一次活着master挂掉之前的状态 03
1. Spark HA高可用部署 Spark Standalone集群时Master-Slaves架构的集群模式,和大部分的Master-Slaves结果集群一样,存在着Master单点故障的问题.如 ...
Spark运行模式Standalone 模式
Standalone 模式 Standalone 模式概述 standalone n. 脱机; adj. 单独的,独立的; local 本地模式毕竟只是用来进行练习演示的,真实工作中还是要将应用提交到 ...
spark on hive 的部署，和spark on hive （ha）在本地测试步骤
spark on hive 的部署 1.把hive -site.xml文件拷贝到安装spark 目录下conf里(注意,要重启spark集群生效) 2.启动hive服务 hive --servic ...
Spark on k8s Operator 部署安装
Spark on k8s Operator 部署安装 1. 背景受限于公司内网环境,无法构建梯子及部分网络策略,不能使用网络资源直接部署,需要手动编译安装 2. 环境准备 centos 7 Kube ...
Spark学习之standalone模式部署实战
Standalone模式部署实战 spark有好几种运行模式,本次我们来挑一种standalone模式来操作一下,就是spark独自包揽除了存储文件操作之外的所有操作,包括集群管理,任务调度,程序计算 ...
安装部署Spark 1.x Standalone模式集群
Configuration spark-env.sh HADOOP_CONF_DIR=/opt/data02/hadoop-2.6.0-cdh5.4.0/etc/hadoop ...
Spark 简介与安装部署
本教程为实验楼原创,转载请注明课程链接:https://www.shiyanlou.com/courses/456 1. 课程说明本教程是实验楼Spark大数据动手实验训练营第一节,登录实验楼官网可 ...
Spark环境搭建Standalone模式
2.4 Standalone模式在Standalon模式中,Spark集群由Master节点和Worker节点构成,使用内置的Standalon框架进行资源管理.Spark程序通过与Master节 ...
Spark 1.2 Standalone Mode 单机安装
1:spark下载,解压 [jifeng@jifeng01 hadoop]$ wget http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-had ...

Spark 2.4 standalone 部署

1 安装 Spark

2 部署 Standalone Spark

Spark 2.4 standalone 部署相关推荐

最新文章

热门文章