学习之 “Spark的安装配置”

=============================== 集 群 规 划 ================================Hadoop011  NameNode DataNode     Hive                Hmaster        Master
Hadoop012  ResourceManager NodeManager DataNode      HRegionServer  Worker
Hadoop013  DataNode NodeManager         ZooKeeper    HRegionServer  Worker
Hadoop014  DataNode NodeManager         ZooKeeper    HRegionServer  Worker
Hadoop015  DataNode NodeManager  MySQL  ZooKeeper    HRegionServer  Worker
===========================================================================

1、将下载好的安装包移到虚拟机 hadoop011 并解压

Alt+p 上传：

sftp> put G:\08_spark\03_安装包\spark-2.1.1-bin-hadoop2.7.tgz

将文件包从Home目录移到 /opt/soft/下：

[root@hadoop011 ~]# mv spark-2.1.1-bin-hadoop2.7.tgz /opt/soft/

解压到 /opt/app/：

[root@hadoop011 soft]# tar zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/app/

重命名为 spark-2.1.1：

[root@hadoop011 app]# mv spark-2.1.1-bin-hadoop2.7 spark-2.1.1

2、配置相关文件

1）进入 /opt/app/spark-2.1.1/conf 目录下：

将 slaves.template 重命名为 slaves

[root@hadoop011 conf]# mv slaves.template slaves
[root@hadoop011 conf]# vim slaves

在 slaves 中添加 hostname：

hadoop012
hadoop013
hadoop014

将 spark-env.sh.template 重命名为 spark-env.sh

[root@hadoop011 conf]# mv spark-env.sh.template spark-env.sh

在 spark-env.sh 中添加如下配置：

SPARK_MASTER_HOST=hadoop011
SPARK_MASTER_PORT=7077

2）在 /opt/app/spark-2.1.1/sbin 目录下的 spark-config.sh 中添加下面配置：

export JAVA_HOME=/opt/app/jdk1.8.0_131

3、配置Job History Server

1）将 spark-defaults.conf.template 重命名为 spark-defaults.conf

[root@hadoop011 conf]# mv spark-defaults.conf.template spark-defaults.conf
[root@hadoop011 conf]# vim spark-defaults.conf

修改 spark-defaults.conf，添加如下配置：

# Example:
spark.master                     spark://hadoop011:7077
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop011:9000/directory
# spark.serializer                 org.apache.spark.serializer.KryoSerializer
# spark.driver.memory              5g

2）修改 spark-env.sh

[root@hadoop011 conf]# vim spark-env.sh添加如下配置：
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000
-Dspark.history.retainedApplications=3
-Dspark.history.fs.logDirectory=hdfs://hadoop011:9000/directory"

根据配置在集群上创建一个 /directory 目录

[root@hadoop011 sbin]# hadoop dfs -mkdir /directory

4. 将虚拟机hadoop011配置好的文件分发其它虚拟机

[root@hadoop011 app]# scp -r spark-2.1.1/ root@hadoop012:/opt/app/
[root@hadoop011 app]# scp -r spark-2.1.1/ root@hadoop013:/opt/app/
[root@hadoop011 app]# scp -r spark-2.1.1/ root@hadoop014:/opt/app/
[root@hadoop011 app]# scp -r spark-2.1.1/ root@hadoop015:/opt/app/

5.启动集群之后，启动 Spark

[root@hadoop011 sbin]# ./start-all.sh

6. 查看进程

[root@hadoop011 sbin]# jps
3812 Jps
2808 DataNode
2810 NodeManager
3740 Master
2652 NameNode[root@hadoop013 app]# jps
2544 NodeManager
2769 SecondaryNameNode
2546 DataNode
2980 Worker
3014 Jps

7. 启动 Spark History Server

[root@hadoop011 sbin]# ./start-history-server.sh

8. 尝试在 /opt/app/spark-2.1.1/bin 目录下执行第一个程序

./spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop011:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
/opt/app/spark-2.1.1/examples/jars/spark-examples_2.11-2.1.1.jar \
100

学习之 “Spark的安装配置”相关推荐

ROS学习笔记一：安装配置ROS环境
ROS学习笔记一:安装配置ROS环境在安装完成ROS indigo之后,需要查看环境变量是否设置正确,并通过创建一个简单的实例来验证ROS能否正常运行. 1 查看环境变量在ROS的安装过程中,我们 ...
ROS学习08-NVIDIA JETSON TX2安装配置激光雷达-思岚RPLIDAR S1(在Rviz上显示点位图)
ROS学习08-NVIDIA JETSON TX2安装配置激光雷达-思岚RPLIDAR S1(在Rviz上显示点位图) 在前一节我们创建了ROS工作空间,这一节开始要给我们的机器人装一些感官了,这里我 ...
ZooKeeper学习第二期--ZooKeeper安装配置
一.Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式. ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境: ■ 伪集群模式:就是在一台 ...
大数据学习笔记03：安装配置CentOS7虚拟机
学习笔记<安装配置CentOS7虚拟机>下载链接:https://pan.baidu.com/s/1wxRh3ggzxZtzQshqMy_A8g 提取码:71yw
【新手入门】树莓派Raspberry学习笔记4 摄像头安装+配置+简单使用
树莓派Raspberry Pi3B+学习笔记4 今日达成: ①摄像头安装+配置+简单使用 ②树莓派上python编程初尝试这份笔记里主要讲的是摄像头的安装+配置+简单使用. 一.摄像头和树莓派连接+ ...
csi python 摄像头树莓派_【新手入门】树莓派Raspberry学习笔记4 摄像头安装+配置+简单使用...
树莓派Raspberry Pi3B+学习笔记4 今日达成: ①摄像头安装+配置+简单使用 ②树莓派上python编程初尝试这份笔记里主要讲的是摄像头的安装+配置+简单使用. 一.摄像头和树莓派连接+ ...
Docker学习笔记之 Docker安装配置使用
简介 Docker是一个开源的引擎,可以轻松的为任何应用创建一个轻量级的.可移植的.自给自足的容器.开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署,包括VMs(虚拟机).bare met ...
PHP学习：PHP+Apache 安装/配置
安装顺序: 先安装Apache,再安装PHP.按一般路线,没试过反过来装会什么效果.我个人没觉得有太多问题,大不了自己配一下环境,路径. 对于Apache,针对OS版本选择相应的Apahce版本即可. ...
JBPM4.4入门学习一：JBPM安装配置及构建数据库环境
好久不写博客了... JBPM一直是一个令我头疼的东西,想去学习确不知道如何下手.最近这两天上网搜了许多关于JBPM的东西,今天先整理一篇. 该篇文章主要介绍了使用JBPM的前期准备.创建数据库环境及 ...
idea2019配置gradle详解_Java学习之——Gradle的安装配置、IDEA中创建Gradle的Java项目...
Java作为一门世界级的主流编程语言,有一款高效易用的项目管理工具是Java开发者共同追求的心愿和目标.先是2000年Ant,后有2004年Maven两个工具的诞生,都在Java市场上取得了巨大的成功 ...

学习之 “Spark的安装配置”

学习之 “Spark的安装配置”相关推荐

最新文章

热门文章