利用CDH进行spark集群部署

1. 规划：

master: brain01

worker: brain02、brain03、brain04

2. 准备工作：

2.1 安装Java 1.7

2.2 设置主机名，编辑/etc/hosts

2.3 关闭iptables:

service iptables stop

chkconfig iptables off

2.4 关闭selinux,修改文件/etc/selinux/config，然后重启操作系统

SELINUX=disabled

3.部署

3.1 brain01~brain04:

yum install spark-core spark-master spark-worker spark-history-server spark-python -y

3.2 brain01上，修改/etc/spark/conf/spark-env.sh

vi /etc/spark/conf/spark-env.sh

export STANDALONE_SPARK_MASTER_HOST=brain01

3.3 brain01上，修改/etc/spark/conf/spark-defaults.conf

spark.master spark://brain01:7077
spark.eventLog.enabled true
spark.eventLog.dir hdfs://brain01:8020/user/spark/eventlog
spark.yarn.historyServer.address http://brain01:18081
spark.executor.memory 12g
spark.logConf true
spark.yarn.jar hdfs://brain01:8020/user/spark/share/lib/spark-assembly.jar

3.4 brain01上，修改/etc/default/spark
export SPARK_HISTORY_SERVER_LOG_DIR=hdfs://ctdn01:8020/user/spark/eventlog

3.5 scp 上述各文件 brain02/3/4:/上述各文件（含目录）

3.6 hdfs操作：

sudo -u hdfs hadoop fs -mkdir /user/spark
sudo -u hdfs hadoop fs -mkdir /user/spark/applicationHistory
sudo -u hdfs hadoop fs -mkdir /user/spark/eventlog
sudo -u hdfs hadoop fs -chown -R spark:spark /user/spark
sudo -u hdfs hadoop fs -chmod 1777 /user/spark/applicationHistory
sudo -u hdfs hadoop fs -chmod 1777 /user/spark/eventlog

3.7 优化：向HDFS上传spark-assembly.jar文件，从而提高集群加载该依赖文件的速度;上传spark-examples.jar文件是为了提高cluster模式下加载应用程序的速度

vi /etc/spark/conf/spark-defaults.conf

spark.yarn.jar hdfs://brain01:8020/user/spark/share/lib/spark-assembly.jar

执行如下命令：

sudo -u hdfs hadoop fs -mkdir -p /user/spark/share/lib
sudo -u hdfs hadoop fs -put /usr/lib/spark/lib/spark-assembly.jar /user/spark/share/lib/spark-assembly.jar
sudo -u hdfs hadoop fs -put /usr/lib/spark/examples/lib/spark-examples-1.6.0-cdh5.8.0-hadoop2.6.0-cdh5.8.0.jar /user/spark/share/lib/spark-examples.jar
sudo -u hdfs hadoop fs -chown -R root:spark /user/spark/share/lib

4. 启动服务

brain01：

sudo service spark-master start
sudo service spark-history-server start
sudo service spark-worker start

brain02/3/4:

sudo service spark-worker start

5. 测试

5.1 yarn-client执行模式: 连接到YARN集群，driver在client运行，而executor在cluster中运行

spark-submit --class org.apache.spark.examples.SparkPi --deploy-mode client --master yarn --driver-library-path /usr/lib/hadoop/lib/native/ --driver-class-path /usr/lib/hadoop/lib/ /usr/lib/spark/examples/lib/spark-examples-1.6.0-cdh5.8.0-hadoop2.6.0-cdh5.8.0.jar 10

5.2 yarn-cluster执行模式: 连接到YARN集群，driver和executor都在cluster中运行
spark-submit --class org.apache.spark.examples.SparkPi --deploy-mode cluster --master yarn --driver-library-path /usr/lib/hadoop/lib/native/ --driver-class-path /usr/lib/hadoop/lib/ hdfs://brain01:8020/user/spark/share/lib/spark-examples.jar 10

利用CDH进行spark集群部署相关推荐

Hadoop+Spark 集群部署
研究了几天 Hadoop+Spark 集群部署,虽然现在还是有点不懂(一脸懵B),想写下自己的总结,日后有新的发现再补充. 我安装时候的参考教程: http://www.powerxing.com/i ...
实现Spark集群部署这些公司都经历了什么?
咨询公司获得了客户关于Spark评价的 "实质性"调查.但这项技术尚未成熟,企业用户中关于Spark集群的产品相对较少.他说,"我们对这项技术很感兴趣,Spark是否转化 ...
GIS+=地理信息+云计算技术——Spark集群部署
第一步:安装软件 Spark 1.5.4:wget http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2 ...
Spark集群部署（standLone）模式
安装部署: 1. 配置spark为1个master,2个slave的独立集群(Standlone)模式, 可以在VMWare中构建3台运行Ubuntu的机器作为服务器: master主机配置如下: ...
使用docker安装部署Spark集群来训练CNN（含Python实例）
使用docker安装部署Spark集群来训练CNN(含Python实例) 本博客仅为作者记录笔记之用,不免有很多细节不对之处. 还望各位看官能够见谅,欢迎批评指正. 博客虽水,然亦博主之苦劳也. 如需 ...
Spark集群基于Zookeeper的HA搭建部署笔记（转）
原文链接:Spark集群基于Zookeeper的HA搭建部署笔记 1.环境介绍 (1)操作系统RHEL6.2-64 (2)两个节点:spark1(192.168.232.147),spark2(192 ...
利用memcached实现CAS单点登录集群部署
前言:利用memcached实现CAS单点登录集群部署负载均衡: 将接口请求的有状态性变成无状态性.是我们在实现负载均衡时必要要解决的问题.以应用接口的session状态为例,一般解决方法都是将se ...
Spark集群完全分布式安装部署
Spark集群完全分布式安装部署下载安装配置Spark 1spark-envsh配置 2slaves配置 3profile配置复制到其他节点测试总结 Spark集群完全分布式安装部署本文中 ...
Apache Spark 3.x集群部署
Apache Spark简介 Apache Spark是一个开源集群运算框架,于 2009 年诞生于加州大学伯克利分校 AMPLab,2013 年被捐赠给 Apache 软件基金会,2014 年 2 ...

利用CDH进行spark集群部署

利用CDH进行spark集群部署相关推荐

最新文章

热门文章