CentOS 6.7安装Spark 1.5.2
之前已经在CentOS 6.7上安装部署Hadoop 2.7.2(http://blog.csdn.net/noob_f/article/details/53366756),并正常启动Hadoop集群。
master
安装Scala
[root@master ~]# wget http://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.tgz
[root@master ~]# tar -zxvf scala-2.10.6.tgz
[root@master ~]# mv scala-2.10.6 /usr/local/
Scala环境变量
[root@master ~]# vi /etc/profile.d/scala.sh
添加
export SCALA_HOME=/usr/local/scala-2.10.6
export PATH=$PATH:$SCALA_HOME/bin
保存退出
[root@master ~]# source /etc/profile.d/scala.sh
[root@master ~]# scala -version
Scala code runner version 2.10.6 -- Copyright 2002-2013, LAMP/EPFL
安装Spark
[root@master ~]# wget http://archive.apache.org/dist/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz
[root@master ~]# tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz
[root@master ~]# mv spark-1.5.2-bin-hadoop2.6 /usr/local/
Spark环境变量
[root@master ~]# vi /etc/profile.d/spark.sh
添加
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR==$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/usr/local/spark-1.5.2-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin
保存退出
[root@master ~]# source /etc/profile.d/spark.sh
[root@master ~]# cp /usr/local/spark-1.5.2-bin-hadoop2.6/conf/spark-env.sh.template /usr/local/spark-1.5.2-bin-hadoop2.6/conf/spark-env.sh
[root@master ~]# vi /usr/local/spark-1.5.2-bin-hadoop2.6/conf/spark-env.sh
添加
export JAVA_HOME=/usr/local/jdk1.7.0_79
export SCALA_HOME=/usr/local/scala-2.10.6
export HADOOP_HOME=/usr/local/hadoop-2.7.2
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
保存退出
[root@master ~]# cp /usr/local/spark-1.5.2-bin-hadoop2.6/conf/slaves.template /usr/local/spark-1.5.2-bin-hadoop2.6/conf/slaves
[root@master ~]# vi /usr/local/spark-1.5.2-bin-hadoop2.6/conf/slaves
删除localhost
,将内容修改为
master
slave
保存退出
验证Spark安装
[root@master spark-1.5.2-bin-hadoop2.6]# cd /usr/local/spark-1.5.2-bin-hadoop2.6/
[root@master spark-1.5.2-bin-hadoop2.6]# ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster lib/spark-examples*.jar 1016/11/26 03:35:07 INFO yarn.Client: Application report for application_1480118541212_0002 (state: FINISHED)
16/11/26 03:35:07 INFO yarn.Client:client token: N/Adiagnostics: N/AApplicationMaster host: 192.168.229.131ApplicationMaster RPC port: 0queue: defaultstart time: 1480160059605final status: SUCCEEDEDtracking URL: http://master:8088/proxy/application_1480118541212_0002/user: root
16/11/26 03:35:07 INFO util.ShutdownHookManager: Shutdown hook called
16/11/26 03:35:07 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-e29afacf-58e9-4805-a59b-6fb5223ec872
[root@master spark-1.5.2-bin-hadoop2.6]# ssh slave
Last login: Sat Nov 26 02:30:33 2016 from 192.168.229.1
[root@slave ~]# cd /usr/local/hadoop-2.7.2/logs/userlogs/application_1480118541212_0002/
[root@slave application_1480118541212_0002]# cat container_1480118541212_0002_01_000001/stdout
Pi is roughly 3.142008
Spark安装正常
浏览器中访问http://master:8088/proxy/application_1480118541212_0002,可看到Spark作业界面。
[root@master spark-1.5.2-bin-hadoop2.6]# vi sbin/start-master.sh
发现
SPARK_MASTER_WEBUI_PORT=8080
[root@master spark-1.5.2-bin-hadoop2.6]# sbin/start-master.sh
浏览器可访问master:8080,查看Spark Master
[root@master ~]# ls /usr/local/spark-1.5.2-bin-hadoop2.6/bin/
beeline pyspark.cmd spark-class.cmd spark-shell.cmd
beeline.cmd run-example sparkR spark-sql
load-spark-env.cmd run-example2.cmd sparkR2.cmd spark-submit
load-spark-env.sh run-example.cmd sparkR.cmd spark-submit2.cmd
pyspark spark-class spark-shell spark-submit.cmd
pyspark2.cmd spark-class2.cmd spark-shell2.cmd
[root@master ~]# /usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-shell
浏览器中访问master:4040
scala> exit
[root@master ~]#
转载于:https://www.cnblogs.com/Genesis2018/p/8304706.html
CentOS 6.7安装Spark 1.5.2相关推荐
- 使用Docker安装Spark集群(带有HDFS)
本实验在CentOS 7中完成 第一部分:安装Docker 这一部分是安装Docker,如果机器中已经安装过Docker,可以直接跳过 [root@VM-48-22-centos ~]# system ...
- CentOS 7上搭建Spark 3.0.1 + Hadoop 3.2.1分布式集群
CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群 VMWare 安装CentOS 7 使用Xshell连接虚拟机 集群设置 安装JDK 1.8 SSH 免密登陆 安装ha ...
- linux 6.4 图形界面,为CentOS 6.4安装图形界面并用VNC远程连接
为CentOS 6.4安装图形界面并用VNC远程连接 1.安装VNC服务 #yum install -y tigervnc-server #passwd ...
- 如何在 CentOS 7 中安装或升级最新的内核
转 原创 2017-03-19 译者:geekpi Linux中国 随着新的设备和技术定期出来,如果我们想充分利用它们,保持最新的内核就很重要.此外,更新内核将帮助我们利用新的内核函数,并保护自己免受 ...
- 在CentOS 7中安装与配置Tomcat-8方法
安装前提 在CentOS 7中安装与配置JDK8 安装tomcat apache-tomcat-8.0.14.tar.gz文件上传到/usr/local中执行以下操作: [root@localhos ...
- Centos系统上安装php遇到的错误解决方法集锦
Centos系统上安装php遇到的错误解决方法集锦 1.configure: error: xml2-config not found. Please check your libxml2 insta ...
- CentOS下编译安装python包管理安装工具pip教程
ubuntu 安装pip 代码如下: apt-get install python-pip 安装requests, pip install requests 对于centos的,直接 yum inst ...
- Centos 7.5 安装Zabbix4.0
Centos 7.5 安装Zabbix4.0 一.参考链接 zabbix官方安装文档:https://www.zabbix.com/cn/download zabbix官方产品文档:https://w ...
- mysql linux centos 安装_Linux centos 下在线安装mysql
1,查看是否有安装过mysql: #rpm -qa | grep mysql 如果无结果返回,说明没有安装Mysql,可以全新安装. 2,查看在线服务器提供的Mysql相关的安装包有哪些: #yum ...
- windows 安装 spark 及 pycharm 调试 TopN 实例
2019独角兽企业重金招聘Python工程师标准>>> 首先声明本文搭建的环境为:windows8.1 + spark1.6.0 + python2.7 + jdk8,spark o ...
最新文章
- windows socket编程入门示例3
- 如何防止我的模型过拟合?这篇文章给出了6大必备方法
- Scrum Master角色可能消失吗?
- postgresql是如何求年龄的_Postgresql 通过出生日期获取年龄的操作
- 适用于Apache Hadoop 2.0 M5的Spring
- Python学习【第1篇】:Python简介以及入门
- 1-7:学习shell之透过shell看世界
- 存放哪些内容 项目中vuex_房屋安全鉴定中房屋抗震检测内容有哪些
- el表达式字符串与变量拼接
- CodeForces 670C Cinema
- 2018-01-29(HTML+CSS)
- 手机4k屏幕测试软件,手机4K屏、2K屏、1080p屏对比测试!惊叹
- QToolButton图标大小设置
- 多变量微积分笔记5——梯度与方向导数
- 王垠四十行代码mark
- ASF网站自带python脚本完成sentinel-1数据自动下载
- Code First开发系列之管理并发和事务
- 【原创】VBA学习笔记(300)VBA 很多工作表函数都只对1维数组有用,用2维数组上经常报错!
- 英语词根记忆法(6)
- 如何看待三测?天王级项目Aleo三测预期收益的深度解读
热门文章
- windows过滤中设备绑定的内核API之一
- 5.10 图上的傅里叶变换和逆变换
- Scala常用List列表操作方法
- PyTorch:安装和配置
- SciPy教程 - 常数constants和特殊函数库special
- 【SimpleITK】分割label覆盖到原图上显示
- yum mysql 无法启动失败_Linux下MySQL数据库yum升级后无法启动解决办法
- linux截图工具shutter 下载,在Ubuntu 19.04系统中安装Shutter截图工具的方法,附删除的方法...
- 工作闲暇-曾经的“伪”前端+切图工作
- oracle substr函数