linux spark单节点环境搭建,Linux下基于Hadoop的Spark1.2单机安装
一,安装环境
硬件:虚拟机
操作系统:Centos 6.4 64位
IP:10.51.121.10
主机名:datanode-4
安装用户:root
Hadoop:Hadoop2.6,Hadoop2.6的单机安装请见:http://www.cnblogs.com/zouzhongfan/p/4309405.html
Hive:Hive0.13,Hive0.13的安装请见:http://www.cnblogs.com/zouzhongfan/p/4309432.html
二,安装Scala
1,到http://www.scala-lang.org/download/ 下载与Spark版本对应的Scala。Spark1.2对应于Scala2.10的版本。这里下载scala-2.10.4.tgz。
2,解压安装Scala
1), 执行#tar -axvf scala-2.10.4.tgz,解压到/root/spark/scala-2.10.4。
2),在~/.bash_profile中添加如下配置:
exportSCALA_HOME=/root/spark/scala-2.10.4
exportPATH=$JAVA_HOME/bin$HADOOP_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$PATH
3),使环境变量生效,#source ~/.bash_profile
3,验证安装,在命令行中输入scala命令,可以进入scala命令控制台。
# scala
Welcome toScalaversion2.10.4 (Java HotSpot(TM) 64-Bit ServerVM, Java 1.6.0_45).
Type inexpressionsto have them evaluated.
Type :helpformore information.scala>
三,安装Spark
1,到http://spark.apache.org/downloads.html下载spark-1.2.0-bin-hadoop2.4.tgz,解压到/root/spark/spark-1.2.0-bin-hadoop2.4。
2,在.bash_profile中添加如下配置:
exportSPARK_HOME=/root/spark/spark-1.2.0-bin-hadoop2.4
exportPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$HIVE_HOME/bin:$PATH
3,使#source ~/.bash_profile
四,配置Spark
1,进入Spark的配置文件路径,#cd $SPARK_HOME/conf
2,执行,#cp spark-env.sh.template spark-env.sh
3,在spark-env.sh文件中添加如下配置:
exportJAVA_HOME=/usr/lib/jdk1.6.0_45exportSCALA_HOME=/root/spark/scala-2.10.4
exportHADOOP_CONF_DIR=/root/hadoop/hadoop-2.6.0/etc/hadoop
五,启动Spark
1,进入spark的#cd /root/spark/spark-1.2.0-bin-hadoop2.4
2,执行#./sbin/start-all.sh命令
3,执行 #jps命令,会有Master和Worker进程
# jps
38907 RunJar
39030 RunJar
54679 NameNode
26587 Jps
54774 DataNode
9850 Worker
9664 Master
55214 NodeManager
55118 ResourceManager
54965 SecondaryNameNode
4,进入Spark的Web界面:http://datanode-4:8080/
5,执行,#./bin/spark-shell命令,可以进入Spark的shell环境,可以通过http://datanode-4:4040,看到SparkUI的情况。
linux spark单节点环境搭建,Linux下基于Hadoop的Spark1.2单机安装相关推荐
- miniK8S单节点环境搭建初试
目录 引言 搭建步骤 升级环境和国内访问网络处理 引言 越来越多的应用现在都倾向于迁移到PaaS平台进行部署,其中广受欢迎的K8S也是目前业务在用的选择.从公司回家以后,一边学习K8S的原理,一边也想 ...
- 『中级篇』Minikube快速搭建K8S单节点环境(61)
原创文章,欢迎转载.转载请注明:转载自IT人故事会,谢谢! 原文链接地址:『中级篇』Minikube快速搭建K8S单节点环境(61) 去介绍k8s的集群安装,本地搭建一个k8s的集群. 不会科学上网的 ...
- 大数据单机学习环境搭建(9)Spark单节点安装与pyspark使用
包含sparksql的完整使用案例,请务必耐心看完 专题:大数据单机学习环境搭建和使用 1.Spark安装 2.Spark配置 2.1配置环境变量 2.2spark客户端 3.Spark使用 3.1环 ...
- springcloud学习笔记---环境搭建--Linux下jdk安装
springcloud学习笔记-环境搭建–Linux下jdk安装 1.官网下载jdk1.11 链接: https://pan.baidu.com/s/1vZ4PoJAnwczkRICfCNKHAA 提 ...
- Linux 0.11 实验环境搭建与调试
缘起 之前我写过一篇博文:Linux 0.11 实验环境搭建 本以为有了这个环境(gcc-3.4 & gdb-6.8),就可以调试无忧了.谁知遇到了以下问题: (1)用 gdb 调试 main ...
- iphone 3.1.2开发环境搭建——linux平台
iphone 3.1.2开发环境搭建--linux平台 一.引子 前段时间看到了apple公司发布了iphone os4.0的预览视频,iphone终于打算支持多任务了,尤其是对于预览视频中的skyp ...
- linux虚拟机VMware centos环境搭建
linux虚拟机VMware centos环境搭建 一.虚拟机 二.安装流程 三.linux环境下使用命令规则 1.常见的命令 2.与xshell连接 四.总结 一.虚拟机 虚拟机的意思就是说在我们的 ...
- Linux——悟空crm9项目环境搭建
Linux--悟空crm9项目环境搭建 一.环境准备 1.安装jdk 2.安装tomcat 3.安装mysql 4.安装redis 二.悟空crm9环境搭建 1.安装包准备: 2.在虚拟机查询主机IP ...
- Linux 上 NetBSD 交叉编译环境搭建
Linux 上 NetBSD 交叉编译环境搭建 NetBSD 以高移植性著称,支持众多的处理器架构,并且它的代码和工具稳定性非常高,包括各种接口,工具等.并且由于 BSD 授权的宽松条件,对于构建商业 ...
最新文章
- go channel 缓冲区最大限制_GO语言圣经学习笔记(八)Goroutines和Channels
- linux如何去掉目录背景颜色
- 下列哪个不是it行业技术岗位_28岁毕业进入IT互联网行业从事技术研发岗位是否还来得及...
- pl/sql developer 设置oracle的date类型默认显示样式
- python IDLE添加行号显示
- Objective-C Runtime那点事儿
- linux远程搭建web环境,使用Xshell工具远程Linux环境部署web项目
- 如何验证 nginx.conf 是否配置正确
- 冒烟测试流程图和测试数据准备
- java虚拟机有什么作用_java虚拟机有什么用
- php求圆柱体积,认识圆柱体a href=http://ruiwen.com/friend/list.php(教师中心专稿)/a -- 小学数学教学资源网...
- docker出现问题:You cannot remove a running container 解决方案
- 2015蓝桥真题(A组省赛)
- python中str.format用法_详解Python中的str.format方法
- mysql 查询 写入 性能极致优化 3000万数据3分钟 深层次优化大数据量
- update与fixedupdate检测键盘输入的出现的问题
- Nexus私服(三)
- 棋牌游戏开发新转机 出海最佳国家有哪些
- 云服务器oa系统,oa系统放到云服务器云服务器
- Mac电脑高手都会用的10个Mac OS实用技巧,都是干货值得收藏!