1、安装Scala

下载地址：http://www.scala-lang.org/download/

注：我下载的是scala-2.11.8.tgz

将压缩上传至/usr/local 目录

解压缩

tar -zxvf scala-2.11.8.tgz

做软联接

ln -s scala-2.11.8 scala

设置环境变量

vim /etc/profile
#追加如下内容
export SCALA_HOME=/usr/scala/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin

使环境变量生效

source /etc/profile

测试环境变量设置

scala -version

2、Spark安装与配置

下载： http://spark.apache.org/downloads.html

下载的版本：spark-1.6.1-bin-hadoop2.6.tgz

将压缩文件上传至/usr/local 目录

解压缩

tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz

做软联接

ln -s spark-1.6.1-bin-hadoop2.6.tgz spark

设置环境变量

vim /etc/profile
#追加如下内容
export SPARK_HOME=/usr/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

使环境变量生效

source /etc/profile

测试环境变量设置

spark-shell --version

配置Spark
修改spark-env.sh

cd /usr/local/spark/conf/
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
#追加如下内容
export SCALA_HOME=/usr/local/scala
export JAVA_HOME=/usr/local/jdk
export SPARK_MASTER_IP=192.168.31.213
export SPARK_WORKER_MEMORY=1024m
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

启动Spark

start-all.sh
#停止命令 stop-all.sh

提交任务到Spark集群

spark-submit --master spark://192.168.31.213:7077 --class 主函数入口 --name 自己起个名称  jar包的全路径
例：spark-submit --master spark://192.168.31.213:7077 --class cn.crxy.dataming.tfidf.TFIDF  --name tfidf tfidf.jar

提交任务到yarn中

spark-submit  --master yarn-cluster --class cn.crxy.dataming.tfidf.TFIDF  --name tfidf tfidf.jar

使用web查看任务运行状态 http://192.168.31.213:8088/

转载于:https://my.oschina.net/xiaoluobutou/blog/675897

搭建 Hadoop2.7.2 + Spark1.6环境相关推荐

在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境
近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop ...
搭建hadoop2.6.0集群环境
一.规划 (一)硬件资源 10.171.29.191 master 10.171.94.155 slave1 10.251.0.197 slave3 (二)基本资料用户: jediael 目录: ...
Hadoop实战（6）_搭建Apache Hadoop的Eclipse开发环境
系列目录: Hadoop实战(1)_阿里云搭建Hadoop2.x的伪分布式环境 Hadoop实战(2)_虚拟机搭建Hadoop的全分布模式 Hadoop实战(3)_虚拟机搭建CDH的全分布模式 Had ...
windows下搭建hadoop-2.6.0本地idea开发环境
概述本文记录windows下hadoop本地开发环境的搭建: OS:windows hadoop执行模式:独立模式安装包结构: Hadoop-2.6.0-Windows.zip- cygwinIn ...
Windows8.1+Eclipse搭建Hadoop2.7.2本地模式开发环境
下面介绍如何在Windows8.1上搭建hadoop2.7.2的本地模式开发环境,为后期做mapreduce的开发做准备. 在搭建开发环境之前,首先选择开发工具,就是大家都很熟悉的Eclipse(本人 ...
Hadoop2.2.0伪分布式环境搭建（附：64位下编译Hadoop-2.2.0过程）
Hadoop2.2.0伪分布式环境搭建: 写在前面:Hadoop2.2.0默认是支持32位的OS,如果想要在64位OS下运行的话,可以通过在64位OS下面编译Hadoop2.2.0来实现,编译的操作步 ...
# 从零開始搭建Hadoop2.7.1的分布式集群
Hadoop 2.7.1 (2015-7-6更新),Hadoop的环境配置不是特别的复杂,可是确实有非常多细节须要注意.不然会造成很多配置错误的情况.尽量保证一次配置正确防止重复改动. 网上教程有非常 ...
[Hadoop][笔记]4个节点搭建Hadoop2.x HA测试集群
为什么80%的码农都做不了架构师?>>> 搭建Hadoop2.x HA 1.机器准备虚拟机 4台 10.211.55.22 node1 10.211.55.23 node2 ...
Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo
随笔 - 70 文章 - 0 评论 - 88 Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo 近期为了分析国内航空旅游业常见安全漏洞,想到 ...

搭建 Hadoop2.7.2 + Spark1.6环境

1、安装Scala

2、Spark安装与配置

配置Spark

搭建 Hadoop2.7.2 + Spark1.6环境相关推荐

最新文章

热门文章