安装spark1.3.1单机环境

本文介绍安装spark单机环境的方法，可用于测试及开发。主要分成以下4部分：
（1）环境准备
（2）安装scala
（3）安装spark
（4）验证安装情况

1、环境准备
（1）配套软件版本要求：Spark runs on Java 6+ and Python 2.6+. For the Scala API, Spark 1.3.1 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).
（2）安装好linux、jdk、python，一般linux均会自带安装好jdk与python，但注意jdk默认为openjdk，建议重新安装oracle jdk。
（3）IP：10.171.29.191 hostname：master

2、安装scala
（1）下载scala
wget http://downloads.typesafe.com/scala/2.10.5/scala-2.10.5.tgz

（2）解压文件
tar -zxvf scala-2.10.5.tgz

（3）配置环境变量
#vi/etc/profile
#SCALA VARIABLES START
export SCALA_HOME=/home/jediael/setupfile/scala-2.10.5
export PATH=$PATH:$SCALA_HOME/bin
#SCALA VARIABLES END

$ source /etc/profile
$ scala -version
Scala code runner version 2.10.5 -- Copyright 2002-2013, LAMP/EPFL

（4）验证scala
$ scala
Welcome to Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_51).
Type in expressions to have them evaluated.
Type :help for more information.

scala> 9*9
res0: Int = 81

3、安装spark
（1）下载spark
wget http://mirror.bit.edu.cn/apache/spark/spark-1.3.1/spark-1.3.1-bin-hadoop2.6.tgz

（2）解压spark
tar -zxvf http://mirror.bit.edu.cn/apache/spark/spark-1.3.1/spark-1.3.1-bin-hadoop2.6.tgz

（3）配置环境变量
#vi/etc/profile
#SPARK VARIABLES START
export SPARK_HOME=/mnt/jediael/spark-1.3.1-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin
#SPARK VARIABLES END

$ source /etc/profile

（4）配置spark
$ pwd
/mnt/jediael/spark-1.3.1-bin-hadoop2.6/conf

$ mv spark-env.sh.template spark-env.sh
$vi spark-env.sh
export SCALA_HOME=/home/jediael/setupfile/scala-2.10.5
export JAVA_HOME=/usr/java/jdk1.7.0_51
export SPARK_MASTER_IP=10.171.29.191
export SPARK_WORKER_MEMORY=512m
export master=spark://10.171.29.191:7070

$vi slaves
master

（5）启动spark
pwd
/mnt/jediael/spark-1.3.1-bin-hadoop2.6/sbin
$ ./start-all.sh
注意，hadoop也有start-all.sh脚本，因此必须进入具体目录执行脚本

$ jps
30302 Worker
30859 Jps
30172 Master

4、验证安装情况
（1）运行自带示例
$ bin/run-example org.apache.spark.examples.SparkPi

（2）查看集群环境
http://master:8080/

（3）进入spark-shell
$spark-shell

（4）查看jobs等信息
http://master:4040/jobs/

安装spark1.3.1单机环境相关推荐

单机安装多个mysql_单机环境下安装多个MySQL服务器
终于完成了单机上多个mysqld配置,我使用的是mysqld_safe命令来完成的. Step1: 安装数据库: ./configure --prefix=/usr/local/m 终于完成了单机上多 ...
【Nutch2.2.1基础教程之2.1】集成Nutch/Hbase/Solr构建搜索引擎之一：安装及运行【单机环境】...
1.下载相关软件,并解压版本号如下: (1)apache-nutch-2.2.1 (2) hbase-0.90.4 (3)solr-4.9.0 并解压至/usr/search 2.Nutch的配置 ...
【Nutch2.2.1基础教程之2.1】集成Nutch/Hbase/Solr构建搜索引擎之一：安装及运行【单机环境】
1.下载相关软件,并解压版本号如下: (1)apache-nutch-2.2.1 (2) hbase-0.90.4 (3)solr-4.9.0 并解压至/usr/search 2.Nutch的配置 ...
Cognos安装配置--单机环境
大家也知道,Cognos是一个企业级的BI开发工具,是一个高并发,大规模的报表平台应用. 所以来说Cognos服务器是以一个集群方式来安装的. 由于个人学习目的,在单机环境中进行安装,在此做个简单的介 ...
greenplum安装（单机环境）
1,前期系统准备操作系统信息: [root@goolen goolen]# cat /etc/issue Red Hat Enterprise Linux Server release 6.3 (S ...
MySQL数据库管理（二）单机环境下MySQL Cluster的安装
上文<MySQL数据库管理(一)MySQL Cluster集群简单介绍>对MySQL Cluster集群做了简要介绍.本文将教大家一步步搭建单机环境下的MySQL数据库集群. 一.单机环境 ...
搭建kafaka_kafka单机环境搭建及其基本使用
最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! ...
Ubuntu 16.04 Spark单机环境搭建
说道大数据和机器学习,就少不了Spark.本文主要介绍在Linux下搭建单机环境的Spark的步骤. 安装Java SE 1.下载JAVA SE linux版本.下载地址为: http://www.o ...
单机搭建kafka集群本地_Kafka单机环境搭建简记
最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! ...

安装spark1.3.1单机环境

安装spark1.3.1单机环境相关推荐

最新文章

热门文章