Spark1.0 安装

1、下载Scala

wget http://www.scala-lang.org/files/archive/scala-2.10.3.tgz

tar xvzf scala-2.10.3.tgz -C /usr/local

2、下载Spark

wget http://www.apache.org/dist/spark/spark-1.0.0/spark-1.0.0-bin-hadoop2.tgz

tar -zxvf spark-1.0.0-bin-hadoop2.tgz

3、设置spark的配置文件

mv spark-env.sh.template spark-env.sh

cat >> spark-env.sh

export JAVA_HOME=/usr/java/jdk1.6.0_26
export SCALA_HOME=/usr/local/scala-2.10.3
export HADOOP_HOME=/root/hadoop-2.2.0
SPARK_LOCAL_DIR="/data/spark/tmp"

4、环境变量设置

cat >> /etc/profile

export SCALA_HOME=/usr/local/scala-2.10.3
export SPARK_HOME=/root/spark
export PATH=$SCALA_HOME/bin:$PATH

source /etc/profile

5、启动Hadoop相关进程

start-all.sh

6、启动Spark Worker

sbin/start-all.sh

此时通过jps可知启动了例如以下进程：

21624 Worker
10664 MainGenericRunner
20515 SecondaryNameNode
21057 Master
20311 NameNode
20689 ResourceManager

7、測试

root@master:~/spark/bin# ./run-example org.apache.spark.examples.SparkPi 1 local

输出：

...

[main] INFO org.apache.spark.SparkContext - Job finished: reduce at SparkPi.scala:39, took 5.0273654 s
Pi is roughly 3.13986

....

附：用Eclipse配置Spark源代码阅读环境http://www.cnblogs.com/lam99v/p/3716207.html

Spark1.0 安装相关推荐

Ubuntu kylin 14.04下的spark1.0.1安装
环境:Ubuntu kylin 14.04: JDK 8u-11: Scala2.10.4: Spark 1.0.1 主要流程参考自http://blog.csdn.net/zlcd1988/arti ...
Spark1.0.0 开发环境高速搭建
在本系列博客中.为了解析一些概念.解析一些架构.代码測试.搭建了一个实验平台.例如以下图所看到的: 本实验平台是在一台物理机上搭建的.物理机的配置是16G内存,4核8线程CPU. 平台的环境配置例如以 ...
Ubuntu 12.04下spark1.0.0 集群搭建（原创）
spark1.0.0新版本的于2014-05-30正式发布啦,新的spark版本带来了很多新的特性,提供了更好的API支持,spark1.0.0增加了Spark SQL组件,增强了标准库(ML.str ...
Debian 6.0 安装过程及中文乱码
2019独角兽企业重金招聘Python工程师标准>>> Debian 6.0 安装过程 Debian 6.0 安装过程转(一个别人自录的安装过程录相) http://v.youku ...
ESXi6.5环境搭建（三：vSphere Client6.0安装）
实验目的及要求完成VMware workstations安装,会应用相关操作: 完成虚拟机中ESXI6.5平台的安装及网络环境配置: 完成VMware vSphere Client 6.0软件在PC ...
EasyPHP-2.0b1+ Mantis-1.1.0安装及技巧
转载: EasyPHP-2.0b1+ Mantis-1.1.0安装及技巧注:部分配置来源网络,写此文仅为以后配置提供参考 Mantis是一个轻量级的brower的bug管理系统,界面直观,简单易用, ...
VMware9.0安装Ubuntu出现Software virtualization is incompatible 问题的解决
问题描述刚刚在VMware9.0安装Ubuntu,具体的参考可以见:http://wenku.baidu.com/view/3689981ba2161479171128c5.html 当所有步骤完成 ...
torch==1.1.0和torchvision-0.3.0安装
torch==1.1.0和torchvision-0.3.0安装分开安装,每次都会把torch升级成1.5.0把版本.解决办法,一起安装. pip3 install --timeout=12000 ...
Ubuntu14.04 x64 zabbix 3.0 安装
Ubuntu14.04 x64 zabbix 3.0 安装苦于网上的文档很多,但是对初学者来说,很多都搭建不成功,我重新安装一下.记录一下. 下载deb wget http://repo.zabb ...

Spark1.0 安装

Spark1.0 安装相关推荐

最新文章

热门文章