下载地址： http://spark.apache.org/downloads.html

hadoop环境是2.5.2   spark 使用1.4.0

一、启动zk、hadoop集群

Standalone：配置：

二、解压spark安装包、在conf下配置slaves文件内容如下：

node01
node02
node03

配置spark-env.sh 内容如下

export SPARK_MASTER_IP=node01
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=512m
export JAVA_HOME=/usr/java/jdk1.7.0_79

三、将配置好的spark包分发到其他节点上去

四、启动  ./sbin/start-all.sh

五、web页面观察  http://node11:8080/

六、提交一个spark自带的任务（client方式提交）：

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node01:7077 --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.4.0-hadoop2.4.0.jar 100

在node01:4040地址查看结果

七、注意：如果想要跑 spark on yarn则需要配置HADOOP_CONF_DIR

在 spark-env.sh或者/etc/profile下面配置都可以

 export HADOOP_CONF_DIR=/usr/hadoop-2.5.2/etc/hadoop

yarn模式查看地址：

http://node01:8088/

./spark-shell  :控制台写spark任务    （是standalone模式）

不同运行模式的命令不同
1.    standalone client模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
2.    standalone cluster模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://spark001:7077 --deploy-mode cluster --supervise --executor-memory 512M --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
3.    on yarn client模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client --executor-memory 512M --num-executors 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
4.    on yarn cluster模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 512m --num-executors 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100