目的要求

搭建Spark集群环境；
Spark集群的启动、浏览与关闭；
使用Eclipse编写Spark应用程序包；
如何运行Spark任务；

实验环境

Java jdk 1.7；
apache-maven-3.6.0；
Eclipse；
Apache_Hadoop集群；
安装配置Spark
具体规划：

主机名	IP地址	服务描述
Cluster-01	192.168.10.111	master节点
Cluster-03	192.168.10.113	Slave01节点
Cluster-04	192.168.10.114	Slave01节点

练习内容

任务一： Spark集群环境部署；

1、下载地址；http://spark.apache.org/downloads.html

2、将Spark软件上传至集群中；

3、将软件压缩包进行解压；

4、移动解压文件，并重新命名；

5、配置环境变量，使其生效；

6、配置修改spark的相关文件；

6.1、配置spark文件；

6.2、配置slaves文件；

7、配置完以上文件后，将Master主机的/home/admin/spark文件发送至其他两台主机；

任务二：启动Spark集群并进行验证；

1、启动hadoop集群；

1.1、启动Zookeeper服务；

指令：$zkServer.sh start

1.2、启动Hadoop服务；

指令：$start-all.sh

1.3查看进程：

指令：$jps

2、启动Master节点；

指令：$sbin/start-master.sh

3、启动所有的Slave节点；

指令：$sbin/start-slaves.sh

4、在浏览器上查看Spark集群的管理信息；

5、启动Spark-shell；

任务三：关闭Spark集群

1、首先管理spark的master节点，然后关闭spark的slaves节点，最后关闭Hadoop集群；

任务四：编写Spark应用程序

1、准备测试数据：hdfs: //Cluster-01:9000/user/input/hello.txt;

2、启动Spark-shell。运行WordCount词频统计程序；

Spark的基础应用相关推荐

学习笔记Spark（七）—— Spark SQL应用（2）—— Spark DataFrame基础操作
二.Spark DataFrame基础操作 2.1.DataFrame DataFrame是一种不可变的分布式数据集,这种数据集被组织成指定的列,类似于关系数据库中的表. 数据集的每一列都带有名称和类 ...
spark学习基础篇1--spark概述与入门
spark总结一: spark 概述 1. Spark 是分布式内存计算框架 Apache Spark 是一个快速的, 多用途的集群计算系统, 相对于 Hadoop MapReduce 将中间结果 ...
第12期：Spark零基础学习路线
大家好,我是你们的老朋友老王随聊,今天和大家讨论的话题--Spark零基础应该怎么学? 通过这段时间和群里同学们交流,发现很多大学生甚至职场小白对Spark学习路线不是很清晰,所以我花了一些时间给大家 ...
spark编程基础python版 pdf_Spark编程基础Python版-第5章-Spark-SQL.pdf
<Spark编程基础(Python版)> 教材官网:/post/spark-python/ 温馨提示:编辑幻灯片母版,可以修改每页PPT的厦大校徽和底部文字第5章Spark SQL (P ...
学习笔记Spark（四）—— Spark编程基础（创建RDD、RDD算子、文件读取与存储）
文章目录一.创建RDD 1.1.启动Spark shell 1.2.创建RDD 1.2.1.从集合中创建RDD 1.2.2.从外部存储中创建RDD 任务1: 二.RDD算子 2.1.map与flat ...
spark编程基础python版实验报告_Spark编程基础（Python版）
章大数据技术概述 1.1 大数据概念与关键技术 1.1.1 大数据的概念 1.1.2 大数据关键技术 1.2 代表性大数据技术 1.2.1 Hadoop 1.2.2 Spark 1.2.3 Flin ...
生产系统搭建spark，基础环境注意事项
一.硬件环境硬件如何搭配,能做到比较高的性价比,不存在短板.合理的硬件搭配,对系统的稳定性也很关键. 1.CPU不是核数越高越好,性价比才是关键. 经常遇到很多的企业级客户,他们机器配置非常高,CP ...
Spark编程基础-（二）Scala语言基础
1. Scala语言概述 1.1 计算机的起源阿隆佐邱奇设计了演算的系统,形式系统. 阿兰图灵提出图灵机. 冯诺依曼是计算机体系结构的奠基者.1945年提出计算机体系结构. 图1 冯诺依曼体系结构 ...
spark编程基础--6.DataFrame
使用spark安装时自带的样例数据people.json文件,生成DataFrame: 下面从示例文件people.json中创建一个DataFrame,然后保存成csv格式文件,代码如下: scal ...
spark编程基础--5.4综合实例
操作指令如下: cd /usr/local/hadoop./sbin/start-dfs.sh./bin/hdfs dfs -mkdir -p spark/mycode/rdd/TopN./bin/h ...

Spark的基础应用