Spark集群试运行

下面试运行Spark。
1）在Master主机上，分别启动Hadoop与Spark。

cd /usr/local/hadoop/sbin/./start-all.shcd /usr/local/spark/sbin./start-all.sh

**2）检查Master与Worker进程是否在各自节点上启动。在Master主机上，执行命令jps，**如图1-5所示。

图1-5 在Master主机上执行jps命令
在Worker节点上，以Worker1为

执行命令jps，如图1-6所示。

图1-6 在Worker节点上执行jps命令
从图1-6中可以清晰地看到，Master进程与Worker及相关进程在各自节点上成功运行，Hadoop与Spark运行正常。
3）通过Spark Web UI查看集群状态。在浏览器中输入Master的IP与端口，打开Spark Web UI，如图1-7所示。

Spark Web UI界面
从图1-7中可以看到，当集群内仅有一个Worker节点时，Spark Web UI显示该节点处于Alive状态，CPU Cores为1，内存为1GB。此页面会列出集群中所有启动后的Worker节点及应用的信息。
4）运行样例。Spark自带了一些样例程序可供试运行。在Spark根目录下，example/src/main文件夹中存放着Scala、Java、Python及用R语言编写的样例，
用户可以运行其中的某个样例程序。
先拷贝到Spark根目录下，然后执行bin/run-example [class] [params]即可。
例如可以在Master主机命令行执行：
./run-example SparkPi 10
然后可以看到该应用的输出，在Spark Web UI上也可以查看应用的状态及其他信息。

Spark集群试运行相关推荐

spark 序列化错误集群提交时_【问题解决】本地提交任务到Spark集群报错：Initial job has not accepted any resources...
本地提交任务到Spark集群报错:Initial job has not accepted any resources 错误信息如下: 18/04/17 18:18:14 INFO TaskSched ...
spark集群使用hanlp进行分布式分词操作说明
本篇分享一个使用hanlp分词的操作小案例,即在spark集群中使用hanlp完成分布式分词的操作,文章整理自[qq_33872191]的博客,感谢分享!以下为全文: 分两步: 第一步:实现han ...
GIS+=地理信息+云计算技术——Spark集群部署
第一步:安装软件 Spark 1.5.4:wget http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2 ...
Spark集群启动时worker节点启不起来
在spark集群中使用命令: sbin/start-all.sh 启动集群时报错: starting org.apache.spark.deploy.master.Master, logging to ...
实现Spark集群部署这些公司都经历了什么?
咨询公司获得了客户关于Spark评价的 "实质性"调查.但这项技术尚未成熟,企业用户中关于Spark集群的产品相对较少.他说,"我们对这项技术很感兴趣,Spark是否转化 ...
Spark集群基于Zookeeper的HA搭建部署笔记（转）
原文链接:Spark集群基于Zookeeper的HA搭建部署笔记 1.环境介绍 (1)操作系统RHEL6.2-64 (2)两个节点:spark1(192.168.232.147),spark2(192 ...
Spark集群搭建中的问题
参照<Spark实战高手之路>学习的,书籍电子版在51CTO网站资料链接 Hadoop下载[链接](http://archive.apache.org/dist/hadoop/core/ ...
spark 集群单词统计_最近Kafka这么火，聊一聊Kafka：Kafka与Spark的集成
Spark 编程模型在Spark 中, 我们通过对分布式数据集的操作来表达计算意图 ,这些计算会自动在集群上井行执行这样的数据集被称为弹性分布式数据集 Resilient Distributed ...
学习笔记Spark（二）—— Spark集群的安装配置
一.我的软件环境二.Spark集群拓扑 2.1.集群规模 192.168.128.10 master 1.5G ~2G内存.20G硬盘.NAT.1~2核 : 192.168.128.11 node1 ...

Spark集群试运行

Spark集群试运行

Spark集群试运行相关推荐

最新文章

热门文章