一、前置说明

二、Storm相关知识（必看，仅应对考试）

三、Storm部署

3.1、Zookeeper集群安装并启动

3.2、解压Storm，并配置conf/storm.yaml

3.3、启动storm集群

3.3.1、前台运行

3.3.2、挂载后台运行

3.4、web查看

一、前置说明

这个是我自己电脑的环境，考试会变动

环境表
主机名	IP地址
masterNode1	192.168.5.200
slaveNode1	192.168.5.201
slaveNode2	192.168.5.202

简单操作比如解压、配置环境变量等就不写进来了，不会的自行百度

二、Storm相关知识（必看，仅应对考试）

段落节选自Zookeeper+Storm集群搭建 - 简书 (jianshu.com)

三、Storm部署

3.1、Zookeeper集群安装并启动

1+X“大数据平台运维职业技能等级证书（初级）模拟题-Zookeeper集群部署_Quin22的博客-CSDN博客

3.2、解压Storm，并配置conf/storm.yaml

storm.yaml添加红框配置：

这里其实除了supervisor.slots.ports是要自己写的，其他两个在原文件里都有

注意主机名，nimbus.seeds可以只写一个节点，如果题目要求多个主节点就像图中那样写，这里会影响到最后面web的显示效果

supervisor.slots.ports从6700开始写，有几个节点就写多少个端口

3.3、启动storm集群

这里默认大伙都已经配置好storm和环境变量，并且给每个节点都分发了

storm集群启动的命令为

storm [要启动的服务]
这里要启动的服务主要有三个，如果仅用于考证只需要记住下面三个
nimbus：主节点（管理节点）
supervisor：从节点（计算节点、工作节点）
ui：web界面

3.3.1、前台运行

在主节点使用以下命令

注意，这里的主节点只能是storm.yaml里配置项nimbus.seeds里有的节点

storm ui
storm nimbus

在所有从节点使用以下命令

storm supervisor

值得注意的是，你需要根据题目的要求来决定每个节点运行什么服务

比如题目可能会要求你每个节点都作为计算节点，那么你就需要在每个节点都执行一次 storm supervisor

停止服务就直接Ctrl+C就行了

3.3.2、挂载后台运行（这个和前台运行之间选一个，不要两个都做）

storm启动后会像kafka一样占用一个终端窗口，所以可以用nohup将storm启动后的服务挂到后台运行

nohup [命令] >/dev/null 2&1 &

这种办法适用于不能开启多个终端的环境，如果有关闭服务的需求：

首先使用 jobs -l 查看任务进程号

然后使用 kill -9 [进程号] 关闭服务

这里也需要注意，服务进程号是有可能会变动的，所以建议关闭一个进程后用 jobs -l 重新查看进程号

3.4、web查看

Nimbus Summary底下有几个Hosts取决于storm.yaml里配置项nimbus.seeds有多少台主机，我前面的配置项里有三台，这里也有三台

Cluster Summary 中，有一栏是Supervisors，这里是根据你storm集群里有几个节点开启了supervisor服务决定的，我这里只有两台从节点开启了服务，所以数量是2

在底下的Supervisor Summary底下可以看到开启了supervisor服务的节点

“1+X“大数据平台运维职业技能等级证书（中级）模拟题-Storm组件部署相关推荐

部分大数据平台运维题及答案
大数据平台运维 HDFS题: 1.在HDFS文件系统的根目录下创建递归目录"1daoyun/file",将附件中的BigDataSkills.txt文件,上传到1daoyun/fi ...
干货 | 网易大数据平台运维实战
本文整理自SACC2021中国系统架构师大会,是网易金川老师视频直播的文字版本,他分享的主题是"网易大数据平台运维实战" 各位SACC观众,大家好,感谢各位参加本次智能运维实践会场 ...
EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器
大数据运维的挑战-如何保证集群稳定与运行效率企业级大数据集群通常拥有海量的数据存储.日常运算成干上万的计算任务,需要满足各类上层业务的计算需求.对于这类集群的运维往往充满着挑战:海量的数据.庞杂的组 ...
EMR 重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器
大数据运维的挑战-如何保证集群稳定与运行效率企业级大数据集群通常拥有海量的数据存储.日常运算成干上万的计算任务,需要满足各类上层业务的计算需求.对于这类集群的运维往往充满着挑战:海量的数据.庞杂的组 ...
大数据运维 (四) 大数据平台运维总结
大家好,我是脚丫先生 (o^^o) 目前自己在运维方面,主要管理着CDH平台和HDP平台,同时负责着以docker的形式进行产品的交付. 文章目录 0.CDH集群配置.日志.jar包以及安装目录和常用 ...
大数据平台运维之Hbase
Hbase 16.启动大数据平台的Hbase数据库,其中要求使用master节点的RegionServer.在Linux Shell中启动Hbase shell,查看HBase的版本信息.将以上操作命 ...
电商大数据平台运维案例
技术栈数据流向平台规模差异化,隔离化 YARN: https://baike.baidu.com/item/yarn/16075826?fr=aladdin 今天先到这儿,希望对您在系统架构设计 ...
GreenPlum 大数据平台--运维(三)
一,操作命令 01,启动gpstart 参数说明 COMMAND NAME: gpstartStarts a Greenplum Database system.******************* ...
数据分析真题日刷 | 商汤科技2018校招C++/算法开发/大数据/后端/运维/测试/数据挖掘开发工程师笔试第二场
断了大半个月没有刷题,进入「数据分析真题日刷」系列第13篇 . 今日真题商汤科技2018校招C++/算法开发/大数据/后端/运维/测试/数据挖掘开发工程师笔试第二场 (来源:牛客网) 题型客观题: ...

“1+X“大数据平台运维职业技能等级证书（中级）模拟题-Storm组件部署

一、前置说明

二、Storm相关知识（必看，仅应对考试）

三、Storm部署

3.1、Zookeeper集群安装并启动

3.2、解压Storm，并配置conf/storm.yaml

3.3、启动storm集群

3.3.1、前台运行

3.3.2、挂载后台运行（这个和前台运行之间选一个，不要两个都做）

3.4、web查看

“1+X“大数据平台运维职业技能等级证书（中级）模拟题-Storm组件部署相关推荐

最新文章

热门文章