在线实时大数据平台Storm本地模式运行的一个小发现

1、现象：生产中分别部署了两台服务器，独立运行storm，然后拓扑程序提交是本地模式，发现不用启动storm和zookeeper也可以运行；

#jps 没有下面进程
QuorumPeerMain //zookeeper进程
supervisor
nimbus

2、验证：在拓扑程序中增加参数传递，1代表本地模式，2代表集群模式

1）关闭集群后，传参1运行本地模式成功，传参2运行集群模式失败；

2）启动集群后，传参2集群模式提交运行，成功；

本地模式：不用启动storm和zookeeper集群
storm jar /tmp/glabeling.jar com.glabeling.GlabelingInfoTopology -N 1-C /tmp/glabeling.xml > /tmp/storm.logs
集群模式：需启动storm和zookeeper集群
storm jar /tmp/glabeling.jar com.glabeling.GlabelingInfoTopology -N 2 -C /tmp/glabeling.xml > /tmp/storm.logs

3、过程中，对zookeeper作用记录下：

Storm中使用Zookeeper主要用于Storm集群各节点的分布式协调工作，具体功能如下：
（1）存储客户端提供的topology任务信息，nimbus负责将任务分配信息写入Zookeeper，supervisor从Zookeeper上读取任务分配信息；
（2）存储supervisor和worker的心跳（包括它们的状态），使得nimbus可以监控整个集群的状态，从而重启一些挂掉的worker；
（3）存储整个集群的所有状态信息和配置信息。

在线实时大数据平台Storm本地模式运行的一个小发现相关推荐

在线实时大数据平台Storm集群组件学习
Hadoop常用于离线的复杂的大数据处理,Spark常用于离线的快速(轻量级)的大数据处理, Storm常用于在线的实时的大数据处理:这句话一定程度上反应了三套大数据平台的鲜明特征.Storm是一套实 ...
在线实时大数据平台Storm并行和通信机制理解
1.storm系统角色和应用组件基本理解: 和Hadoop一起理解,清晰点. 1)物理节点Nimubus,负责资源分配和任务调度: 2)物理节点Supervisor负责接受nimbus分配的任务,启动 ...
在线实时大数据平台Storm输入源共享试验
1.背景:topology程序提交集群模式运行试验,验证在同一文件输入源情况下,worker之间是否会重复输入处理,以及数据变量能否在不同worker之间共享,如果文件新增数据,topology会不会 ...
在线实时大数据平台Storm集成redis开发（分布锁）
1.需求场景:spout从ftp列表中拿到未读取的文件读取并发射行到Bolt,bolt进行业务处理后提交下一Bolt入库.用redis主要是:保存文件列表对象,使用分布锁来同步互斥访问共享对象,使文件 ...
在线实时大数据平台Storm并行度试验
集群模式试验:同一文件输入数据如何处理,数据变量共享 1)集群模式一个worker内一个spout一个Bolt jps:1个worker storm list:1个wokers,4个tasks 2)集 ...
在线实时大数据平台Storm开发之wordcount
可以在Eclipse下通过Maven引入storm-starter项目,这里直接将storm目录下lib中的jar包引入到工程中. 由于storm-core-1.0.1.jar中带有default.y ...
在线实时大数据平台Storm单机部署
centos单机下部署storm,主要用于开发测试用.部署的IP地址用zoo1代替,要注意/etc/hosts下对应ip和主机名. 1.Zookeeper部署 Apache官网http://zooke ...
在线实时大数据平台Storm版本兼容的问题
部署了storm1.0.1最新版,但原来生产的程序是storm0.8.2版本并在该版本环境中运行,直接将程序放到1.0.1环境中storm jar运行失败. 重构程序,引入storm-core-1.0 ...
工商银行实时大数据平台建设历程及展望
‍ 摘要:本文整理自中国工商银行大数据平台负责人袁一在 Flink Forward Asia 2021 的分享.主要内容包括: 工行实时大数据平台建设历程工行实时大数据平台建设思路展望 Tips: ...

在线实时大数据平台Storm本地模式运行的一个小发现

在线实时大数据平台Storm本地模式运行的一个小发现相关推荐

最新文章

热门文章