Storm zk目录结构

转自：http://xumingming.sinaapp.com/466/twitter-storm-code-analysis-zookeeper-dirs/

我们知道Twitter Storm的所有的状态信息都是保存在Zookeeper里面，nimbus通过在zookeeper上面写状态信息来分配任务，supervisor，task通过从zookeeper中读状态来领取任务，同时supervisor, task也会定义发送心跳信息到zookeeper，使得nimbus可以监控整个storm集群的状态，从而可以重启一些挂掉的task。ZooKeeper 使得整个storm集群十分的健壮 — 任何一台工作机器挂掉都没有关系，只要重启然后从zookeeper上面重新获取状态信息就可以了。本文主要介绍Twitter Storm在ZooKeeper中保存的数据目录结构，源代码主要是: backtype.storm.cluster, 废话不多说，直接看下面的结构图：

一个要注意的地方是，作者在代码里面很多地方用到的storm-id, 其实就是topology-id的意思。我在邮件列表里面问了他一下，他说以前他把topology叫做storm, 代码里面还没有改过来。

帮助

/-{storm-zk-root} -- storm在zookeeper上的根

| 目录

|

|-/assignments -- topology的任务分配信息

| |

| |-/{topology-id} -- 这个下面保存的是每个

| topology的assignments

| 信息包括：对应的

| nimbus上的代码目录,所有

| task的启动时间,

| 每个task与机器、端口的映射

|

|-/tasks -- 所有的task

| |

| |-/{topology-id} -- 这个目录下面id为

| | {topology-id}的topology

| | 所对应的所有的task-id

| |

| |-/{task-id} -- 这个文件里面保存的是这个

| task对应的component-id：

| 可能是spout-id或者bolt-id

|

|-/storms -- 这个目录保存所有正在运行

| | 的topology的id

| |

| |-/{topology-id} -- 这个文件保存这个topology

| 的一些信息，包括topology的

| 名字，topology开始运行的时

| 间以及这个topology的状态

| (具体看StormBase类)

|

|-/supervisors -- 这个目录保存所有的supervisor

| | 的心跳信息

| |

| |-/{supervisor-id} -- 这个文件保存的是supervisor

| 的心跳信息包括:心跳时间，主

| 机名，这个supervisor上worker

| 的端口号运行时间

| (具体看SupervisorInfo类)

|

|-/taskbeats -- 所有task的心跳

| |

| |-/{topology-id} -- 这个目录保存这个topology的所

| | 有的task的心跳信息

| |

| |-/{task-id} -- task的心跳信息，包括心跳的时

| 间，task运行时间以及一些统计

| 信息

|

|-/taskerrors -- 所有task所产生的error信息

|

|-/{topology-id} -- 这个目录保存这个topology下面

| 每个task的出错信息

|

|-/{task-id} -- 这个task的

Storm zk目录结构相关推荐

【ClickHouse系列】ClickHouse之zk目录结构说明
zk目录结构 ClickHouse配置信息创建基于zk的ClickHouse集群(3zk-2shards-2replicas),主要信息如下: <?xml version="1.0& ...
storm目录结构及在zk中的目录结构
storm目录结构及在zk中的目录结构 @(STORM)[storm] storm目录结构及在zk中的目录结构一storm在磁盘中的内容一nimbus中的目录结构 1inbox目录 2stormd ...
Zookeeper的目录结构
目录结构目录说明 Bin 主要的一些执行命令 Conf 存放配置文件,需要修改zk.cfg Contrib 附加的一些功能 Dist-maven Mvn编译后的目录 Docs 文档 Lib 需要依赖 ...
Android Studio目录结构和Gradle构建Android项目
一,Android Studio的目录结构和工程项目介绍二,Eclipse工程与Android Studio工程的区别 1,Eclipse工程能导入AS运行,但AS建立的工程不能再Eclipse中运 ...
Hadoop——（Hadoop框架，Hadoop的优缺点，Hadoop1.x和2.x的版本区别，Hadoop架构，Hadoop目录结构）
文章目录大数据的简介 Hadoop框架 Hadoop的优缺点 Hadoop1.x和2.x的版本区别 Hadoop架构 Hadoop目录结构正常工作的Hadoop集群中Hadoop都分别需要启动哪些 ...
Hadoop入门（上）：大数据特点、大数据前景、大数据组织结构、Hadoop组成、Hadoop版本介绍、Hadoop运行环境搭建、CentOS6安装JDK、安装Hadoop、Hadoop目录结构
资料来源于尚硅谷本篇文章目录第1章·大数据概论 1.1.大数据概念. 1.2.大数据特点(4V) 1.3.大数据应用场景 1.4.大数据发展前景 1.5·大数据部门业务流程分析. 1.6·大数据部 ...
Go 学习笔记（84）— Go 项目目录结构
1. 目录规范一个好的目录结构至少要满足以下几个要求. 命名清晰:目录命名要清晰.简洁,不要太长,也不要太短,目录名要能清晰地表达出该目录实现的功能,并且目录名最好用单数.一方面是因为单数足以说明这 ...
Udacity机器人软件工程师课程笔记（九）-ROS-Catkin包、工作空间和目录结构
Catkin包和工作空间 1.Carkin包简介 Catkin是ROS的官方构建系统,也是原始ROS构建系统rosbuild的继承者.catkin结合了CMake宏和Python脚本,在CMake的正 ...
Platform Builder 5下WinCE 5.0目录结构
Platform Builder 5下WinCE 5.0目录结构 Platform Builder 5已经自带WinCE 5.0,安装过程会指定WinCE 5.0的安装路径,默认为X:\WINCE50 ...

Storm zk目录结构

Storm zk目录结构相关推荐

最新文章

热门文章