目录
- 前言：
- 1、Storm 任务提交的过程
- 2、Storm相关的目录树
- 总结：

对于任何一个组件来说，了解它相关的任务提交的过程是非常有必要的（毕竟生产中遇到一些Bug时，你如果知道内部执行的过程，那么会对问题的解决会有很大的帮助）。除此之外还会对Storm相关的目录树进行一个简单的介绍，主要是为了了解下在任务提交过程中一些数据的存储过程。博主也是小菜鸟一枚，如有错误或不足，请各位及时指出，必当及时修正。

1、Storm 任务提交的过程

任务提交详细过程如下图所示：

过程总结：
1、客户端提交topology到nimbus（提交的jar包被上传到nimbus下的inbox目录）。
2、jar包中的submitTopology方法会对topology进行一些检查处理（如bolt/spout的id是否违法，storm是否是active等），然后在nimbus服务器上建立topology本地目录进行存储（包含topology的jar包以及topology的序列化对象）
3、之后nimbus进行任务分配（根据topology定义的一些参数来对bolt/spot设定task的数量并分配对应的task-Id），将分配好的task信息发送到zookeeper（task信息包括task的心跳信息，topology的描述信息等发送到zookeeper对应的目录下）；
4、supervisor定期到zookeeper相应目录下查看是否有新的任务，有的话下载下来，根据任务的描述信息启动相应的worker进行工作；
5、worker根据任务的描述信息来创建响应的网络连接来发消息。

2、Storm相关的目录树

Storm任务提交的过程（根据图中的目录信息去理解Storm相关的目录树的目录信息）

Storm组件本地目录树

Storm zookeeper目录树

总结：

以上的内容主要还是以理解为主，特别是Storm任务提交的过程，需要重点关注！

Storm任务提交过程及目录树介绍相关推荐

Storm中Numbus,zookeeper,Supervisor，worker作用，Storm任务提交过程，Storm组件本地目录树，Storm zookeeper目录树
1.Storm 任务提交的过程 2.Storm组件本地目录树 3.Storm zookeeper目录树
Vue项目目录结构介绍（三）
前言本章我们会对一个 Vue 项目的目录结构进行讲解,解释各子目录以及文件的作用,前端的模块化,Vue 单文件组件规范等. 1.基础目录和文件介绍在上一章,我们通过 vue-cli 创建了一个新的 ...
Storm目录树和任务提交过程
Storm组件本地目录树 Storm zookeeper目录树 Storm任务提交的过程转载于:https://www.cnblogs.com/ahu-lichang/p/6898409.html
树莓派内核开发准备（内核源码获取、启动过程、源码目录树）
目录 1.交叉编译工具的安装 2.内核源码获取 3.嵌入式设备带操作系统的启动过程扫盲 4.Linux内核源码树扫盲 1.内核源码简介 2.Linux内核源代码目录树结构 tree指令查看内核源码目 ...
go-ethereum环境搭建及目录结构介绍
go-ethereum代码阅读环境搭建 Ubuntu 16.04 64bit/Mac 安装GO 配置环境变量(GOROOT, GOPATH, GOBIN) 下载源码: $ cd $GOPATH; $ ...
第十九节: 结合【表达式目录树】来封装EF的BaseDal层的方法
一. 简介该章节,可以说是一个简单轻松的章节,只要你对Expression表达式树.EF的基本使用.泛型有所了解,那么本章节实质上就是一个非常简单的封装章节,便于我们快捷开发. PS:在该章节对于E ...
第十五节：Expression表达式目录树(与委托的区别、自行拼接、总结几类实例间的拷贝)
一. 基本介绍回忆: 最早接触到表达式目录树(Expression)可能要追溯到几年前使用EF早期的时候,发现where方法里的参数是Expression<Func<T,bool> ...
《Linux C编程环境》课程大实验及近期练习题：计算器，复写机，目录树创建，批处理执行器，扫雷
<Linux C编程环境> 课程大实验及近期练习题:计算器,复写机,目录树创建,批处理执行器,扫雷之前作业的题了,征求了老师的意见,同意我把个人解析放开公布,再提交作业已经无效了. ...
mysql 提交事务_MySQL事务提交过程
一.MySQL事务提交过程(一) MySQL作为一种关系型数据库,已被广泛应用到互联网中的诸多项目中.今天我们来讨论下事务的提交过程. 由于mysql插件式存储架构,导致开启binlog后,事务提交实 ...

Storm任务提交过程及目录树介绍

目录

前言：

1、Storm 任务提交的过程

2、Storm相关的目录树

总结：

Storm任务提交过程及目录树介绍相关推荐

最新文章

热门文章