worker进程和task进程区别_worker进程和task进程区别_Storm概念学习系列之Worker、Task、Executor三者之间的关系......

不多说，直接上干货！

Worker、Task、Executor三者之间的关系

Storm集群中的一个物理节点启动一个或者多个Worker进程，集群的Topology都是通过这些Worker进程运行的。

然而，Worker进程中又会运行一个或者多个Executor线程，每个Executor线程只运行一个Topology的一个组件(Spout或Bolt)的Task任务，Task又是数据处理的实体单元。

Worker是进程，Executor对应于线程，Spout或Bolt是一个个的Task；

同一个Worker只执行同一个Topology相关的Task；

在同一个Executor中可以执行多个同类型的Task，即在同一个Executor中，要么全部是Bolt类的Task，要么全部是Spout类的Task；

在运行时，Spout和Bolt需要包装成一个又一个Task。

Worker、Task、Executor之间的关系如图1所示。

图1 Worker、Task、Executor三者之间的关系

storm程序主要由spout和bolt组成的。spout和bolt在运行期间会生成task实例(new Spout或者new bolt)。

那这些task实例是需要在线程(executor)里面运行的，而线程是需要在进程(worker)里面执行的。

进一步，见

worker进程和task进程区别_worker进程和task进程区别_Storm概念学习系列之Worker、Task、Executor三者之间的关系......相关推荐

java map与set的区别_java 集合（list，set，map）三者之间的关系和区别
原 java 集合(list,set,map)三者之间的关系和区别一:先上一张关系图,让大家看的更明白. 备注:其中红色部分为实现,其他地方均为接口. 二:各自的特点. List 有序,可重复Arr ...
栈,队列和链表三者之间的关系与区别
最近一直在学习算法,刷算法题,但是自从大学毕业以来,数据结构的知识都还给老师了,只会个数组,所以前期刷的题目也都是有关数组的最近跟着小册重学了一遍数据结构,今天就记录一下栈,队列和链表三者之间的关系 ...
JavaSE、JavaEE、JavaME三者之间的关系与区别
Java 平台有三个版本,这使软件开发人员.服务提供商和设备生产商可以针对特定的市场进行开发: Java SE (Java Platform,Standard Edition).Java SE 以前称 ...
睡眠、休眠、混合睡眠三者之间的关系与区别
1.先说一下"最古老"的待机:电脑待机待机(Standby):将系统切换到该模式后,除了内存,电脑其他设备的供电都将中断,只有内存依靠电力维持着其中的数据(因为内存是易失性的,只要 ...
Python3多进程与多线程区别及使用（1.进程）
进程和线程参考:https://www.cnblogs.com/renzhuang/articles/6733461.html 是什么: 进程是指在系统中正在运行的一个应用程序:程序一旦运行就是进程 ...
Linux进程描述符task struct结构体详解--Linux进程的管理与调度（一）
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 日期内 ...
进程和线程的区别？什么时候用进程？什么时候用线程？----看到好的复制到自己的园子里哈哈...
进程和线程的区别?什么时候用进程?什么时候用线程? 答:首先得知道什么是进程什么是线程? 我的理解是进程是指在系统中正在运行的一个应用程序:程序一旦运行就是进程,或者更专业化来说:进程是指程序执行时的 ...
进程和线程的区别？什么时候用进程？什么时候用线程？
首先得知道什么是进程什么是线程? 我的理解是进程是指在系统中正在运行的一个应用程序:程序一旦运行就是进程,或者更专业化来说:进程是指程序执行时的一个实例. 线程是进程的一个实体. 进程--资源分配的最 ...
程序与进程的区别，并发与并行的区别，多进程的实现原理
目录 1. 什么是进程 2. 进程与程序的区别 3. 并发与并行 4. 同步\异步and阻塞\非阻塞(重点) 5. 进程的创建(了解) 6. 进程的终止(了解) 7. 进程的层次结构 8. 进程的状态 ...

worker进程和task进程区别_worker进程和task进程区别_Storm概念学习系列之Worker、Task、Executor三者之间的关系......

worker进程和task进程区别_worker进程和task进程区别_Storm概念学习系列之Worker、Task、Executor三者之间的关系......相关推荐

最新文章

热门文章