一、Storm并发机制

Worker processes
Executors (threads)
Tasks

Worker – 进程

一个Topology拓扑会包含一个或多个Worker（每个Worker进程只能从属于一个特定的Topology）
这些Worker进程会并行跑在集群中不同的服务器上，即一个Topology拓扑其实是由并行运行在Storm集群中多台服务器上的进程所组成

Executor – 线程

Executor是由Worker进程中生成的一个线程
每个Worker进程中会运行拓扑当中的一个或多个Executor线程
一个Executor线程中可以执行一个或多个Task任务（默认每个Executor只执行一个Task任务），但是这些Task任务都是对应着同一个组件（Spout、Bolt）。

Task

实际执行数据处理的最小单元
每个task即为一个Spout或者一个Bolt

Task数量在整个Topology生命周期中保持不变，Executor数量可以变化或手动调整
（默认情况下，Task数量和Executor是相同的，即每个Executor线程中默认运行一个Task任务）

二、Storm 通信机制

Worker进程间的数据通信

ZMQ ZeroMQ 开源的消息传递框架，并不是一个MessageQueue
Netty Netty是基于NIO的网络框架，更加高效。（之所以Storm 0.9版本之后使用Netty，是因为ZMQ的license和Storm的license不兼容。）

Worker内部的数据通信

Disruptor 实现了“队列”的功能。可以理解为一种事件监听或者消息处理机制，即在队列当中一边由生产者放入消息数据，另一边消费者并行取出消息数据处理。

Storm 通信机制 -- Worker内部的消息传递机制

Storm 05_Storm并发机制通信机制相关推荐

线程通信机制---共享内存：消息传递
在并发编程中,我们必须考虑的问题时如何在两个线程间进行通讯.这里的通讯指的是不同的线程之间如何交换信息. 目前有两种方式: 1.共享内存 2.消息传递(actor 模型) 共享内存共享内存这种方式比 ...
Storm通信机制,Worker进程间通信,Worker进程间通信分析,Worker进程间技术(Netty、ZeroMQ),Worker 内部通信技术(Disruptor)(来自学习资料)
Storm通信机制 Worker间的通信经常需要通过网络跨节点进行,Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架. Worker进程内部通信:不同worker的 ...
在线实时大数据平台Storm并行和通信机制理解
1.storm系统角色和应用组件基本理解: 和Hadoop一起理解,清晰点. 1)物理节点Nimubus,负责资源分配和任务调度: 2)物理节点Supervisor负责接受nimbus分配的任务,启动 ...
python线程通信消息传递_Python并发编程之线程消息通信机制/任务协调（四）
大家好,并发编程进入第四篇. 本文目录前言 Event事件 Condition Queue队列总结 .前言前面我已经向大家介绍了,如何使用创建线程,启动线程.相信大家都会有这样一个想法,线程无非 ...
python并发编程之semaphore(信号量)_python 之并发编程（守护进程、互斥锁、IPC通信机制）...
9.5 守护进程主进程创建守护进程其一:守护进程会在主进程代码执行结束后就立即终止其二:守护进程内无法再开启子进程,否则抛出异常:AssertionError: daemonic process ...
python 消息机制_Python并发编程之线程消息通信机制任务协调（四）
. 前言前面我已经向大家介绍了,如何使用创建线程,启动线程.相信大家都会有这样一个想法,线程无非就是创建一下,然后再start()下,实在是太简单了. 可是要知道,在真实的项目中,实际场景可要我们举 ...
storm的并发机制与实践
基本概念 Nodes:服务器,配置了storm集群,有安装nimbus的node,以及安装supervisor的node Workers(JVM虚拟机):一个服务器上相互独立运行的JVM进程,一个服务 ...
Apache Storm 实时流处理系统通信机制源码分析
我们今天就来仔细研究一下Apache Storm 2.0.0-SNAPSHOT的通信机制.下面我将从大致思想以及源码分析,然后我们细致分析实时流处理系统中源码通信机制研究. 1. 简介 Worker间 ...
linux通信机制总结
目录 1. Linux通信机制分类简介 2. Inter-Process Communication (IPC) mechanisms: 进程间通信机制0x1: 信号量(Signals)0x2: 管道 ...

Storm 05_Storm并发机制通信机制

一、Storm并发机制

二、Storm 通信机制

Storm 通信机制 -- Worker内部的消息传递机制

Storm 05_Storm并发机制通信机制相关推荐

最新文章

热门文章