一、Storm是什么?

1.定义:

storm是一个分布式实时计算系统,用户只需要提供自己的插件(例如一个jar包，其中编写用户自己的逻辑代码)，然后将它部署到storm服务器上，storm的master服务器就会为我们自动将jar包分配到slave服务器的进程中，然后在slave服务器中运行。(注意:master服务器只会接受用户提供的插件(也称之为拓扑，如果是java语言编写的插件可以说一个jar包就是一个拓扑),然后分配代码到slave服务器，在slave服务器上真正运行我们的代码)。

2.特点:低延迟、分布式、高性能、高容错(Ack机制)、可扩展、消息保证有序性。

3.系统角色:

(1) Nimbus:存在于master服务器,主要帮助分配拓扑到slave服务器中。

(2) Supervisor:负责接受nimbus分配的任务，启动和停止属于自己管理的worker进程。

(3)Worker:运行拓扑的进程。

4.系统组件:

(1)spout:发送数据源的一个组件(在我们提供的拓扑中，实现此接口后在对应方法中获取要处理的数据，比如一个log文件内容，然后发送到所关联bolt进行具体数据内容的处理)。

(2)bolt:接受由spout发送过来的数据进行处理。(bolt主要做数据处理，我们的具体的业务逻辑都写在在此接口的实现类中)。

补充:Task：worker中每一个 Spout /bolt的线程称为一个task. 在 Storm 0.8之后，task不再与物理线程对应，同一个 Spout /bolt的task可能会共享一个物理线程，该线程称为executor。

5.系统原理图:

总结:storm其实就是一个数据实时处理中心，比如我们想要监控系统的日志情况，出现异常后可以记录到数据库，就可以根据storm的规范提供一个组件(也就是拓扑)，然后发布到storm集群中就可以了，storm保证了消息的安全性(出现异常不会丢失)，有序性，身为程序猿的我们只需要根据系统需求配置好storm服务器的参数（参数后续会将），然后发布我们提供的拓扑就已达到我们的目的。

一、Storm是什么?相关推荐

Apache 流框架 Flink，Spark Streaming，Storm对比分析（一）
https://bigdata.163.com/product/article/5 Apache 流框架 Flink,Spark Streaming,Storm对比分析(一) 转载于:https:// ...
a prefect storm歌词_Storm s Perfect Storm歌词
Storm s Perfect Storm歌词添加日期:2003-05-05 时长:02分18秒歌手:X Men Artist: Sara Evans Album: Sara Evans : Re ...
聊聊storm的stream的分流与合并
序本文主要研究一下storm的stream的分流与合并实例 @Testpublic void testStreamSplitJoin() throws InvalidTopologyExcepti ...
流式大数据处理的三种框架：Storm，Spark和Samza
2019独角兽企业重金招聘Python工程师标准>>> 许多分布式计算系统都可以实时或接近实时地处理大数据流.本文将对三种Apache框架分别进行简单介绍,然后尝试快速.高度概述其异 ...
storm入门教程第一章前言[转]
1.1 实时流计算互联网从诞生的第一时间起,对世界的最大的改变就是让信息能够实时交互,从而大大加速了各个环节的效率.正因为大家对信息实时响应.实时交互的需求,软件行业除了个人操作系统之外,数据库 ...
【大数据实时计算框架】Storm框架
一.大数据实时计算框架 1.什么是实时计算?流式计算? (一)什么是Storm? Storm为分布式实时计算提供了一组通用原语,可被用于"流处理"之中,实时处理消息并更新数据库.这 ...
Storm 0.9安装指南
Storm 0.9.2安装指南 0 Storm0.9的亮点引用网上的描写叙述: "Storm 0.9.0.1版本号的第一亮点是引入了netty transport.Storm网络传输机制实 ...
从Storm到Flink：大数据处理的开源系统及编程模型（文末福利）
本文节选自CCF大数据教材系列丛书之<大数据处理>,本书由华中科技大学金海教授主编,包括大数据处理基础技术.大数据处理编程与典型应用处理.大数据处理系统与优化三个方面.本教材以大数据处理编 ...
Storm构建分布式实时处理应用初探（转）
最近利用闲暇时间,又重新研读了一下Storm.认真对比了一下Hadoop,前者更擅长的是,实时流式数据处理,后者更擅长的是基于HDFS,通过MapReduce方式的离线数据分析计算.对于Hadoop, ...
Storm原理与实践--大数据技术栈14
回顾:大数据平台技术栈 (ps:可点击查看),今天就来说说其中的Storm! 来自:有米加瓦一.Storm简介 1. 引例在介绍Storm之前,我们先看一个日志统计的例子:假如我们想要根据用户的访 ...

一、Storm是什么?

一、Storm是什么?相关推荐

最新文章

热门文章