1 ，storm 框架介绍

1 ，两种大数据框架：

批处理：一批数据一起，走一波
例如： mr
实时处理：不停走，来一个数据，走一波
例如：storm

2 ，storm 特征：快，实时

Storm 是个实时的、分布式以及具备高容错的计算系统
Storm 进程常驻内存
Storm 数据不经过磁盘，在内存中处理

3 ，官网：

http://storm.apache.org/

4 ，storm 架构：

Nimbus ：主节点进程，老板
Supervisor ：分节点守护进程，分店店长
Worker ：工作进程，工人

5 ，编程模型：

DAG ( Topology ) ：有向无环图
Spout ：起点
Bolt ：每个数据处理节点 ( 为了保证实时性，每个 bolt 的逻辑不宜太复杂 )

6 ，数据传输

ZMQ（ twitter早期产品，已经不用）
ZeroMQ 开源的消息传递框架，并不是一个MessageQueue
Netty ( 正在使用 )
Netty是基于NIO的网络框架，更加高效。（之所以Storm 0.9版本之后使用Netty，是因为ZMQ的license和Storm的license不兼容。）

7 ，高可靠性

异常处理
消息可靠性保障机制 ( ACK ：消息确认机制 )

8 ，可维护性

StormUI 图形化监控接口

9 ，流式处理（异步与同步）

客户端提交数据进行结算，并不会等待数据计算结果

10 ，逐条处理

例：ETL（数据清洗）extracted transform load

11 ，统计分析

例：计算PV、UV、访问热点以及某些数据的聚合、加和、平均等
客户端提交数据之后，计算完成结果存储到Redis、HBase、MySQL或者其他MQ当中，
客户端并不关心最终结果是多少。

12 ，实时请求应答服务（同步）

客户端提交数据请求之后，立刻取得计算结果并返回给客户端

13 ，实时性比较：

storm ：实时处理
spark ：微批处理
mr ：批处理

框架	storm	sparkStreaming	mapReduce
处理数据方式	流式处理	微批处理	批处理
耗费时间	毫秒级	秒级	分钟级
特征	专门做实时计算，常驻内存	可以很好的与别的组件结合	mr 模型，反复启停

1 ，storm 框架介绍相关推荐

一、Hadoop框架介绍
OK~从今天开始,我们就开始我们的破茧成蝶--大数据篇系列的博客编写,今天是第一篇,开篇为<Hadoop框架介绍>,Hadoop系列将会收录在<破茧成蝶--大数据篇>专栏中.下 ...
python爬虫scrapy框架教程_Python爬虫教程-30-Scrapy 爬虫框架介绍
从本篇开始学习 Scrapy 爬虫框架 Python爬虫教程-30-Scrapy 爬虫框架介绍框架:框架就是对于相同的相似的部分,代码做到不出错,而我们就可以将注意力放到我们自己的部分了常见爬虫框 ...
2019年上半年收集到的人工智能开源框架介绍文章
2019年上半年收集到的人工智能开源框架介绍文章 TensorFlow基本使用 TensorFlow.js:让你在浏览器中也能玩转机器学习人工智能学习框架TensorFlow渐近分析 TensorF ...
ESFramework网络通信框架介绍之（2）――网络通信消息NetMessage
ESFramework网络通信框架与元数据较之C++而言,.NET是一个更加"动态"的平台,其动态能力建立在反射机制之上,而反射的基础是"元数据". 上文已经 ...
dommel mysql_.Net Core AA.FrameWork应用框架介绍
开发多年,一直在从社区获取开源的便利,也深感社区力量的重要性,今天开源一个应用基础框架AA.FrameWork,也算是回馈社区,做出一点点贡献,希望能够帮助类似当年入行的我. AA.FrameWork ...
Foundation框架介绍
Foundation框架介绍前言在开发初期,个人发现开发主要涉及到这几个方面:语言语法使用.UIKit.Foundation, 语言是开发基础,UIkit主要负责用户界面设计,其他最常用的就是Fo ...
【Django】创建项目及框架介绍，学习笔记（一）
[学习教程] 1.Django基础教程:https://code.ziqiangxuetang.com/django/django-tutorial.html 2.Django博客:http://ww ...
流行的9个Java框架介绍: 优点、缺点等等
流行的9个Java框架介绍: 优点.缺点等等在 2018年,Java仍然是世界上最流行的编程语言.它拥有一个巨大的生态系统,在全世界有超过900万Java开发人员.虽然Java不是最直接的语言,但是 ...
iOS流媒体直播整个框架介绍(HLS、RTSP)
iOS流媒体直播整个框架介绍(HLS.RTSP) 目录技术文章2016年7月17日一.HTTP(WebService) 基于HTTP的渐进下载Progressive Download流媒体播放仅是在 ...

1 ，storm 框架介绍

1 ，两种大数据框架：

2 ，storm 特征：快，实时

3 ，官网：

4 ，storm 架构：

5 ，编程模型：

6 ，数据传输

7 ，高可靠性

8 ，可维护性

9 ，流式处理（异步与同步）

10 ，逐条处理

11 ，统计分析

12 ，实时请求应答服务（同步）

13 ，实时性比较：

1 ，storm 框架介绍相关推荐

最新文章

热门文章

1 ，storm 框架介绍

1 ，两种大数据框架 ：

2 ，storm 特征 ： 快，实时

3 ，官网 ：

4 ，storm 架构 ：

5 ，编程模型 ：

6 ，数据传输

7 ，高可靠性

8 ，可维护性

9 ，流式处理（异步 与 同步）

10 ，逐条处理

11 ，统计分析

12 ，实时请求应答服务（同步）

13 ，实时性比较 ：

1 ，storm 框架介绍相关推荐

最新文章

热门文章

1 ，两种大数据框架：

2 ，storm 特征：快，实时

3 ，官网：

4 ，storm 架构：

5 ，编程模型：

9 ，流式处理（异步与同步）

13 ，实时性比较：