Storm数据流分组与数据保障机制
数据流分组：
数据流分组定义了一个数据流的Tuple如何分发给Topology中不同的Bolt的Task。
Storm定义了七种内置数据流分组的方式：
Shuffle Grouping （随机分组）这种方式会随机分发
Fields Grouping （字段分组）根据指定字段的值进行分组
All Grouping （全复制分组） 将所有的Tuple复制分发给所有的Bolt Task。
Globle Grouping （全局分组） 将所有的Tuple路由到唯一一个Task上，Storm按照最小的Task ID来选择接受数据的Task。注意，当使用全局分组方式时，设置Bolt的Task并发度是没有意义的，同时要注意所有的Tuple转发到一个JVM实例上，可能会引起JVM瓶颈
None Grouping （不分组） 在功能上和随机分组相同，是为了将来预留的
Direc Grouping （指向型分组）调用emitDirect()方法来判断一个Tuple应该由哪个Task来接收，只能在声明了是指向型的数据流上使用
Local or Shuffle Grouping（本地或随机分组）
数据保障机制：
Spout可靠性：
Bolt每收到一个Tuple，都需要向上游确认应答ack，如果Tuple树上的每个Bolt都进行了确认应答，Spout会调用ack方法来标明这条消息已经完全处理了。
nimbus的工作机制：
nimbus守护进程的主要职责是管理，协调和监控在集群上运行的Topology，包括Topology的发布，任务指派，事件处理失败时重新指派任务，将Topology发布到Storm集群，将预先打包成Jar文件的Topology和配置信息提交到nimbus服务器上，一旦nimbus接收到了Topology的压缩包，会将Jar包分发到足够数量的supervisor节点上，将supervisor节点接收到了Topology压缩文件，nimbus就会指派Task（Bolt和Spout实例）到每个supervisor并且发送信息指示supervisor生成足够的worker来执行指派的Task。
nimbus一般情况下不会引发单点故障，如果nimbus守护进程在Topology运行时停止了，只要分配的supervisor和worker健康运行，Topology一直继续数据处理
supervisor的工具机制：
supervisor守护进程等待nimbus分配任务后生成并监控worker执行任务，supervisor和worker都是运行在不同的JVM进程上，如果由supervisor拉起的一个worker进程因为错误异常退出，supervisor守护进程会尝试重新生成新的worker进程。
Storm数据流分组与数据保障机制相关推荐
- 2015年《大数据》高被引论文Top10文章No.3——我国政府数据开放现状和保障机制...
2015年<大数据>高被引论文Top10文章展示 [编者按]本刊将把2015年<大数据>高被引论文Top10的文章陆续发布,欢迎大家关注!本文为高被引Top10论文的No.3, ...
- 《大数据》第2期“专题”——我国政府数据开放现状和保障机制
我国政府数据开放现状和保障机制 周大铭 (工业和信息化部赛迪智库软件和信息服务业研究所 北京 100846) 摘要:基于国外政府数据开放的发展现状,总结了国外政府数据开放的重要特点,包括完善的法律法规 ...
- Apache Storm 实时流处理系统ACK机制以及源码分析
1.ACK机制简介 Storm的可靠性是指Storm会告知用户每一个消息单元是否在一个指定的时间(timeout)内被完全处理.完全处理的意思是该MessageId绑定的源Tuple以及由该源Tupl ...
- storm自定义分组与Hbase预分区结合节省内存消耗
Hbas预分区 在系统中向hbase中插入数据时,常常通过设置region的预分区来防止大数据量插入的热点问题,提高数据插入的效率,同时可以减少当数据猛增时由于Region split带来的资源消耗. ...
- 计算机系统备份的原则和策略,计算机系统数据备份机制与策略
计算机系统数据备份机制与策略 20年第5 05期 华中电力 第 l卷 8 计算机系统数据备份机制与策略 耿煜 (樊学院机械系,北襄樊襄湖 4 15 ) 4 03 摘要:针对当今计算环境中不断增长的数据 ...
- 基于区块链技术的数据资产管理机制研究
点击上方蓝字关注我们 基于区块链技术的数据资产管理机制研究 赵明1, 董大治2 1 海军装备部,北京 100841 2 中国人民解放军91001部队,北京 100841 摘要:使用区块链技术可以保证数 ...
- 分布式数据流计算系统的数据缓存技术综述
点击上方蓝字关注我们 分布式数据流计算系统的数据缓存技术综述 袁旭初, 付国, 毕继泽, 张岩峰, 聂铁铮, 谷峪, 鲍玉斌, 于戈 东北大学计算机科学与工程学院,辽宁 沈阳 110169 论文引用格 ...
- 5.5日滴滴“空姐遇害事件” 后 其安全保障机制需不断升级
还有2个月,就是滴滴成立6周年,然而在庆生前夕,呈现在滴滴近9000名员工眼前的不是星辰大海,而是急速旋转的道歉漩涡. 滴滴针对媒体报道的21岁空姐李女士搭乘滴滴顺风车遇害一事,发布公告向受害者家属及 ...
- 对标高竞争性，我们郑重纳入了这一机制——MDU价格保障机制之回购
作者: MDUKEY Jessica 在企业开始回购股票的时候,官方最多的声音就是"不要买!不要买!不要买!",其实散户买不买对企业的回购动作影响不大,仅仅是出于对投资人投资效益的 ...
- linux 读取大量图片 内存,10 张图帮你搞定 TensorFlow 数据读取机制
导读 在学习tensorflow的过程中,有很多小伙伴反映读取数据这一块很难理解.确实这一块官方的教程比较简略,网上也找不到什么合适的学习材料.今天这篇文章就以图片的形式,用最简单的语言,为大家详细解 ...
最新文章
- SVN服务器从Windows迁移到Linux
- Python:进阶操作（1）
- c# dynamic 无法创建 泛型变量的问题
- PodPresent-K8s时区配置
- sellhis股票平面图
- 使用Maven Jenkins和JMeter自动化测试
- scrapy setting配置
- 多个 ng-app 中 Controllers Services 之间的通信
- JDBC 增删改查操作示例
- Android 网络服务类提供的服务接口
- 通过PDB文件实现非嵌入式的c++反射
- ss 过滤或者指定过滤
- 怎么缩小gif动图的体积？三步快速压缩gif体积
- 分块矩阵求逆（推导）
- 存储容量与地址空间的计算
- 超低延时行情系统的设计方案及实现方案
- pdf文档页码怎么添加
- 服务器怎么增加独立显卡,dellr610服务器增加独立显卡（dell服务器装显卡）
- 外卖分销返佣分佣程序外卖cps小程序返利系统外卖项目优惠券返利
- 使用OpenCV透视变换技术实现坐标变换实践