Apache Storm-2011
Storm设计的目的是用来实时处理数据，运行在Storm集群中的任务通常是不会停止的，因为任务是为了执行实施作业。
- 2种编程组件
- spout 喷嘴
- bolt 螺栓
- 包含spout和bolt的数据流图叫做拓扑，拓扑是Storm中的重要概念
在Storm系统中，ZooKeeper用于管理系统中各节点之间所有的协调工作，包括主控节点与工作节点之间，及不同工作节点之间。ZooKeeper的服务是高可用的，可通过配置ZooKeeper集群实现，每个节点上存储一份数据，leader节点故障后可以重新选取一个节点作为leader节点协同一致。
storm集群各节点的所有状态信息都保存在ZooKeeper里面；nimbus通过向ZooKeeper写状态信息来分配任务，supervisor通过从zookeeper读状态来领取任务：supervisor和worker定时发送也跳信息到zookeeper，使得nimbus可以监控整个storm系统的状态，从而可以重启出故障的作业。zookeeper服务造就了Storm系统的健壮性；任何一个工作节点故障，都可以通过重启supervisor服务，然后由其从zookeeper上面重新获取状态倍息来实现恢复。
ZooKeeper数中的每个节点被称为Znode。它维护一个stat结构，其中包含数据变化、时间戳等。版本号加上时间戳被ZooKeeper用来验证缓存并协调更新。每次Znode的数据发生变化时，版本号增加。客户端可以在znode中设置监视器。
Apache Storm-2011相关推荐
- Spotify如何对Apache Storm进行规模扩展
[编者的话]Spotify是一家音乐流媒体服务商,最新的数据显示他们已经有6000万用户.Spotify内部使用Apache Storm来构建实时类系统,包括广告定位.音乐推荐以及数据可视化等.本文来 ...
- Apache Storm 实时流处理系统ACK机制以及源码分析
1.ACK机制简介 Storm的可靠性是指Storm会告知用户每一个消息单元是否在一个指定的时间(timeout)内被完全处理.完全处理的意思是该MessageId绑定的源Tuple以及由该源Tupl ...
- Apache Storm 实时流处理系统通信机制源码分析
我们今天就来仔细研究一下Apache Storm 2.0.0-SNAPSHOT的通信机制.下面我将从大致思想以及源码分析,然后我们细致分析实时流处理系统中源码通信机制研究. 1. 简介 Worker间 ...
- BigData之Storm：Apache Storm的简介、深入理解、下载、案例应用之详细攻略
BigData之Storm:Apache Storm的简介.深入理解.下载.案例应用之详细攻略 目录 Apache Storm的简介 Apache Storm的深入理解 1.Storm与hadoop ...
- storm apache java_Apache Ignite与Apache Storm（深入）
Apache Ignite和Apache Storm在很多方面都是两种截然不同的技术 - 特别是因为Storm有一个非常具体的用例,而Ignite在同一个屋檐下有相当多的工具 . 据我了解,Ignit ...
- apache ignite_使用Apache Storm和Apache Ignite进行复杂事件处理（CEP）
apache ignite 在本文中, "使用Apache Ignite进行高性能内存计算"一书的作者将讨论使用Apache Strom和Apache Ignite进行复杂的事件处 ...
- kite 使用 go_使用Apache Storm和Kite SDK Morphlines的可配置ETL处理
kite 使用 go 从我担任软件工程师的第一天起,我总是听到很多方面的相同要求: " 我们希望所有内容都可配置,我们希望在运行时更改所有内容,我们希望有一个可视化工具来应用所有这些逻辑,以 ...
- 使用Apache Storm和Apache Ignite进行复杂的事件处理（CEP）
在本文中, "使用Apache Ignite进行高性能内存计算"一书的作者将讨论使用Apache Strom和Apache Ignite进行复杂的事件处理. 本文的一部分摘自 书 ...
- Apache Storm：如何使用Flux配置KafkaBolt
微型框架中的助焊剂可以帮助我们定义和部署Storm拓扑. Flux有各种包装器,可帮助您定义所需的流并初始化Bolts和Spouts(使用带有或不带有参数的构造函数,并通过反射自动调用自定义配置方法) ...
- Apache Storm的实时情绪分析示例
实时情感分析是指处理自然语言文本(或语音)流以提取主观信息. 琐碎的用例用于构建推荐引擎或查找社交媒体趋势. 我选择了Apache Storm作为实时处理引擎. Storm非常强大(我们正在生产中使用 ...
最新文章
- 本周ASP.NET英文技术文章推荐[06/03 - 06/09]
- Linux下SVN命令总结
- linux复盘：mysql基础
- [Leetcode][第461题][JAVA][汉明距离][位运算][Brian Kernighan]
- 李学勤：功利化是现在教育的最大问题
- Retrofit使用
- oracle PL/SQL（procedure language/SQL）程序设计之异常（exception）
- html闹钟设置,闹钟的设置.html
- 基于Echarts实现可视化数据大屏物流云大数据看板页面HTML模板
- 爱的无常、当下、柔软
- [小技巧] git: Your branch and 'origin/master' have diverged
- python脚本控制ios手机app_appium 下 python 脚本自动化测试iOS APP 实例
- Xilinx SDK 中 的 'No rule to make target ' / '没有规则可以创建...'
- 网络流-割的概念以及定理
- python+selenium打印当前页面的titl和url
- TMS320F280049C 学习笔记31 控制率加速器 CLA 学习随笔
- 从《我不是药神》说起
- 电脑打开播放器提示服务器运行失败,电脑中打开WMP播放器提示服务器运行失败如何解决...
- InfluxDB CQ时间偏移
- Eclipse+EPIC+PadWalker