即时大数据流处理=即时风暴

在Ubuntu背后的公司Canonical，每6个月进行一次技术工作，以第一手测试我们的工具并向其他人展示新想法。这次，我创建了一个即时大数据解决方案，更具体地讲是“即时风暴”。

Storm现在是Apache基金会的一部分，但以前Storm是Nathan Marz在Twitter期间建立的。 Storm是用于实时和分布式计算的流处理引擎。您可以使用Storm来聚合事件的实时流，进行机器学习，进行分析，进行分布式ETL等。

Storm由多种服务构建而成，需要Zookeeper。这是一个复杂的解决方案，并且易于部署，集成和扩展。我在Canonical所做的第一个技术项目是创建Storm Juju魅力。尽管我能够自动化Storm的部署，但是仍然存在一些问题，因为用户仍然必须阅读有关如何实际使用Storm的信息。

Instant Storm是解决此问题的第一步。我创建了一个StormDeployer超级按钮，可以读取yaml文件，开发人员可以在其中指定多个拓扑。为每个名称指定拓扑的名称，jar文件，Github中的位置，如何打包jar文件等。然后，通过将yaml文件上载到Github或任何公共Web服务器，并给它扩展名.storm世界能够通过两个步骤立即重用拓扑：

1.通过简单地在Juju中拖放，即可部署Storm + Zookeeper + StormDeployer随附的Storm捆绑包：

2.获取风暴文件的URL，并将其放入StormDeployer的服务设置的deploy字段中：

另外，您可以使用Juju命令行：

juju set stormdeployer "deploy=http://somedomain/somefile.storm"

Github上已经有几个示例可用，但是可以肯定地使用以下示例：
https://raw.githubusercontent.com/mectors/stormdeployer-examples/master/storm-hackaton/storm-hackaton.storm

StormDeployer将从Github下载项目，将jar与Maven打包，然后将jar上传到Storm。您可以在日志（/opt/storm/latest/log/deploy.log）中查看进度。

这是在任何公共云，私有云上或在任何裸机服务器（X86，ARM64和Power 8）上使用Ubuntu的Metal-as-a / Service / MaaS部署Storm的最简单方法。有关Juju安装说明，请参见此处。

这是第一个版本，有一些限制。要添加的真正不错的功能之一是使用Juju使拓扑和其他超级按钮之间的集成动态化。例如，您可以创建连接到Kafka或Cassandra护身符的喷嘴或螺栓。 Juju可以自动告知拓扑连接信息，并在发生任何更改时更新正在运行的拓扑。这将使运行长期运行的Storm拓扑更加健壮。

我很高兴将自己的工作捐赠给Apache基金会，并指导任何想要拥有所有权的人……

翻译自: https://www.javacodegeeks.com/2014/09/instant-big-data-stream-processing-instant-storm.html

即时大数据流处理=即时风暴相关推荐

易流即时配送_即时大数据流处理=即时风暴
易流即时配送在Ubuntu背后的公司Canonical,每6个月进行一次技术工作,以第一手测试我们的工具并向其他人展示新想法. 这次,我创建了一个即时大数据解决方案,更具体地讲是"即时风暴 ...
Android即时通讯--仿QQ即时聊天：（一）初识Socket
1.即时通讯简介即时通讯(Instant Messaging,简称IM)是一个终端服务,允许两人或者多人通过网络即时传递文字讯息.档案.语音等.简单的概括就是发送消息时,只要对方在线,就能立即接收到 ...
即时通讯：IM即时通讯实现原理
即时通讯:IM即时通讯实现原理 IM技术概念即时通讯(Instant Messenger,简称IM)软件多是基于TCP/IP和UDP进行通讯的,TCP/IP和UDP都是建立在更低层的IP协议上的两种 ...
即时通讯源码-即时通讯集群服务免费-通讯百万并发技术-Openfire 的安装配置教程手册-哇谷即时通讯集群方案-哇谷云-哇谷即时通讯源码
即时通讯源码-即时通讯集群服务免费-通讯百万并发技术-Openfire 的安装配置教程手册-哇谷即时通讯集群方案-哇谷云 1,openfire开发环境配置很久没有写点东西了.最近很烦心,领导不给力. ...
《大数据》2015年第3期“研究”——大数据流式计算：应用特征和技术挑战
大数据流式计算:应用特征和技术挑战孙大为 (中国地质大学信息工程学院北京 100083) 摘要:在大数据时代,数据的时效性日益突出,数据的流式特征更加明显,越来越多的应用场景需要部署在流式计算平台 ...
即时系统和非即时系统的区别?_企业即时通讯系统拥有哪些二次开发能力？
一.企业即时通讯常见的二次开发能力日常工作中,沟通如空气般必不可少,因此即时通讯软件是常驻在企业桌面的应用,在操作系统右侧状态栏中的托盘图标闪动能即时的提醒用户有新的消息等待阅读. 随着办公需求的多 ...
大数据流处理的一致性问题与lambda架构优缺点
一.一些基本面虽然现在的大数据解决方案基本上已经能够取得很好的可靠性,但一致性问题仍然无法轻便.彻底地解决. 一致性:可以这么理解,对于成功写入到存储系统分区中的每一条数据,后续的对该分区任何成功处 ...
Wormhole大数据流式处理平台五大功能
导读:在上一篇文章「Wormhole 大数据流式处理平台之设计思想」中,我们介绍了Wormhole的设计思想,并给出了Stream.UMS.Flow.Namespace等相关概念的具体定义,从文章中我 ...
大数据流处理架构 | 滴普科技FastData系列解读
在大数据技术发展早期,离线计算(批处理)作为唯一的大数据处理技术,很快在各个场景下取得了惊人成果,吸引了一大批优秀的科学家和工程师,这些因素的叠加使大数据技术快速成熟,形成了以HDFS+YARN+Sp ...

即时大数据流处理=即时风暴

即时大数据流处理=即时风暴相关推荐

最新文章

热门文章